![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
Python小学生
单丝不成线 ,独木不成林。
展开
-
爬虫Scrapy-02入门程序
01-需求目标创建一个Scrapy项目定义提取的结构化数据(Item)编写爬取网站的 Spider 并提取出结构化数据(Item)编写 Item Pipelines 来存储提取到的Item(即结构化数据)02-创建项目在开始爬取之前,必须创建一个新的Scrapy项目。进入自定义的项目目录中,运行下列命令scrapy startproject mySpider其中, mySpider 为项目原创 2017-11-15 21:07:58 · 343 阅读 · 0 评论 -
爬虫Scrapy-01框架介绍
01-简介Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架,用途非常广泛。框架的力量,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片,非常之方便。Scrapy 使用了 Twisted‘twɪstɪd异步网络框架来处理网络通讯,可以加快我们的下载速度,不用自己去实现异步框架,并且包含了各种中间件接口,可以灵活的完成各种需求原创 2017-11-15 19:49:09 · 350 阅读 · 0 评论 -
爬虫Scrapy-03Shell和Selectors
01-shell简介Scrapy终端是一个交互终端,我们可以在未启动spider的情况下尝试及调试代码,也可以用来测试XPath或CSS表达式,查看他们的工作方式,方便我们爬取的网页中提取的数据。如果安装了 IPython ,Scrapy终端将使用 IPython (替代标准Python终端)。 IPython 终端与其他相比更为强大,提供智能的自动补全,高亮输出,及其他特性。(推荐安装IPytho原创 2017-11-15 21:29:44 · 366 阅读 · 0 评论 -
爬虫Scrapy-04Item Pipeline
当Item在Spider中被收集之后,它将会被传递到Item Pipeline,这些Item Pipeline组件按定义的顺序处理Item。每个Item Pipeline都是实现了简单方法的Python类,比如决定此Item是丢弃而存储。以下是item pipeline的一些典型应用:验证爬取的数据(检查item包含某些字段,比如说name字段)查重(并丢弃)将爬取结果保存到文件或者数据库中原创 2017-11-16 09:52:44 · 227 阅读 · 0 评论 -
爬虫Scrapy-05Spider
SpiderSpider类定义了如何爬取某个(或某些)网站。包括了爬取的动作(例如:是否跟进链接)以及如何从网页的内容中提取结构化数据(爬取item)。 换句话说,Spider就是您定义爬取的动作及分析某个网页(或者是有些网页)的地方。class scrapy.Spider是最基本的类,所有编写的爬虫必须继承这个类。主要用到的函数及调用顺序为:__init__() : 初始化爬虫名字和start_u原创 2017-11-16 10:04:56 · 360 阅读 · 0 评论 -
爬虫Scrapy-常用工具命令行
scrapy:工具命令行分为两种:全局命令和项目命令。 注意:全局命令可以在全局中直接运行,而项目命令必须在scrapy项目中运行。01-全局命令查看全局命令scrapy -hAvailable commands: bench Run quick benchmark test check Check spider contracts crawl原创 2017-11-16 14:07:17 · 729 阅读 · 0 评论 -
爬虫Scrapy-避免被禁止
在scrapy项目中,如何应对反爬虫机制?01-简述主要方法禁止Cookie设置下载延迟时使用IP池使用用户代理池其他方法如进行分布式爬取02-禁止Cookie原理:网站会通过Cookie信息对用户进行识别和分析,此时如果我们禁止本地Cookie信息让对方网站无法识别出我们的会话信息。------settingsCOOKIES_ENABLED = False03-设置下载延迟原理:网原创 2017-11-16 17:00:41 · 3567 阅读 · 0 评论 -
XPath-语法大全
XPath 是一门在 XML 文档中查找信息的语言。XPath 用于在 XML 文档中通过元素和属性进行导航。 什么是 XPath?XPath 使用路径表达式在 XML 文档中进行导航XPath 包含一个标准函数库XPath 是 XSLT 中的主要元素XPath 是一个 W3C 标准 XPath 路径表达式XPath 使用路径表达式来选取 XML 文档中的节点或者节点集。这些路径表原创 2017-11-16 20:23:20 · 2184 阅读 · 0 评论