python
修炼的Coder
爱python爱爬虫!
展开
-
python爬虫之Scrapy框架(1)
Scrapy 框架Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架,用途非常广泛。框架的力量,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片,非常之方便。Scrapy 使用了 Twisted['twɪstɪd](其主要对手是Tornado)异步网络框架来处理网络通讯,可以加快我们的下载速度,不用自己去实现异步框架,并且包含了各...原创 2018-04-08 14:37:10 · 342 阅读 · 0 评论 -
python爬虫之Scrapy框架安装(2)
Scrapy的安装介绍:Scrapy框架官方网址:http://doc.scrapy.org/en/latestScrapy中文维护站点:http://scrapy-chs.readthedocs.io/zh_CN/latest/index.htmlWindows 安装方式Python 2 / 3升级pip版本:pip install --upgrade pip通过pip 安装 Scrapy 框架...原创 2018-04-08 14:43:06 · 221 阅读 · 0 评论 -
python爬虫之Scrapy框架Scrapy-Shell(3)
Scrapy ShellScrapy终端是一个交互终端,我们可以在未启动spider的情况下尝试及调试代码,也可以用来测试XPath或CSS表达式,查看他们的工作方式,方便我们爬取的网页中提取的数据。如果安装了 IPython ,Scrapy终端将使用 IPython (替代标准Python终端)。 IPython 终端与其他相比更为强大,提供智能的自动补全,高亮输出,及其他特性。(推荐安装IPy...原创 2018-04-08 15:44:05 · 280 阅读 · 0 评论 -
python爬虫之Scrapy框架Item Pipeline(4)
Item Pipeline当Item在Spider中被收集之后,它将会被传递到Item Pipeline,这些Item Pipeline组件按定义的顺序处理Item。每个Item Pipeline都是实现了简单方法的Python类,比如决定此Item是丢弃而存储。以下是item pipeline的一些典型应用:验证爬取的数据(检查item包含某些字段,比如说name字段)查重(并丢弃)将爬取结果保...原创 2018-04-08 16:54:14 · 272 阅读 · 0 评论 -
requests请求出现RequestsDependencyWarning异常
对于出现该waring:RequestsDependencyWarning: urllib3 (1.13.1) or chardet (2.3.0) doesn't match a supported version!RequestsDependencyWarning)解决办法:sudo pip install --upgrade urllib3sudo pip install --upgrade...原创 2018-04-17 12:00:29 · 21166 阅读 · 3 评论 -
使用Scrapy时遇到:UserWarning: You do not have a working installation of the service_identity module
如下:UserWarning: You do not have a working installation of the service_identity module: 'cannot import name 'opentype''. Please install it from <https://pypi.python.org/pypi/service_identity> an...原创 2018-04-17 18:42:35 · 3634 阅读 · 0 评论 -
Python算法:关于数据的线性增长与二次方增长的比较
t1 = time.time()count = 10**5nums = []for i in range(count): nums.insert(0, i) t2 = time.time()print(t2-t1)对于上方的一次数据比较计算得到的时间为:3.6809728145599365目的:是因为在实际应用中,为了实现数值最近优先的原则,我们希望这些...原创 2018-10-08 23:11:37 · 1213 阅读 · 0 评论