- 博客(13)
- 收藏
- 关注
原创 Python算法:关于数据的线性增长与二次方增长的比较
t1 = time.time()count = 10**5nums = []for i in range(count): nums.insert(0, i) t2 = time.time()print(t2-t1)对于上方的一次数据比较计算得到的时间为:3.6809728145599365目的:是因为在实际应用中,为了实现数值最近优先的原则,我们希望这些...
2018-10-08 23:11:37
1204
原创 python爬虫:Selenium模拟浏览器爬取淘宝商品信息
1.数据提取前期网页分析分析:淘宝网页数据也是通过Ajax技术获取的,但是淘宝的API接口参数比较复杂,可能包含加密密匙等参数;所以,想要通过自己构造API接口获取完整网页信息很难实现(可能只有部分信息),如下图:图一 实际的网页信息,每一网页有44条商品信息图二 实际后台的API接口可以找到,但信息不完整(只有11条商品信息),而且部分参数加密所以,分析至此,不采用Ajax分析;直接使用Se...
2018-05-06 17:55:25
2181
原创 python爬虫:使用scrapy框架抓取360超清壁纸(10W+超清壁纸等你来爬)
目的:闲着无聊,利用爬虫爬取360超清壁纸,并将其数据存储至MongoDB/MySQL中,将图片下载至指定文件夹。要求:确保以安装MongoDB或者MySQL数据库、scrapy框架也肯定必须有的;使用python环境:python3.5;且使用的是Chrome浏览器。1.网站抓取前期分析首先,进行数据抓取网站的分析,这里将要抓取的网站为['http://image.so.com/'],进入首页,...
2018-05-05 23:05:02
3383
原创 python爬虫之Scrapy框架:两种随机选择User-Agent的方法
修改请求时的User-Agent一般有两种思路:一是修改setting中的User-Agent变量(适用于极少量的agent更换,一般不采用);另一种就是通过Downloader Middleware的process_request()方法来修改,即在middlewares.py里面添加一个RandomUserAgentMiddleware的类.首先介绍下scrapy框架默认的UserAgentM...
2018-05-05 14:20:18
2693
原创 解决错误: TypeError: 'str' object is not callable
该错误TypeError: 'str' object is not callable字面上意思:就是str不可以被系统调用,其实原因就是:你正在调用一个不能被调用的变量或对象,具体表现就是你调用函数、变量的方式错误.所以,这个错误想表达的就是:str()是系统自带的,你不能在用它的时候自己同时定义一个别的叫做str的变量,这样会冲突.举个例子,便于理解:class Book: def __...
2018-05-04 00:40:34
203360
5
原创 scrapy小结
1、讲述下scrapy框架,并阐述工作流程: ScrapyEngine(引擎):负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯,信号、数据传递等。 Scheduler(调度器):它负责接受引擎发送过来的Request请求,并按照一定的方式进行整理排列,入队,当引擎需...
2018-04-24 02:40:47
1235
原创 使用Scrapy时遇到:UserWarning: You do not have a working installation of the service_identity module
如下:UserWarning: You do not have a working installation of the service_identity module: 'cannot import name 'opentype''. Please install it from <https://pypi.python.org/pypi/service_identity> an...
2018-04-17 18:42:35
3620
原创 requests请求出现RequestsDependencyWarning异常
对于出现该waring:RequestsDependencyWarning: urllib3 (1.13.1) or chardet (2.3.0) doesn't match a supported version!RequestsDependencyWarning)解决办法:sudo pip install --upgrade urllib3sudo pip install --upgrade...
2018-04-17 12:00:29
20991
3
原创 ubuntu 16.04进入与退出root权限
1、进入root:登入管理员账户,写入:sudo passwd root输入密码,然后写入:su root 进入root账户,直接把$变成#,出现#说明root设置成功。2、退出root权限:退出时有三种方法: ctrl+D, exit, ...
2018-04-08 19:53:00
11060
原创 python爬虫之Scrapy框架Item Pipeline(4)
Item Pipeline当Item在Spider中被收集之后,它将会被传递到Item Pipeline,这些Item Pipeline组件按定义的顺序处理Item。每个Item Pipeline都是实现了简单方法的Python类,比如决定此Item是丢弃而存储。以下是item pipeline的一些典型应用:验证爬取的数据(检查item包含某些字段,比如说name字段)查重(并丢弃)将爬取结果保...
2018-04-08 16:54:14
267
原创 python爬虫之Scrapy框架Scrapy-Shell(3)
Scrapy ShellScrapy终端是一个交互终端,我们可以在未启动spider的情况下尝试及调试代码,也可以用来测试XPath或CSS表达式,查看他们的工作方式,方便我们爬取的网页中提取的数据。如果安装了 IPython ,Scrapy终端将使用 IPython (替代标准Python终端)。 IPython 终端与其他相比更为强大,提供智能的自动补全,高亮输出,及其他特性。(推荐安装IPy...
2018-04-08 15:44:05
274
原创 python爬虫之Scrapy框架安装(2)
Scrapy的安装介绍:Scrapy框架官方网址:http://doc.scrapy.org/en/latestScrapy中文维护站点:http://scrapy-chs.readthedocs.io/zh_CN/latest/index.htmlWindows 安装方式Python 2 / 3升级pip版本:pip install --upgrade pip通过pip 安装 Scrapy 框架...
2018-04-08 14:43:06
215
原创 python爬虫之Scrapy框架(1)
Scrapy 框架Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架,用途非常广泛。框架的力量,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片,非常之方便。Scrapy 使用了 Twisted['twɪstɪd](其主要对手是Tornado)异步网络框架来处理网络通讯,可以加快我们的下载速度,不用自己去实现异步框架,并且包含了各...
2018-04-08 14:37:10
336
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人