爬虫
hopyGreat
这个作者很懒,什么都没留下…
展开
-
跟着scrapy文档学爬虫(1)
前面已经写过一篇关于scrapy的简单文档了-scrapy入门。 说是入门其实,应该只算得上是如何安装scrapy吧。那会儿原本打算继续写一些关于配置文件的博客的。 但是由于各种事情的耽误(其实就是懒的没学),所以没有继续写了。 虽然最近也很忙,有很多事情要做。但忙里偷闲(其实就是不想干正事儿),来学一学scrapy,目测以后用得上。 本次学习的依据是scrapy的官方文档 - Scrap...原创 2018-08-09 22:41:44 · 650 阅读 · 0 评论 -
python3+selenium实现自动签到
很早就想实现一个自动签到的脚本了,但一直没有头绪, 最近学了python,发现了selenium这个强大的包,今天也算是勉强实现了。 强推selenium的一个博客教程:虫师 http://www.cnblogs.com/fnng/p/3157639.html 环境是python3.5.2 需要selenium等若干包 签到的环境是 ****(还是打码算了) 的网站。 注释写的还比较全...原创 2017-11-09 21:27:14 · 2203 阅读 · 0 评论 -
Scrapy日志处理
参考来源:《Python网络数据采集》41页 参考来源:Scrapy文档 Scrapy生成的调试信息非常有用,但是通常太啰嗦,你可以在Scrapy项目中的setting.py中设置日志显示等级: LOG_LEVEL = 'ERROR' 日志级别 Scrapy日志有五种等级,按照范围递增顺序排列如下:(注意《Python网络数据采集》书中这里有错) CRITICAL - 严重...转载 2017-12-11 12:47:00 · 15635 阅读 · 7 评论 -
scrapy入门
笔者python版本为3.5.2 1、首先使用pip3安装scrapy: pip3 install scrapy 如果出现缺少库依赖的可以上网查一查安转相应的库依赖 测试安装成功: 输入 scrapy 会出现 scrapy的指令参数提示等内容 2、创建一个scrapy项目 scrapy startproject Demo 此时会创建一的Demo目录,进入...原创 2017-11-18 21:42:47 · 294 阅读 · 0 评论 -
跟着scrapy文档学爬虫(2)
前面写了一篇起步的跟着scrapy文档学爬虫(1)了,隔了好久才又过来需更了。 1. 命令行工具 scrapy是通过scrapy命令行来进行控制的,这里我们称之为“Scrapy tool”来区别子命令。对于子命令,我们直接称之为“commands”或“Scrapy commands”。 出于不同的需求,scrapy tool提供了许多命令,每条命令都接受一系列不同的参数和选项。 ...原创 2018-11-05 13:27:50 · 236 阅读 · 0 评论