python网络爬虫
记录网络爬虫开发中的日常
So灬低调
这个作者很懒,什么都没留下…
展开
-
1-1 python网络爬虫初识
什么是Python3网络爬虫?定义:网络爬虫(WebSpider),又被称为网页蜘蛛,是一种按照一定的规则,自动地抓取网站信息的程序或者脚本。简介:网络蜘蛛是一个很形象的名字。如果把互联网比喻成一个蜘蛛网,那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的链接地址来寻找网页,从网站某一个页面开始,读取网页的内容,找到在网页中的其它链接地址,然后通过这些链接地址...原创 2019-06-15 11:51:19 · 261 阅读 · 0 评论 -
1-2 python第三方库的安装
python语言赖以成名的地方就是它的第三方库,正式因为丰富的第三方库,才能实现python丰富的功能,下面我们来看看,python中是如何导入第三方库的。如果您使用从python.org下载的Python 2> = 2.7.9或Python 3> = 3.4,或者您正在使用virtualenv或pyvenv创建的虚拟环境中工作,则已经安装了pip。只需确保升级pip。(这个是...原创 2019-06-15 13:24:16 · 270 阅读 · 0 评论 -
1-3 python编写智能回复机器人
itchat是一个开源的微信个人号接口,使用python调用微信从未如此简单。使用不到三十行的代码,你就可以完成一个能够处理所有信息的微信机器人。安装pip3 install itchat登录 itchat.auto_login() 这种方法将会通过微信扫描二维码登录,但是这种登录的方式确实短时间的登录,并不会保留登录的状态,也就是下次登录时还是需要扫描二维码,如果加上...原创 2019-06-17 12:39:58 · 2643 阅读 · 2 评论 -
1-4 python爬取笔趣阁小说(附带完整代码)
笔趣看是一个盗版小说网站,这里有很多起点中文网的小说,该网站小说的更新速度稍滞后于起点中文网正版小说的更新速度。并且该网站只支持在线浏览,不支持小说打包下载。所以可以通过python爬取文本信息保存,从而达到下载的目的以首页的《一念永恒》作为测试:1、先查看第一章地址中的html文本:https://www.biqukan.com/1_1094/5403177.html通过reques...原创 2019-06-19 12:18:08 · 39028 阅读 · 12 评论