最近学习了用python语言写的爬虫,在惊叹于python强大的同时,也真真实实感谢那些为开源做出贡献的前辈。在这个知识付费的时代,真的是不容易。
在这里我就对python爬虫进行一个系统的阐述,介绍其python丰富的爬虫实现方法。
1.爬虫的原理
爬虫就是追寻着url,不断地进行请求,并且解析获得的相应,然后解析响应,获得自己想要的数据的网络机器人。
2.python丰富的爬虫库
2.1获取请求的库:
urlib3(现在基本没用)
使用文档:用户指南 - urllib3 1.26.7 文档https://www.osgeo.cn/urllib3/user-guide.html
urllib库(最原始的一个库,官方解释功能要有的都有,但是个人操作感觉,现在网站用这个库抓取总是会失败)
使用文档:requestshttps://www.cnblogs.com/sherlockChen/p/8064896.html
requests库(也挺好的)
使用文档::requets-htmlhttps://docs.python-requests.org/zh_CN/latest/user/quickstart.html
requests-html(一个非常方便的二次封装库,代码最少我的最爱)
使用文档:requests-html - 简书
2.2解析请求的库:
re库(比较难用)
使用文档:Python 正则表达式 | 菜鸟教程 (runoob.com)https://www.runoob.com/python/python-reg-expressions.html
beautifulsoup库(流行的解析库)
使用文档:https://beautifulsoup.readthedocs.io/zh_CN/latest/
2.3储存数据的库:
sqllit(使用python标准模块sqllite3来操作)
MYSQL(使用pymysql模块来操作,大型数据储存比较合适)
使用文档:Python之pymysql的使用 - liubinsh - 博客园 (cnblogs.com)https://www.cnblogs.com/liubinsh/p/7568423.html
最后如果想要构建一个功能强大的爬虫工程:那就用
scrapy爬虫框架吧!相信他会给你想要的。