爬虫路线Requests-Re-BeautifulSoup技术路线总结
爬虫路线Requests-Re-BeautifulSoup技术路线总结
最近工作中需要用到爬虫,于是自己学习了一下,项目难度不算大,因此不需要用到框架,主要用到requests、bs4、re三个模块,正好最近爬取某某佳缘用户图片正好用到了这三个模块,以此项目为例总结一下:
首先,盗亦有道,先看一下网站的robots协议,方法为网址+/robots.txt,发现并没有相关协议。robots协议是...
原创
2019-08-28 14:05:51 ·
1267 阅读 ·
0 评论