python爬虫
文章平均质量分 95
无发可脱丶
一起学习使我快乐,哈哈哈
展开
-
scrapy爬虫案例-----赶集网
文章目录1.蜘蛛侠思路:2.构造爬虫及代码解读(1)settings.py(2)ganji.py(3)run.py(4)items.py(5)pipelines.py(6)前十条数据3.蜘蛛侠的小Tips(不是黑丝)1.蜘蛛侠思路:赶集网爬取网站的url地址:点击超链接-----赶集网主页-------步骤一:开始爬虫的第一步应该是要先明确需要爬取的目标网址,这就需要花一些时间了解网站的大致结构,以及明确自己想要获取的数据,并且需要知道这些数据是通过什么方式展现出来的,这就需要查看网站的源代码,如原创 2021-03-27 20:56:27 · 5989 阅读 · 10 评论 -
python爬虫——30行代码爬取论坛数据
写在前面:最近自学了一下python爬虫,用来简单爬取论坛的数据,只学到了一些皮毛,毕竟还是要以实用为主嘛…学会了下面的代码,就可以爬取一些网站的数据了,这里我使用xpath库进行爬取,问我为什么不用正则?因为我还不是很会用,哈哈。1.环境准备1.pycharm开发工具2.python3.83.xpath helper4.有手就行2.分析需要爬取的网站http://hongdou.gxnews.com.cn/viewforum-21.html通过观察可以发现,我们想要数据都在【di.原创 2020-07-28 15:54:33 · 6723 阅读 · 0 评论