Python爬虫
文章平均质量分 70
自己的一些入门小实验
我不是少爷.
一身轻松,转头了又是一阵心痛.
展开
-
Python之爬虫的头部伪装
Python爬虫的头部伪装是为了让爬虫看起来像普通的浏览器访问,以避免被网站的反爬程序识别记录并封禁。这也是为什么很多的网站不停的在完善反爬程序,所以学会头部伪装是一个一本万利的事情。规避网站反爬程序的手段有许多,但头部伪装是我个人认为最为简单直接的方法,一个是因为性价比,写一次的头部伪装可以用很久。原创 2023-09-07 20:51:02 · 4052 阅读 · 0 评论 -
Python之爬虫基础
网络爬虫(又称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。原创 2023-08-18 15:03:38 · 5911 阅读 · 7 评论 -
Python爬虫爬取全部商品页的商品信息并实现自动翻页
那么困扰我几天的问题什么呢,我没办法实现爬虫获取完第一页的数据后,自己跳转向下一页,我原本做了个driver的点击函数,用以自己跳转下一页,但最后只能跳转到第二页就开始会有报错,我仔细观察了网站在新的一页里网址是否会变化,很显然,并没有。更更重要的是xpath的定位,这是我第一次了解到这个定位,正如我的简介所说,我是个小白,哈哈哈哈。就在五一放假前一个星期,我的老师大哥给我丢了个爬虫项目,而对于我一个刚入门的小白来说,任务是十分艰巨的,经历了坐牢一个星期,没日没夜的查代码,我终于憋出来了。原创 2023-05-01 15:28:36 · 1957 阅读 · 15 评论