Python 爬虫爬取武器过程记录
**网站地址:**https://wuqi.supfree.net/ufo.asp?classify=tank&page=1
分析网页
- 爬取一种武器类的全部武器网址
- 引用爬取网址爬取武器库中单个武器类中全部武器信息
- 将所得信息进行Excel统计
正则表达式爬取速度最快,用原生手写代码进行爬取。
-
分析网址:
各种坦克的子网站链接id为坦克名称缩写,因没有规律可循所以第一步将全部子网站进行爬取保存,成功爬取后进行下一步操作。 -
爬取网址
-
执行中的问题
- 问题(一):
正则表达式查找过程中因未知错误每一页第一个武器的子网页链接爬取错误,爬取了多余无用信息, - 问题(二):
- 问题(一):