爬取武器类各种属性

本文记录了一次使用Python爬虫爬取武器网站数据的过程,包括分析网址、爬取每个武器的详细信息,并解决正则表达式错误和Excel保存问题。通过优化正则表达式和调整数据存储结构,最终成功将数据整合到Excel表格中。
摘要由CSDN通过智能技术生成

Python 爬虫爬取武器过程记录

**网站地址:**https://wuqi.supfree.net/ufo.asp?classify=tank&page=1

分析网页

  • 爬取一种武器类的全部武器网址
  • 引用爬取网址爬取武器库中单个武器类中全部武器信息
  • 将所得信息进行Excel统计

正则表达式爬取速度最快,用原生手写代码进行爬取。

  • 分析网址:
    各种坦克的子网站链接id为坦克名称缩写,因没有规律可循所以第一步将全部子网站进行爬取保存,成功爬取后进行下一步操作。

  • 爬取网址

  • 执行中的问题

    • 问题(一):
      正则表达式查找过程中因未知错误每一页第一个武器的子网页链接爬取错误,爬取了多余无用信息,
    • 问题(二):
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值