爬虫爬出来的数据不全_requests爬数据--python

本人对于python用的不是很多,也无很深入的学过,但因为之前工作需要,用到python爬系统数据,自己研究了很久,查了很多资料,本人找到两篇很不错的总结(requests的用法及数据写入Excel),文章最后有链接。我用的是requests模块,简单实用,Requests模块缺陷:不能执行JS 和CSS 代码

用户获取网络数据的方式:

方式1:浏览器提交请求--->下载网页代码--->解析成页面

方式2:模拟浏览器发送请求(获取网页代码)--->提取有用的数据--->存放于数据库或文件中,爬虫要做的就是方式2。

基本思路:

1. 使用.get发起请求

2. 服务器相应(正常),会得到回应

3. 解析内容(本文返回结果为josn模块,所以解析josn)

4. xlwt保存为xls格式

eaf4d33e1be459b42ef6dc47dc5edb6c.png
爬虫过程

某滴官方车管系统

这个案例是我18年9月份爬的数据,当时刚入职新公司,数据不全,到处整数据&

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值