- 博客(2)
- 收藏
- 关注
原创 Python爬取站酷全网用户数据
爬取站酷所有用户资料作品,图片,视频等内容。。。1.首先我用的是Python3加scrapy,每次爬取一个网站,个人习惯都会对这个网站查看很久,思考怎么写最方便,最通用写这个网站的时候我就发现了,这个网站的每个用户的网址是比较有规律的,为自增长,当然可能中间有一些无效用户吗,但是不影响我们把数据抓全。2.其次,这个网站理论上来说相对比较简单的,因为没有IP限制,没有js破解,抓取的时候主要...
2019-10-16 11:04:51 717
原创 马蜂窝数据爬取
最近,针对马蜂窝网站数据进行了爬取,主要有个人资料,游记,图片等信息。问题一:马蜂窝网站加速乐问题解决,正常第一次访问会返回一段js ,如下图,这个时候你如果不是专业的js开发者的话,简单的方式就是把前后的script标签去掉。然后在最前面价格function,再把代码的后个eval替换成return,控制台执行的话,会返回下一个js,返回的js类似于,下面带红框的部分再次...
2019-10-11 13:57:01 2137
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人