- 博客(2)
- 收藏
- 关注
RSS订阅原创 Python爬取站酷全网用户数据
爬取站酷所有用户资料作品，图片，视频等内容。。。 1.首先我用的是Python3加scrapy，每次爬取一个网站，个人习惯都会对这个网站查看很久，思考怎么写最方便，最通用写这个网站的时候我就发现了，这个网站的每个用户的网址是比较有规律的，为自增长，当然可能中间有一些无效用户吗，但是不影响我们把数据抓全。 2.其次，这个网站理论上来说相对比较简单的，因为没有IP限制，没有js破解，抓取的时候主要...
2019-10-16 11:04:51
690
原创 马蜂窝数据爬取
最近，针对马蜂窝网站数据进行了爬取，主要有个人资料，游记，图片等信息。 问题一：马蜂窝网站加速乐问题解决，正常第一次访问会返回一段js ,如下图，这个时候你如果不是专业的js开发者的话，简单的方式就是把前后的script标签去掉。然后在最前面价格function，再把代码的后个eval替换成return,控制台执行的话，会返回下一个js, 返回的js类似于,下面带红框的部分 再次...
2019-10-11 13:57:01
2124
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人