![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python爬虫
文章平均质量分 95
清风_1998
这个作者很懒,什么都没留下…
展开
-
python爬取“微博”移动端评论数据
目的爬取微博移动端的评论数据(如下图),然后将数据保存到.txt文件和.xlsl文件中。实现过程实现的方法很简单,就是模拟浏览器发送ajax请求,然后获取后端传过来的json数据。一、找到获取评论数据的ajax请求按下F12,打开控制台,找到以下请求以 https://m.weibo.cn/detail/4467454577673256 为例,得到的ajax请求是这样的:htt...原创 2020-02-08 00:13:48 · 4817 阅读 · 12 评论 -
python爬取"快代理"和"西刺"的"国内高匿代理IP"
需求爬取"快代理"网站里免费代理专栏的"国内高匿代理",如下图而我们要做的就是获取IP,PORT,匿名度,类型,位置,响应速度以及最后验证时间,并验证其可用性,最后把他们存储到.txt文件,.csv文件以及mongoDB数据库中。事先准备pycharm开发工具(当然,如果够厉害,可以不使用IDE,直接命令行)mongoDB数据库。安装教程可自行百度或谷歌查找。这里给一个MongoDB安...原创 2019-11-21 23:43:29 · 3665 阅读 · 0 评论