爬虫
我要你的自然74
这个作者很懒,什么都没留下…
展开
-
爬虫(一)抓取百度页面的内容
最近在实习,导师又没得项目让我一起做东西,就自己坐在一边瞎鼓捣东西那闲着也是闲着,想来写写爬虫爬虫百度百科上的定义如下 网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。也就是从网页抓取自己想要的数据,得到的数据可以...原创 2018-07-23 14:12:58 · 7927 阅读 · 0 评论 -
爬虫(二)实现qq空间的自动评论和自动点赞
会抓个网页总感觉还不够,平时在空间里经常会遇到秒赞或者是秒评论的,现在也可以自己用爬虫在qq空间得到需要的信息,再向特定的url发送http请求就可以做到自动评论和点赞了,使用的cookie登录,好像有点low,尝试过账号密码登陆,但没成功,那就将就着吧,以后再来研究 1.1 首先先用cookie登录qq空间,抓取到页面的内容,用pc端打开自己的qq空间,按F12进入开发者模式,可以看...原创 2018-07-23 15:33:09 · 13368 阅读 · 2 评论 -
爬虫(三)生成qq好友关系网(1)—登录并获得好友列表
本文目标 1.使用selenium实现账号密码登录qq空间 2.使用多线程爬取qq好友的说说评论点赞情况保存至本地 3.使用echarts将数据可视化开源地址:qq好友关系爬虫这是帮我同学做的他的qq好友关系网效果图,觉得他的关系网络比较好看,有特点,所以就用他的了,连线代表两人之间有联系,线的粗细代表两人关系的好的程度,为了显示效果和隐私就把名字给去了 最开...原创 2018-08-07 13:55:43 · 10971 阅读 · 3 评论 -
爬虫(三)生成qq好友关系网(2)—获取好友空间评论点赞情况
二. 获取好友空间评论点赞情况到了最麻烦的一步了github地址:嘤嘤嘤我就是那个地址,点我点我上一篇看这里: 看我看我看我首先我们得想好我们要啥数据,我们要得到好友之间的关系值,那双方点赞和评论的次数越多,那么双方的关系值就应该越高,所以我们完成这个小项目就只要得到评论和点赞的次数然后我们得想好数据如何存储,是写进数据库呢,还是按照一定的格式存储为txt文件保存在本地,本文...原创 2018-08-07 15:39:41 · 1983 阅读 · 2 评论 -
爬虫(三)生成qq好友关系网(3)—处理数据并将数据可视化
三. 终于写到了最后一篇啦第二步看这里:我是第二步嘻嘻嘻开源地址:是的没错 我是就那个开源 3.1 分析数据得到了第二步的两个文件:comment.txt和like.txt每个文件每一行都是这种格式: A$|$B而我们想要的好友关系网就是数据结构中的图,我们这里的图采用三元组的思想来存储,即 节点a,节点b,权值所以我们根据已经得到的两个文件在生成个 relation...原创 2018-08-07 17:43:58 · 3068 阅读 · 0 评论