- 博客(9)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 twitter推特全量用户收集与发文采集
twitter推特全量用户收集与发文采集twitter推特全量用户收集与发文采集为了研究各国的总统选举期间的民调，x项目需要M国全量推特用户的发文数据，以此为背景，需要将推特大部分用户（70%）的推特uid，screen_name，name，local等信息收集起来用传统方式，按用户名搜索，从粉丝栏采集等方式，只能获取到伪全量用户，想要获得全量用户数据，即要通过遍历uid或者直接入侵推特系统2020年推特日活用户1.7亿，月活用户3.9亿，注册用户预计28亿，要是将这些用户数据简单的uid-scre
2020-12-30 15:09:05
2102
1
原创 facebook评论采集开发
facebook评论采集开发facebook有复杂的请求机制，在实际开发爬虫的过程中非常的麻烦，对其http的构造，有N个动态参数，让人很难摸清，因此使用模拟的方式采集是很好的一个选择在事先知道facebook帖子连接的情况下，我设计了如下的评论采集代码：package com.fb.ajax;import net.sf.json.JSONObject;import java.ut...
2020-03-21 00:05:52
2656
4
原创 舆情系统站点采集之优雅的采集系统模板配置——薅资本主义大牛的羊毛
国内大大小小专注舆情系统开发的公司上百家，对应做舆情，如何结构化采集的数据是一件很重要的事情，如果不能很好的结构化web页面的数据，后续对数据的情感分析，关键词分析很难进行。一般的公司对web页面进行格式化的时候，大多数是自动解析+模板配置进行； 自动解析：分为傻瓜式的解析与加入神经网络功能的智能化解析两种，前者是通过找出各大主流web内容页面特征，对web页面节点进行遍历，获取一个所谓的...
2018-04-03 18:21:45
1378
3
原创 使用fiddler自动化抓取微信公众号文章的点赞与阅读数
本文章为lonter首创，只发布在csdn平台，严禁转载 这几天接到任务，需要开发一个微信榜单的功能，因此需要采集微信公众号文章的阅读数，点赞数和评论数，榜单内的微信公众号有一百多个，每个月出一次榜单。 接到这个任务，我开始研究如何抓取微信阅读数，点赞数和评论数，通过大量参考网上的技术文章，最终确定了我所使用的方案：使用Fiddler进行采集 本文章为lonter首创，只发布在cs...
2018-02-26 18:20:40
18758
4
原创 滑块验证码识别 java版本
好久没有更新技术文章了，很久之前研究过滑块验证码的破解，照着别人的代码改，将其他版本的代码改成java的，加上自己的一些研究，凑合凑合出了第一个java版本的，目前都完成了，只是滑动轨迹的生成被后台识别出是机器人，除了这个问题以外，其他的均没有任何问题！如果谁能弄出轨迹算法出来，可以留言或者加我qq：1069478446，不胜感激 废话不多说，自己上代码：package com.test;impo
2017-09-07 12:36:31
10760
2
原创 使用java进行web微信登录模拟
好久没有写博客了，上一篇博客模拟登录smartqq浏览量达到了2000+，也许大家对这些很猎奇吧，鉴于很多原因，之前smartqq将百度云链接给关闭了，至于原因，是因为核心代码已经给出了，拒绝伸手党，也是促进爬虫事业进步的一大原则性问题。好了，废话不多说，上代码！ 本博客禁止其他网站采集发布，作者不允许任何人转载并发布@_@package com.login;import java.io.Fi
2017-06-03 23:33:14
9076
4
原创 使用httpclient模拟登录京东帐户并抓取帐户信息
这个，前几天有个人出2000软妹币让我做这个功能，应该是风控系统需要吧，我就鼓捣起来，先分析了一下京东的请求，发现未加密密码，呵呵呵呵呵呵，故意的吧喂，那我就不客气哦上代码： 主攻登录的：package clent.http;import java.io.File;import java.io.FileOutputStream;import java.io.IOException;impor
2016-08-05 18:56:06
4060
2
原创 使用爬虫来模拟smart qq的登录，能使用你的java来开发一款聊天机器人哦，cool！
首先介绍一下使用的技术：httpclient,jsoup smart qq地址:http://w.qq.com/ 说一下我的思路：首先仔细的分析smart qq页面的请求，然后就开始开发吧由于smart qq写出来并没有什么利润，只能用来好玩，因此我就纯玩，也不太注意编码格式，要注意的是，需要使用qq去扫描下载下来的二维码图片哦，此亦有一个叫iqq的开源项目，也是模拟的smart qq来开发的，
2016-08-05 18:45:44
7327
11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人