自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(7)
  • 资源 (4)
  • 收藏
  • 关注

原创 facebook评论采集开发

facebook评论采集开发facebook有复杂的请求机制,在实际开发爬虫的过程中非常的麻烦,对其http的构造,有N个动态参数,让人很难摸清,因此使用模拟的方式采集是很好的一个选择在事先知道facebook帖子连接的情况下,我设计了如下的评论采集代码:package com.fb.ajax;import net.sf.json.JSONObject;import java.ut...

2020-03-21 00:05:52 713 1

原创 舆情系统站点采集之优雅的采集系统模板配置——薅资本主义大牛的羊毛

国内大大小小专注舆情系统开发的公司上百家,对应做舆情,如何结构化采集的数据是一件很重要的事情,如果不能很好的结构化web页面的数据,后续对数据的情感分析,关键词分析很难进行。一般的公司对web页面进行格式化的时候,大多数是自动解析+模板配置进行; 自动解析:分为傻瓜式的解析与加入神经网络功能的智能化解析两种,前者是通过找出各大主流web内容页面特征,对web页面节点进行遍历,获取一个所谓的...

2018-04-03 18:21:45 1035 2

原创 使用fiddler自动化抓取微信公众号文章的点赞与阅读数

本文章为lonter首创,只发布在csdn平台,严禁转载 这几天接到任务,需要开发一个微信榜单的功能,因此需要采集微信公众号文章的阅读数,点赞数和评论数,榜单内的微信公众号有一百多个,每个月出一次榜单。 接到这个任务,我开始研究如何抓取微信阅读数,点赞数和评论数,通过大量参考网上的技术文章,最终确定了我所使用的方案:使用Fiddler进行采集 本文章为lonter首创,只发布在cs...

2018-02-26 18:20:40 16405 3

原创 滑块验证码识别 java版本

好久没有更新技术文章了,很久之前研究过滑块验证码的破解,照着别人的代码改,将其他版本的代码改成java的,加上自己的一些研究,凑合凑合出了第一个java版本的,目前都完成了,只是滑动轨迹的生成被后台识别出是机器人,除了这个问题以外,其他的均没有任何问题!如果谁能弄出轨迹算法出来,可以留言或者加我qq:1069478446,不胜感激 废话不多说,自己上代码:package com.test;impo

2017-09-07 12:36:31 9547 2

原创 使用java进行web微信登录模拟

好久没有写博客了,上一篇博客模拟登录smartqq浏览量达到了2000+,也许大家对这些很猎奇吧,鉴于很多原因,之前smartqq将百度云链接给关闭了,至于原因,是因为核心代码已经给出了,拒绝伸手党,也是促进爬虫事业进步的一大原则性问题。好了,废话不多说,上代码! 本博客禁止其他网站采集发布,作者不允许任何人转载并发布@_@package com.login;import java.io.Fi

2017-06-03 23:33:14 8357 4

原创 使用httpclient模拟登录京东帐户并抓取帐户信息

这个,前几天有个人出2000软妹币让我做这个功能,应该是风控系统需要吧,我就鼓捣起来,先分析了一下京东的请求,发现未加密密码,呵呵呵呵呵呵,故意的吧喂,那我就不客气哦上代码: 主攻登录的:package clent.http;import java.io.File;import java.io.FileOutputStream;import java.io.IOException;impor

2016-08-05 18:56:06 3594 2

原创 使用爬虫来模拟smart qq的登录,能使用你的java来开发一款聊天机器人哦,cool!

首先介绍一下使用的技术:httpclient,jsoup smart qq地址:http://w.qq.com/ 说一下我的思路:首先仔细的分析smart qq页面的请求,然后就开始开发吧由于smart qq写出来并没有什么利润,只能用来好玩,因此我就纯玩,也不太注意编码格式,要注意的是,需要使用qq去扫描下载下来的二维码图片哦,此亦有一个叫iqq的开源项目,也是模拟的smart qq来开发的,

2016-08-05 18:45:44 6862 11

可以解析html文档内容的工程|tt.zip

httpclient,自动解析html页面内容

2016-08-25

JFreechart

使用JFreechart.jar包开发的一个报表

2014-08-13

网络文件系统代码

linux系统之间传输文件

2016-08-30

集成redis的爬虫项目

集成redis的爬虫项目。加入了redis排重

2016-08-26

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除