排序:
默认
按更新时间
按访问量

基于netty实现的socks5代理协议

基于netty实现的socks5代理协议socks5协议简介socks5协议是一个标准的代理协议,工作在网络的四层,理论上可以代理任意应用层协议。协议标准RFC1928,用户/密码鉴权标准RFC1929。协议的中文版本可以参考这里现有开源实现用的比较多的是linux下的ss5开源实现,ss5的安装...

2016-12-28 17:34:25

阅读数:691

评论数:1

无头浏览器,从phantomjs到webkit4j

一、从浏览器说起无头浏览器即headless browser,是一种没有界面的浏览器。既然是浏览器那么浏览器该有的东西它都应该有,只是看不到界面而已。浏览器内核 Webkit:目前最主流的浏览器内核,webkit是苹果公司开源的浏览器内核,其前身是KHTML。基于Webkit的浏览器很多,比如Sa...

2016-10-14 11:06:45

阅读数:8326

评论数:0

DynamicGecco实现爬取规则的动态加载

Gecco爬虫框架中的SpiderBeanGecco是一个快速爬虫开发框架,能让开发人员快速的将爬取下来的页面转换为一个简单的java bean。所有的java bean都需要继承同一个接口SpiderBean。根据返回数据格式的不同可以将SpiderBean分成两个子接口——HtmlBean和J...

2016-07-14 14:31:43

阅读数:980

评论数:0

JAVA类加载机制以及如何自定义类加载器

从双亲委派说起 启动(Bootstrap)类加载器:是用本地代码实现的类装入器,它负责将 /lib下面的类库加载到内存中(比如rt.jar)。由于引导类加载器涉及到虚拟机本地实现细节,开发者无法直接获取到启动类加载器的引用,所以不允许直接通过引用进行操作。 标准扩展(Extension)类加载器:...

2016-06-16 09:31:24

阅读数:275

评论数:0

Gecco爬虫框架的线程和队列模型

简述爬虫在抓取一个页面后一般有两个任务,一个是解析页面内容,一个是将需要继续抓取的url放入队列继续抓取。因此,当爬取的网页很多的情况下,待抓取url的管理也是爬虫框架需要解决的问题。本文主要说的是gecco爬虫框架的队列和线程模型。线程和队列模型 gecco的队列模型是两级队列模型。分为初始请求...

2016-06-08 10:32:49

阅读数:1086

评论数:0

Gecco框架典型案例—闲逛APP

Gecco开源爬虫框架是2015年12月31日发布的,发布以来在易用性、可扩展性上得到了大家的肯定。目前在github上已经有230+的star,100+的fork。那么,Gecco这个新的爬虫框架在实际应用中的表现如何呢?为了让用户放心使用Gecco框架,Gecco团队发布了一款使用Gecco爬...

2016-05-31 10:55:04

阅读数:385

评论数:0

大话Android的消息机制(Handler、Looper、Message...)

大话Android的消息机制(Handler、Looper、Message…)Android的开发很重要的一点就是理解它的消息机制,Android的消息机制涉及到概念不少,HandlerThread、Handler、Looper、MessageQueue、Message、MessagePool,初...

2016-04-27 13:43:33

阅读数:225

评论数:0

gecco 1.1.0稳定版发布,易用的轻量化爬虫

gecco 1.1.0稳定版发布了。 1.1.0版本主要做了如下修改: 1.优化代理设置,运行时计算代理下载成功率,自动发现无效代理,支持运行时添加代理 2.HttpClientDownloader支持类似12306网站非信任ssl证书 3.JsonBean支持嵌套解析 4.修复部分网站...

2016-04-26 10:26:03

阅读数:237

评论数:0

gecco 1.0.9 发布,易用的轻量化爬虫

gecco 1.0.9 发布了。1.0.9版本主要做了如下修改:1、@Image注解增加图片自动下载到本地的方法@Image(download=”d:/gecco/jd/img”) 2、GeccoEngine改为线程方式,通过start()支持非阻塞方式运行 3、支持debug模式,Gecco...

2016-04-13 10:43:45

阅读数:230

评论数:0

java爬虫gecco监控来了,不再裸奔

java爬虫gecco监控来了,不再裸奔爬虫为什么要监控gecco是一个十分简单易用的java开源爬虫框架,同时也一个款拥有很好扩展性的框架,目前已经有:结合spring的插件gecco-spring结合htmlunit的插件gecco-htmlunit结合reids的插件gecco-reids在...

2016-03-21 13:40:23

阅读数:1316

评论数:0

加密技术入门——从对称加密到CA证书

加密技术入门——从对称加密到CA证书几个基本概念 对称加密 对称加密是最传统的加密方式,简单说就是用一个密钥对原文加密,再用同样密钥对原文解密。对称加密的优点就是加密速度快,但是缺点也很明显,密钥的传递无法保障。常见的对称加密算法有DES、3DES、AES等 非对称加密 为了解决密钥传递的...

2016-03-18 14:10:13

阅读数:273

评论数:0

教您使用java爬虫gecco抓取JD全部商品信息

教您使用java爬虫gecco抓取JD全部商品信息gecco爬虫如果对gecco还没有了解可以参看一下gecco的github首页。gecco爬虫十分的简单易用,JD全部商品信息的抓取9个类就能搞定。JD网站的分析要抓取JD网站的全部商品信息,我们要先分析一下网站,京东网站可以大体分为三级,首页上...

2016-03-18 14:06:33

阅读数:1198

评论数:0

JAVA开源软件开发必备技能-发布构建到maven中央仓库的方法和详细步骤

JAVA开源软件开发必备技能 发布构建到maven中央仓库的方法和详细步骤sonatype介绍 向sonatype提交申请 配置maven GPG签名 发布版本 通知sonatype sonatype介绍Maven项目托管在Apache上的,但是中央仓库不是Apache的资源,中央仓库是由So...

2015-12-22 21:11:35

阅读数:833

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭