- 博客(9)
- 资源 (1)
- 收藏
- 关注
RSS订阅通用httpclient生成方式
在做爬虫的时候，如何生成一个靠谱可用的httpclient对象是非常关键的。在踩了无数的坑之后，总结出一个较为完善的httpclient生成方式。可以解决以下问题：1、设置代理问题2、设置默认的cookiestore对象，用来保存请求中的cookie。以便进行深层次访问。3、在请求失败的重试策略问题4、默认useragent的问题5、https及自签名证书的验证问题...
2016-12-30 16:29:59
321
httpclient4.5 的一些细节
httpclient是Apache下的一个用于执行http网络访问的一个工具包。大致流程：新建一个httpclient对象->新建一个httpRequest对象->用httpclient去执行->得到一个response->通过解析这个response来获取自己所需要的信息。 一、新建httpClient对象：在httpClient4.5中，初始化的方式...
2015-10-20 03:05:42
484
利用gson转换json获取指定内容
抓取到网页里的或者服务器返回的content里的json文件后，需要对文件进行解析。可以利用gson搞定。demo如下：（代码里用到了httpclient的一些方法。）HttpResponse response = getUrlResponse( "url", null, null, 60000); try { String json = EntityU...
2015-10-16 18:10:41
1554
httpclient4.5提交请求通用方法
由于研究需要，需要频繁的访问，为了避免重复代码，写了个get和post通用方法。[code="java"]/** * this is a method for execute a get or post;if you want to execute a get * method ,make the param list to be null;default timeout peri...
2015-10-13 00:05:47
223
java renameTo方法
[code="java"]File oldFile = new File("D:\\workspace\\FetchMzw\\test");File newfile = new File("E:\\download\\BBB");boolean b = file.renameTo(newfile);System.out.println(b);[/code]在windows系统下，对...
2015-09-30 11:24:47
472
MongoDb查询
最近学习MongoDB，研究官方文档java版本，以下是自己的理解(内容参考官方文档)：官方文档地址：[url]https://docs.mongodb.org/getting-started/java/query/[/url]遍历一个collection有两种方法：以document为单位遍历一个collection：1、可用mongodb自带的遍历方式[code="ja...
2015-09-20 23:27:44
172
httpclient设置代理
原来用gae的时候折腾过java自带代理。然而并没有什么卵用。现在用gae也时常不稳定，处于基本报废状态。今天找到了另外一个可用的，并且发现httpclient也有自带的设置代理功能。代码如下：[code="java"]HttpHost proxy = new HttpHost("127.0.0.1", 8087);DefaultProxyRoutePlanner routePlann...
2015-09-18 22:05:06
516
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人