httpclient
liuxinglanyue
这个作者很懒,什么都没留下…
展开
-
源码提供 —— 使用Apache Commons HttpClient灵活实现JAAS签权(转)
JavaEE提供了JAAS安全机制,在架构一个web系统时,可以根据这个标准来保护系统的安全。先对JAAS标准作个简单介绍,JAAS为Java企业应用提供了安全规范和接口,规范主要由JavaEE服务器实现,接口则面向服务实现以及应用开发。一个安全的web系统,必须对其访问用户进行访问范围的控制,在JAAS中,这种控制体现在用户的角色上。举个例子,假设一个web系统(假设为http://www.as...原创 2010-12-12 10:52:57 · 117 阅读 · 0 评论 -
httpclient的并发连接问题
转自:kafka0102昨天的搜索系统又出状况了,几个库同时重建索引变得死慢。经过一个上午的复现分析,确定问题出现httpclient的使用上(我使用的是3.1这个被广泛使用的遗留版本)。搜索系统在重建索引时,是并发多个线程(默认是8个)不停的从PHP客户端取数据(当然,从另一个角度来说,搜索系统是客户端,PHP端是服务端),取回后放到一个队列里由单独的一个或多个线程更新索引。在测试环境复...原创 2010-12-07 15:33:20 · 213 阅读 · 0 评论 -
JAVA-用HttpClient来模拟浏览器GET,POST
来自:深沉的船一般的情况下我们都是使用IE或者Navigator浏览器来访问一个WEB服务器,用来浏览页面查看信息或者提交一些数据等等。所访问的这些页面有的仅仅是一些普通的页面,有的需要用户登录后方可使用,或者需要认证以及是一些通过加密方式传输,例如HTTPS。目前我们使用的浏览器处理这些情况都不会构成问题。不过你可能在某些时候需要通过程序来访问这样的一些页面,比如从别人的网页中“偷”一些数据...原创 2010-12-05 10:31:27 · 69 阅读 · 0 评论 -
Java模拟HTTP的Get和Post请求
来自:深沉的船 import java.io.BufferedReader; import java.io.BufferedWriter; import java.io.InputStream; import java.io.InputStreamReader; import java.io.OutputStreamWriter; import java.ne...原创 2010-12-05 10:30:12 · 76 阅读 · 0 评论 -
org.apache.commons.httpclient.HttpClient 基本功能
来自:深沉的船HttpClient 基本功能的使用GET 方法使用 HttpClient 需要以下 6 个步骤:1. 创建 HttpClient 的实例2. 创建某种连接方法的实例,在这里是 GetMethod。在 GetMethod 的构造函数中传入待连接的地址3. 调用第一步中创建好的实例的 execute 方法来执行第二步中创建好的 method 实例4. 读 response5. 释放...原创 2010-12-05 10:27:40 · 1052 阅读 · 0 评论 -
使用HttpClient过程中常见的一些问题
来自:深沉的船下面介绍在使用HttpClient过程中常见的一些问题。字符编码某目标页的编码可能出现在两个地方,第一个地方是服务器返回的http头中,另外一个地方是得到的html/xml页面中。在http头的Content-Type字段可能会包含字符编码信息。例如可能返回的头会包含这样子的信息:Content-Type: text/html; charset=UTF-8。...原创 2010-12-05 10:25:48 · 171 阅读 · 0 评论 -
为 httpclient 设置代理, 设置http头
来自:深沉的船在学校园网,要代理才可上网。写程序获取网上资源时,怎么办呢?同样可以为程序设置代理。我用HttpClient的3.1版本。有些网站要浏览器才可以访问,但程序可以仿浏览器,主要是设置http头。在HostConfiguration.setProxy里设置。如下面代码: package com.skydong; import java.io....原创 2010-12-05 10:23:09 · 152 阅读 · 0 评论 -
浏览器与服务器交互原理以及用java模拟浏览器操作
来自:深沉的船* 1,在HTTP的WEB应用中, 应用客户端和服务器之间的状态是通过Session来维持的, 而Session的本质就是Cookie, * 简单的讲,当浏览器向服务器发送Http请求的时候, HTTP服务器会产生一个SessionID,这个SessionID就唯一的标识了一个客户端到服务器的请求会话过程.* 就如同一次会议开始时,主办方给每位到场的嘉宾一个临时的编号胸牌一样, ...原创 2010-12-05 10:17:36 · 121 阅读 · 0 评论 -
利用httpclient+jericho多线程实现抓取网页内容
来自:深沉的船任务描述:某图书网站按条件查询得出一页20条记录,每条记录有书目的简要信息和url链接到书的详细信息。需要抓取网站图书的详细信息,保存到本地数据库中。任务分析:用httpclient模拟执行url将网站的信息取回,再用jericho包,分析页面元素,将需要的信息取出,保存到数据库中。因为数据量比较大,还是采用多线程的方式来执行抓取详细页面,分析获得数据...原创 2010-12-05 10:15:55 · 97 阅读 · 0 评论 -
HttpClient 学习整理
来自:深沉的船HttpClient 是我最近想研究的东西,以前想过的一些应用没能有很好的实现,发现这个开源项目之后就有点眉目了,令人头痛的cookie问题还是有办法解决滴。在网上整理了一些东西,写得很好,寄放在这里。HTTP 协议可能是现在 Internet 上使用得最多、最重要的协议了,越来越多的 Java 应用程序需要直接通过 HTTP 协议来访问网络资源。虽然在 JDK 的 java.n...原创 2010-12-05 10:12:20 · 52 阅读 · 0 评论 -
httpclient校内模拟登录CNKI
1. HttpClient httpClient=new HttpClient(); httpClient.getParams().setContentCharset("utf-8"); PostMethod postMetho=new PostMethod("****//要提交的action"); NameValuePair[] pairs=new NameValue...原创 2010-12-04 20:45:07 · 104 阅读 · 0 评论 -
抓取防爬虫的网站信息
有的网站限制网络爬虫的抓取,例如javaeye。会出现错误提示: <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DT...原创 2010-12-04 20:35:55 · 112 阅读 · 0 评论 -
Apache Common HttpClient使用之七种武器(转)
1.拳头之Get/Post拳头是最基本的一重武器,也是最重要的,好比练武之人必须先扎稳马步。java 代码 HttpClient httpclient=new HttpClient();//创建一个客户端,类似打开一个浏览器 GetMethod getMethod=new GetMethod("http://www.blablabla.com");//创建一个get方法,类...原创 2010-11-16 21:59:54 · 79 阅读 · 0 评论 -
HttpClient的“Going to buffer response body of large or unknown size. Using getRes
使用HttpClient,总是报出“Going to buffer response body of large or unknown size. Using getResponseBodyAsStream instead is recommended.”的WARN日志,定位到HttpClient的源码如下: public byte[] getResponseBody() throws ...原创 2010-12-07 15:36:32 · 590 阅读 · 0 评论