HttpClient--HttpGet的使用样式


HttpClient--HttpGet的使用样式

import com.alibaba.fastjson.JSONArray;
import com.alibaba.fastjson.JSONObject;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;

import java.io.BufferedInputStream;
import java.io.File;
import java.io.FileOutputStream;
import java.io.InputStream;
import java.util.ArrayList;
import java.util.List;

/**
 * Created with .
 * Date: 14-5-28
 * Time: 下午12:17
 * To change this template use File | Settings | File Templates.
 */
public class LoadImageClient {
    CloseableHttpClient httpclient = HttpClients.createDefault();

    public HttpGet doGet(String url) {
        HttpGet httpGet = new HttpGet(url);
        httpGet.addHeader("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8");
        httpGet.addHeader("Connection", "Keep-Alive");
        httpGet.addHeader("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:29.0) Gecko/20100101 Firefox/29.0");
        httpGet.addHeader("Cookie", "");
        return httpGet;

    }

    public void loadImage(int tid) {

        CloseableHttpResponse response = null;
        CloseableHttpResponse resImg = null;
        try {

            HttpGet httpGet = doGet("http://www.xxx.com/tt?tid=" + tid);

            response = execute(httpGet);

            if (response == null){
                return;
            }


            String result = EntityUtils.toString(response.getEntity());

            JSONObject json = new JSONObject();
            JSONObject jsonObject = json.parseObject(result.toString().trim());
            Object files = jsonObject.get("pictures");

            if (files != null) {
                JSONArray jsonArray = (JSONArray) files;
                if (jsonArray.size() <= 0) return;
                JSONObject o = (JSONObject) jsonArray.get(jsonArray.size() - 1);

                String url = (String) o.get("url");
               /* if(!url.contains("/sns/")){
                    return;
                }*/

                String fileName = url.substring(url.lastIndexOf("/") + 1);
                System.out.println(Thread.currentThread().getName() + "--" + url);

                File file = new File("e:\\pic\\" + fileName.trim());

               /* if (!file.exists()) {
                    file.createNewFile();
                }*/

                FileOutputStream outputStream = new FileOutputStream(file);

                HttpGet httpGetImg = doGet(url);
                resImg = execute(httpGetImg);
                if (resImg == null) return;

                InputStream imgIs = resImg.getEntity().getContent();
                BufferedInputStream bis = new BufferedInputStream(imgIs);
                byte[] bytes = new byte[1024 * 1024];
                int length = 0;
                while ((length = bis.read(bytes)) > -1) {
                    outputStream.write(bytes, 0, length);
                }

                outputStream.flush();
                outputStream.close();
            }else{
                System.out.println(Thread.currentThread().getName() + "--" + tid);
            }

        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            close(response);
            close(resImg);
        }
    }

    private void close(CloseableHttpResponse response) {
        try {
            if (response != null) response.close();
        } catch (Exception e) {
            e.printStackTrace();
        }
    }

    private CloseableHttpResponse execute(HttpGet httpGet) {
        CloseableHttpResponse response = null;
        try {

            response = httpclient.execute(httpGet);

            int status = response.getStatusLine().getStatusCode();
            if (status >= 200 && status < 300) {
                return response;
            }

            response.close();
            return null;
        } catch (Exception e) {
            e.printStackTrace();
        }
        return null;
    }

    public static void main(String[] args) {
        final LoadImageClient loadImage = new LoadImageClient();
        List<Thread> threads = new ArrayList<Thread>();

        for (int i = 10; i < 100; i++) {
            final int t = i * 10;

            Thread thread = new Thread(new Runnable() {
                @Override
                public void run() {
                    try {

                        int tid = 339000 + t;
                        for (int j = 10; j >=0 ; j--) {
                            loadImage.loadImage(tid + j);
                        }
                    } catch (Exception e) {
                        e.printStackTrace();
                    }
                }
            });
            threads.add(thread);

        }

        for (Thread thread : threads) {
            thread.start();
        }

    }
}




http://blog.csdn.net/xxb2008




压缩包中含有多个文档,从了解httpclient到应用。 httpClient 1httpClint 1.1简介 HttpClient是Apache Jakarta Common下的子项目,用来提供高效的、最新的、功能丰富的支持HTTP协议的客户端编程工具包,并且它支持HTTP协议最新的版本和建议。HttpClient已经应用在很多的项目中,比如Apache Jakarta上很著名的另外两个开源项目Cactus和HTMLUnit都使用HttpClient。 下载地址:  http://hc.apache.org/downloads.cgi 1.2特性 1. 基于标准、纯净的java语言。实现了Http1.0和Http1.1 2. 以可扩展的面向对象的结构实现了Http全部的方法(GET, POST, PUT, DELETE, HEAD, OPTIONS, and TRACE)。 3. 支持HTTPS协议。 4. 通过Http代理建立透明的连接。 5. 利用CONNECT方法通过Http代理建立隧道的https连接。 6. Basic, Digest, NTLMv1, NTLMv2, NTLM2 Session, SNPNEGO/Kerberos认证方案。 7. 插件式的自定义认证方案。 8. 便携可靠的套接字工厂使它更容易的使用第三方解决方案。 9. 连接管理器支持多线程应用。支持设置最大连接数,同时支持设置每个主机的最大连接数,发现并关闭过期的连接。 10. 自动处理Set-Cookie中的Cookie。 11. 插件式的自定义Cookie策略。 12. Request的输出流可以避免流中内容直接缓冲到socket服务器。 13. Response的输入流可以有效的从socket服务器直接读取相应内容。 14. 在http1.0和http1.1中利用KeepAlive保持持久连接。 15. 直接获取服务器发送的response code和 headers。 16. 设置连接超时的能力。 17. 实验性的支持http1.1 response caching。 18. 源代码基于Apache License 可免费获取。 1.3版本 org.apache.http.impl.client.HttpClients 与 org.apache.commons.httpclient.HttpClient目前后者已被废弃,apache已不再支持。 一般而言,使用HttpClient均需导入httpclient.jar与httpclient-core.jar2个包。 1.4使用方法与步骤 开发环境:需要 使用HttpClient发送请求、接收响应很简单,一般需要如下几步即可。 1.创建HttpClient对象。 HttpClient client = new HttpClient(); 2.创建请求方法的实例,并指定请求URL。如果需要发送GET请求,创建HttpGet对象;如果需要发送POST请求,创建HttpPost对象。 //使用GET方法,如果服务器需要通过HTTPS连接,那只需要将下面URL中的 http换成https HttpMethod method = new GetMethod("http://www.baidu.com"); //使用POST方法 HttpMethod method = new PostMethod("http://java.sun.com";); 3. 如果需要发送请求参数,可调用HttpGet、HttpPost共同的setParams(HetpParams params)方法来添加请求参数;对于HttpPost对象而言,也可调用setEntity(HttpEntity entity)方法来设置请求参数。 3.调用HttpClient对象的execute(HttpUriRequest request)发送请求,该方法返回一个HttpResponse。 client.executeMethod(method); 5. 调用HttpResponse的getAllHeaders()、getHeaders(String name)等方法可获取服务器的响应头;调用HttpResponse的getEntity()方法可获取HttpEntity对象,该对象包装了服务器的响应内容。程序可通过该对象获取服务器的响应内容。 6. 释放连接。无论执行方法是否成功,都必须释放连接 //打印服务器返回的状态 System.out.println(method.getStatusLine()); //打印返回的信息 System.out.println(method.getResponseBodyAsString(
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值