jsoup httpclient 爬取网页并下载google图标

最新推荐文章于 2022-06-24 21:21:25 发布
最新推荐文章于 2022-06-24 21:21:25 发布
阅读量901 收藏
点赞数
分类专栏： java


jsoup httpclient 

jsoup下载地址 http://www.jsoup.org

httpclient下载地址 http://hc.apache.org/downloads.cgi

其他jar包见附件

Java代码   收藏代码
  1. package jsoup;  
  2.   
  3. import java.io.File;  
  4. import java.io.FileOutputStream;  
  5. import java.io.IOException;  
  6. import java.io.InputStream;  
  7. import java.util.HashMap;  
  8. import java.util.Map;  
  9.   
  10. import org.apache.commons.io.FileUtils;  
  11. import org.apache.commons.io.IOUtils;  
  12. import org.apache.http.HttpEntity;  
  13. import org.apache.http.HttpResponse;  
  14. import org.apache.http.HttpStatus;  
  15. import org.apache.http.client.methods.HttpGet;  
  16. import org.apache.http.impl.client.DefaultHttpClient;  
  17. import org.apache.http.params.HttpProtocolParams;  
  18. import org.apache.http.util.EntityUtils;  
  19.   
  20. import com.google.api.translate.Language;  
  21. import com.google.api.translate.Translate;  
  22.   
  23. /** 
  24.  * google logo 下载程序 
  25.  */  
  26. public abstract class Crawler {  
  27.   
  28.     /** 
  29.      * 使用google 翻译api 
  30.      *  
  31.      * @param en 
  32.      * @return 
  33.      */  
  34.     public String translateEnToCinese(String en) {  
  35.         Translate.setHttpReferrer("http://www.xxx.com");  
  36.         try {  
  37.             return Translate.execute(en, Language.ENGLISH, Language.CHINESE);  
  38.         } catch (Exception e) {  
  39.             e.printStackTrace();  
  40.         }  
  41.         return "";  
  42.     }  
  43.   
  44.     /** 
  45.      * 获取一个Map 
  46.      *  
  47.      * @return 
  48.      */  
  49.     public Map<String, Object> getMap() {  
  50.         return new HashMap<String, Object>(0);  
  51.     }  
  52.   
  53.     /** 
  54.      * 下载文件 
  55.      *  
  56.      * @param url 
  57.      *            文件http地址 
  58.      * @param dir 
  59.      *            目标文件 
  60.      * @throws IOException 
  61.      */  
  62.     public void downloadFile(String url, String dir) throws Exception {  
  63.         DefaultHttpClient httpClient = new DefaultHttpClient();  
  64.         HttpProtocolParams.setUserAgent(httpClient.getParams(),  
  65.                         "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.9) Gecko/20100315 Firefox/3.5.9");  
  66.         HttpGet httpGet = new HttpGet();  
  67.         httpGet.setURI(new java.net.URI(url));  
  68.           
  69.         InputStream input = null;  
  70.         FileOutputStream output = null;  
  71.         try {  
  72.             HttpResponse response = httpClient.execute(httpGet);  
  73.             HttpEntity entity = response.getEntity();  
  74.             input = entity.getContent();  
  75.             File file = new File(dir);  
  76.             output = FileUtils.openOutputStream(file);  
  77.             IOUtils.copy(input, output);  
  78.         } catch (Exception e){  
  79.             e.printStackTrace();  
  80.         } finally {  
  81.             IOUtils.closeQuietly(output);  
  82.             IOUtils.closeQuietly(input);  
  83.         }  
  84.     }  
  85.   
  86.     /** 
  87.      * 处理GET请求，返回整个页面 
  88.      *  
  89.      * @param url 
  90.      *            访问地址 
  91.      * @param params 
  92.      *            编码参数 
  93.      * @return 
  94.      * @throws Exception 
  95.      */  
  96.     public synchronized String doGet(String url, String... params)  
  97.             throws Exception {  
  98.         DefaultHttpClient httpClient = new DefaultHttpClient(); // 创建httpClient实例  
  99.         HttpProtocolParams.setUserAgent(httpClient.getParams(),  
  100.                         "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.9) Gecko/20100315 Firefox/3.5.9");  
  101.         String charset = "UTF-8";  
  102.         if (null != params && params.length >= 1) {  
  103.             charset = params[0];  
  104.         }  
  105.         HttpGet httpGet = new HttpGet(); // 创建get方法实例  
  106.         String content = "";  
  107.         httpGet.setURI(new java.net.URI(url));  
  108.         try {  
  109.             HttpResponse response = httpClient.execute(httpGet); // 执行请求，得到response对象  
  110.             int resStatu = response.getStatusLine().getStatusCode(); // 得到返回的状态码  
  111.             if (resStatu == HttpStatus.SC_OK) { // 200正常  
  112.                 HttpEntity entity = response.getEntity(); // 获得相应的实体  
  113.                 if (entity != null) {  
  114.                     // 使用EntityUtils的toString方法，传递默认编码，在EntityUtils中的默认编码是ISO-8859-1  
  115.                     content = EntityUtils.toString(entity, charset);  
  116.                 }  
  117.             }  
  118.         } catch (Exception e) {  
  119.             System.out.println("访问【" + url + "】出现异常!");  
  120.             e.printStackTrace();  
  121.         } finally {  
  122.             // 关闭资源  
  123.             httpGet.abort();  
  124.             httpClient.getConnectionManager().shutdown();  
  125.         }  
  126.         return content;  
  127.     }  
  128. }  

 

 

Java代码   收藏代码
  1. package jsoup;  
  2.   
  3. import java.io.File;  
  4. import java.io.IOException;  
  5. import java.util.ArrayList;  
  6. import java.util.Date;  
  7. import java.util.List;  
  8. import java.util.Map;  
  9.   
  10. import org.apache.commons.io.FileUtils;  
  11. import org.apache.commons.lang.StringUtils;  
  12. import org.json.JSONArray;  
  13. import org.json.JSONObject;  
  14. import org.jsoup.Jsoup;  
  15. import org.jsoup.nodes.Document;  
  16. import org.jsoup.nodes.Element;  
  17. import org.jsoup.select.Elements;  
  18.   
  19. /** 
  20.  * google logo 下载程序 
  21.  */  
  22. public class GoogleLogoCrawler extends Crawler {  
  23.       
  24.     private static final String URL = "http://www.logocollect.com/google/year.php?key=%y&page=%p";   
  25.   
  26.     private static final String LOGO_URL = "http://www.logocollect.com/google/";  
  27.   
  28.     private static final String[] YEARS = new String[] {   
  29.             //"1998", "1999", "2000",  
  30.             //"2001", "2002", "2003", "2004", "2005", "2006", "2007", "2008",   
  31.             "2009", "2010", "2011", "2012" };  
  32.   
  33.     private static final String INDEX = "http://www.logocollect.com/google/year.php?key=%y";   
  34.   
  35.     private static final String DIR_PATH = "D:\\googlelogos\\";  
  36.   
  37.     public void doStart() {  
  38.         JSONArray array = new JSONArray();  
  39.         for (String year : YEARS) {  
  40.             String ind = INDEX.replaceAll("%y", year);  
  41.             int pageCount = getPageCount(ind);  
  42.             for (int i = 1; i < pageCount+1; i++) {  
  43.                 String url = URL.replaceAll("%y", year).replaceAll("%p", i + "");  
  44.                 String path = year + "_" + i;  
  45.                 start(url, array, DIR_PATH + path + "\\", path);  
  46.             }  
  47.         }  
  48.         try {  
  49.             FileUtils.writeStringToFile(new File(DIR_PATH + "json"), array.toString(), "UTF-8");  
  50.         } catch (IOException e) {  
  51.             e.printStackTrace();  
  52.         }  
  53.         System.out.println(array);  
  54.     }  
  55.       
  56.     public int getPageCount(String url) {  
  57.         int pageCount = 1;  
  58.         try {  
  59.             org.jsoup.nodes.Document doc = Jsoup.connect(url).get();  
  60.               
  61.             String els = doc.html().toString();  
  62.             int start = els.indexOf("总页数") + 4;  
  63.             String temp = els.substring(start);  
  64.             int end = temp.indexOf("，");  
  65.             pageCount = Integer.parseInt(els.substring(start,start+end));  
  66.             System.out.println(pageCount);  
  67.         } catch (IOException e) {  
  68.             e.printStackTrace();  
  69.         }  
  70.         return pageCount;  
  71.     }  
  72.   
  73.     public void start(String url, JSONArray array, String dir, String path) {  
  74.         try {  
  75.             String content = super.doGet(url);  
  76.             Document doc = Jsoup.parse(content);  
  77.             Elements dds = doc.select(".img img");  
  78.             List<Map<String, Object>> list = new ArrayList<Map<String, Object>>(0);  
  79.             for (int i = 0; i < dds.size(); i++) {  
  80.                 Element img = dds.get(i);  
  81.                 String src = img.select("img").first().attr("src");  
  82.                 String title = img.select("img").first().attr("title");  
  83.                 Map<String, Object> map = super.getMap();  
  84.                   
  85.                 map.put("url", LOGO_URL + src);  
  86.                 map.put("title", title);  
  87.                   
  88.                 list.add(map);  
  89.             }  
  90.             JSONArray tempJsonArray = new JSONArray();  
  91.             for (Map<String, Object> map : list) {  
  92.                 JSONObject jsonObject = new JSONObject();  
  93.                 String proxy = StringUtils.substringAfterLast(map.get("url")  
  94.                         .toString(), ".");  
  95.                 long date = new Date().getTime();  
  96.                 String name = date + "." + proxy;  
  97.                 jsonObject.put("url", map.get("url").toString());  
  98.                 jsonObject.put("dir", name);  
  99.                 jsonObject.put("title", map.get("title").toString());  
  100.                   
  101.                 // 翻译  
  102. //              String dateZh = super.translateEnToCinese(map.get("date")  
  103. //                      .toString());  
  104. //              String titleZh = super.translateEnToCinese(map.get("title")  
  105. //                      .toString());  
  106. //              json.put("title_zh_cn", dateZh + " - " + titleZh);  
  107.                   
  108.                 // 下载图片  
  109.                 super.downloadFile(map.get("url").toString(), dir + name);  
  110.                 tempJsonArray.put(jsonObject);  
  111.             }  
  112.             array.put(new JSONObject().put(path, tempJsonArray));  
  113.         } catch (Exception e) {  
  114.             e.printStackTrace();  
  115.         }  
  116.     }  
  117.   
  118.     public static void main(String[] args) throws Exception {  
  119.         new GoogleLogoCrawler().doStart();  
  120.     }  
  121.   
  122. }  
jsoup httpclient 

jsoup下载地址 http://www.jsoup.org

httpclient下载地址 http://hc.apache.org/downloads.cgi

其他jar包见附件

Java代码   收藏代码
  1. package jsoup;  
  2.   
  3. import java.io.File;  
  4. import java.io.FileOutputStream;  
  5. import java.io.IOException;  
  6. import java.io.InputStream;  
  7. import java.util.HashMap;  
  8. import java.util.Map;  
  9.   
  10. import org.apache.commons.io.FileUtils;  
  11. import org.apache.commons.io.IOUtils;  
  12. import org.apache.http.HttpEntity;  
  13. import org.apache.http.HttpResponse;  
  14. import org.apache.http.HttpStatus;  
  15. import org.apache.http.client.methods.HttpGet;  
  16. import org.apache.http.impl.client.DefaultHttpClient;  
  17. import org.apache.http.params.HttpProtocolParams;  
  18. import org.apache.http.util.EntityUtils;  
  19.   
  20. import com.google.api.translate.Language;  
  21. import com.google.api.translate.Translate;  
  22.   
  23. /** 
  24.  * google logo 下载程序 
  25.  */  
  26. public abstract class Crawler {  
  27.   
  28.     /** 
  29.      * 使用google 翻译api 
  30.      *  
  31.      * @param en 
  32.      * @return 
  33.      */  
  34.     public String translateEnToCinese(String en) {  
  35.         Translate.setHttpReferrer("http://www.xxx.com");  
  36.         try {  
  37.             return Translate.execute(en, Language.ENGLISH, Language.CHINESE);  
  38.         } catch (Exception e) {  
  39.             e.printStackTrace();  
  40.         }  
  41.         return "";  
  42.     }  
  43.   
  44.     /** 
  45.      * 获取一个Map 
  46.      *  
  47.      * @return 
  48.      */  
  49.     public Map<String, Object> getMap() {  
  50.         return new HashMap<String, Object>(0);  
  51.     }  
  52.   
  53.     /** 
  54.      * 下载文件 
  55.      *  
  56.      * @param url 
  57.      *            文件http地址 
  58.      * @param dir 
  59.      *            目标文件 
  60.      * @throws IOException 
  61.      */  
  62.     public void downloadFile(String url, String dir) throws Exception {  
  63.         DefaultHttpClient httpClient = new DefaultHttpClient();  
  64.         HttpProtocolParams.setUserAgent(httpClient.getParams(),  
  65.                         "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.9) Gecko/20100315 Firefox/3.5.9");  
  66.         HttpGet httpGet = new HttpGet();  
  67.         httpGet.setURI(new java.net.URI(url));  
  68.           
  69.         InputStream input = null;  
  70.         FileOutputStream output = null;  
  71.         try {  
  72.             HttpResponse response = httpClient.execute(httpGet);  
  73.             HttpEntity entity = response.getEntity();  
  74.             input = entity.getContent();  
  75.             File file = new File(dir);  
  76.             output = FileUtils.openOutputStream(file);  
  77.             IOUtils.copy(input, output);  
  78.         } catch (Exception e){  
  79.             e.printStackTrace();  
  80.         } finally {  
  81.             IOUtils.closeQuietly(output);  
  82.             IOUtils.closeQuietly(input);  
  83.         }  
  84.     }  
  85.   
  86.     /** 
  87.      * 处理GET请求，返回整个页面 
  88.      *  
  89.      * @param url 
  90.      *            访问地址 
  91.      * @param params 
  92.      *            编码参数 
  93.      * @return 
  94.      * @throws Exception 
  95.      */  
  96.     public synchronized String doGet(String url, String... params)  
  97.             throws Exception {  
  98.         DefaultHttpClient httpClient = new DefaultHttpClient(); // 创建httpClient实例  
  99.         HttpProtocolParams.setUserAgent(httpClient.getParams(),  
  100.                         "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.9) Gecko/20100315 Firefox/3.5.9");  
  101.         String charset = "UTF-8";  
  102.         if (null != params && params.length >= 1) {  
  103.             charset = params[0];  
  104.         }  
  105.         HttpGet httpGet = new HttpGet(); // 创建get方法实例  
  106.         String content = "";  
  107.         httpGet.setURI(new java.net.URI(url));  
  108.         try {  
  109.             HttpResponse response = httpClient.execute(httpGet); // 执行请求，得到response对象  
  110.             int resStatu = response.getStatusLine().getStatusCode(); // 得到返回的状态码  
  111.             if (resStatu == HttpStatus.SC_OK) { // 200正常  
  112.                 HttpEntity entity = response.getEntity(); // 获得相应的实体  
  113.                 if (entity != null) {  
  114.                     // 使用EntityUtils的toString方法，传递默认编码，在EntityUtils中的默认编码是ISO-8859-1  
  115.                     content = EntityUtils.toString(entity, charset);  
  116.                 }  
  117.             }  
  118.         } catch (Exception e) {  
  119.             System.out.println("访问【" + url + "】出现异常!");  
  120.             e.printStackTrace();  
  121.         } finally {  
  122.             // 关闭资源  
  123.             httpGet.abort();  
  124.             httpClient.getConnectionManager().shutdown();  
  125.         }  
  126.         return content;  
  127.     }  
  128. }  

 

 

Java代码   收藏代码
  1. package jsoup;  
  2.   
  3. import java.io.File;  
  4. import java.io.IOException;  
  5. import java.util.ArrayList;  
  6. import java.util.Date;  
  7. import java.util.List;  
  8. import java.util.Map;  
  9.   
  10. import org.apache.commons.io.FileUtils;  
  11. import org.apache.commons.lang.StringUtils;  
  12. import org.json.JSONArray;  
  13. import org.json.JSONObject;  
  14. import org.jsoup.Jsoup;  
  15. import org.jsoup.nodes.Document;  
  16. import org.jsoup.nodes.Element;  
  17. import org.jsoup.select.Elements;  
  18.   
  19. /** 
  20.  * google logo 下载程序 
  21.  */  
  22. public class GoogleLogoCrawler extends Crawler {  
  23.       
  24.     private static final String URL = "http://www.logocollect.com/google/year.php?key=%y&page=%p";   
  25.   
  26.     private static final String LOGO_URL = "http://www.logocollect.com/google/";  
  27.   
  28.     private static final String[] YEARS = new String[] {   
  29.             //"1998", "1999", "2000",  
  30.             //"2001", "2002", "2003", "2004", "2005", "2006", "2007", "2008",   
  31.             "2009", "2010", "2011", "2012" };  
  32.   
  33.     private static final String INDEX = "http://www.logocollect.com/google/year.php?key=%y";   
  34.   
  35.     private static final String DIR_PATH = "D:\\googlelogos\\";  
  36.   
  37.     public void doStart() {  
  38.         JSONArray array = new JSONArray();  
  39.         for (String year : YEARS) {  
  40.             String ind = INDEX.replaceAll("%y", year);  
  41.             int pageCount = getPageCount(ind);  
  42.             for (int i = 1; i < pageCount+1; i++) {  
  43.                 String url = URL.replaceAll("%y", year).replaceAll("%p", i + "");  
  44.                 String path = year + "_" + i;  
  45.                 start(url, array, DIR_PATH + path + "\\", path);  
  46.             }  
  47.         }  
  48.         try {  
  49.             FileUtils.writeStringToFile(new File(DIR_PATH + "json"), array.toString(), "UTF-8");  
  50.         } catch (IOException e) {  
  51.             e.printStackTrace();  
  52.         }  
  53.         System.out.println(array);  
  54.     }  
  55.       
  56.     public int getPageCount(String url) {  
  57.         int pageCount = 1;  
  58.         try {  
  59.             org.jsoup.nodes.Document doc = Jsoup.connect(url).get();  
  60.               
  61.             String els = doc.html().toString();  
  62.             int start = els.indexOf("总页数") + 4;  
  63.             String temp = els.substring(start);  
  64.             int end = temp.indexOf("，");  
  65.             pageCount = Integer.parseInt(els.substring(start,start+end));  
  66.             System.out.println(pageCount);  
  67.         } catch (IOException e) {  
  68.             e.printStackTrace();  
  69.         }  
  70.         return pageCount;  
  71.     }  
  72.   
  73.     public void start(String url, JSONArray array, String dir, String path) {  
  74.         try {  
  75.             String content = super.doGet(url);  
  76.             Document doc = Jsoup.parse(content);  
  77.             Elements dds = doc.select(".img img");  
  78.             List<Map<String, Object>> list = new ArrayList<Map<String, Object>>(0);  
  79.             for (int i = 0; i < dds.size(); i++) {  
  80.                 Element img = dds.get(i);  
  81.                 String src = img.select("img").first().attr("src");  
  82.                 String title = img.select("img").first().attr("title");  
  83.                 Map<String, Object> map = super.getMap();  
  84.                   
  85.                 map.put("url", LOGO_URL + src);  
  86.                 map.put("title", title);  
  87.                   
  88.                 list.add(map);  
  89.             }  
  90.             JSONArray tempJsonArray = new JSONArray();  
  91.             for (Map<String, Object> map : list) {  
  92.                 JSONObject jsonObject = new JSONObject();  
  93.                 String proxy = StringUtils.substringAfterLast(map.get("url")  
  94.                         .toString(), ".");  
  95.                 long date = new Date().getTime();  
  96.                 String name = date + "." + proxy;  
  97.                 jsonObject.put("url", map.get("url").toString());  
  98.                 jsonObject.put("dir", name);  
  99.                 jsonObject.put("title", map.get("title").toString());  
  100.                   
  101.                 // 翻译  
  102. //              String dateZh = super.translateEnToCinese(map.get("date")  
  103. //                      .toString());  
  104. //              String titleZh = super.translateEnToCinese(map.get("title")  
  105. //                      .toString());  
  106. //              json.put("title_zh_cn", dateZh + " - " + titleZh);  
  107.                   
  108.                 // 下载图片  
  109.                 super.downloadFile(map.get("url").toString(), dir + name);  
  110.                 tempJsonArray.put(jsonObject);  
  111.             }  
  112.             array.put(new JSONObject().put(path, tempJsonArray));  
  113.         } catch (Exception e) {  
  114.             e.printStackTrace();  
  115.         }  
  116.     }  
  117.   
  118.     public static void main(String[] args) throws Exception {  
  119.         new GoogleLogoCrawler().doStart();  
  120.     }  
  121.   
  122. }  



jsoup httpclient 

jsoup下载地址 http://www.jsoup.org

httpclient下载地址 http://hc.apache.org/downloads.cgi

其他jar包见附件

Java代码   收藏代码
  1. package jsoup;  
  2.   
  3. import java.io.File;  
  4. import java.io.FileOutputStream;  
  5. import java.io.IOException;  
  6. import java.io.InputStream;  
  7. import java.util.HashMap;  
  8. import java.util.Map;  
  9.   
  10. import org.apache.commons.io.FileUtils;  
  11. import org.apache.commons.io.IOUtils;  
  12. import org.apache.http.HttpEntity;  
  13. import org.apache.http.HttpResponse;  
  14. import org.apache.http.HttpStatus;  
  15. import org.apache.http.client.methods.HttpGet;  
  16. import org.apache.http.impl.client.DefaultHttpClient;  
  17. import org.apache.http.params.HttpProtocolParams;  
  18. import org.apache.http.util.EntityUtils;  
  19.   
  20. import com.google.api.translate.Language;  
  21. import com.google.api.translate.Translate;  
  22.   
  23. /** 
  24.  * google logo 下载程序 
  25.  */  
  26. public abstract class Crawler {  
  27.   
  28.     /** 
  29.      * 使用google 翻译api 
  30.      *  
  31.      * @param en 
  32.      * @return 
  33.      */  
  34.     public String translateEnToCinese(String en) {  
  35.         Translate.setHttpReferrer("http://www.xxx.com");  
  36.         try {  
  37.             return Translate.execute(en, Language.ENGLISH, Language.CHINESE);  
  38.         } catch (Exception e) {  
  39.             e.printStackTrace();  
  40.         }  
  41.         return "";  
  42.     }  
  43.   
  44.     /** 
  45.      * 获取一个Map 
  46.      *  
  47.      * @return 
  48.      */  
  49.     public Map<String, Object> getMap() {  
  50.         return new HashMap<String, Object>(0);  
  51.     }  
  52.   
  53.     /** 
  54.      * 下载文件 
  55.      *  
  56.      * @param url 
  57.      *            文件http地址 
  58.      * @param dir 
  59.      *            目标文件 
  60.      * @throws IOException 
  61.      */  
  62.     public void downloadFile(String url, String dir) throws Exception {  
  63.         DefaultHttpClient httpClient = new DefaultHttpClient();  
  64.         HttpProtocolParams.setUserAgent(httpClient.getParams(),  
  65.                         "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.9) Gecko/20100315 Firefox/3.5.9");  
  66.         HttpGet httpGet = new HttpGet();  
  67.         httpGet.setURI(new java.net.URI(url));  
  68.           
  69.         InputStream input = null;  
  70.         FileOutputStream output = null;  
  71.         try {  
  72.             HttpResponse response = httpClient.execute(httpGet);  
  73.             HttpEntity entity = response.getEntity();  
  74.             input = entity.getContent();  
  75.             File file = new File(dir);  
  76.             output = FileUtils.openOutputStream(file);  
  77.             IOUtils.copy(input, output);  
  78.         } catch (Exception e){  
  79.             e.printStackTrace();  
  80.         } finally {  
  81.             IOUtils.closeQuietly(output);  
  82.             IOUtils.closeQuietly(input);  
  83.         }  
  84.     }  
  85.   
  86.     /** 
  87.      * 处理GET请求，返回整个页面 
  88.      *  
  89.      * @param url 
  90.      *            访问地址 
  91.      * @param params 
  92.      *            编码参数 
  93.      * @return 
  94.      * @throws Exception 
  95.      */  
  96.     public synchronized String doGet(String url, String... params)  
  97.             throws Exception {  
  98.         DefaultHttpClient httpClient = new DefaultHttpClient(); // 创建httpClient实例  
  99.         HttpProtocolParams.setUserAgent(httpClient.getParams(),  
  100.                         "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.9) Gecko/20100315 Firefox/3.5.9");  
  101.         String charset = "UTF-8";  
  102.         if (null != params && params.length >= 1) {  
  103.             charset = params[0];  
  104.         }  
  105.         HttpGet httpGet = new HttpGet(); // 创建get方法实例  
  106.         String content = "";  
  107.         httpGet.setURI(new java.net.URI(url));  
  108.         try {  
  109.             HttpResponse response = httpClient.execute(httpGet); // 执行请求，得到response对象  
  110.             int resStatu = response.getStatusLine().getStatusCode(); // 得到返回的状态码  
  111.             if (resStatu == HttpStatus.SC_OK) { // 200正常  
  112.                 HttpEntity entity = response.getEntity(); // 获得相应的实体  
  113.                 if (entity != null) {  
  114.                     // 使用EntityUtils的toString方法，传递默认编码，在EntityUtils中的默认编码是ISO-8859-1  
  115.                     content = EntityUtils.toString(entity, charset);  
  116.                 }  
  117.             }  
  118.         } catch (Exception e) {  
  119.             System.out.println("访问【" + url + "】出现异常!");  
  120.             e.printStackTrace();  
  121.         } finally {  
  122.             // 关闭资源  
  123.             httpGet.abort();  
  124.             httpClient.getConnectionManager().shutdown();  
  125.         }  
  126.         return content;  
  127.     }  
  128. }  

 

 

Java代码   收藏代码
  1. package jsoup;  
  2.   
  3. import java.io.File;  
  4. import java.io.IOException;  
  5. import java.util.ArrayList;  
  6. import java.util.Date;  
  7. import java.util.List;  
  8. import java.util.Map;  
  9.   
  10. import org.apache.commons.io.FileUtils;  
  11. import org.apache.commons.lang.StringUtils;  
  12. import org.json.JSONArray;  
  13. import org.json.JSONObject;  
  14. import org.jsoup.Jsoup;  
  15. import org.jsoup.nodes.Document;  
  16. import org.jsoup.nodes.Element;  
  17. import org.jsoup.select.Elements;  
  18.   
  19. /** 
  20.  * google logo 下载程序 
  21.  */  
  22. public class GoogleLogoCrawler extends Crawler {  
  23.       
  24.     private static final String URL = "http://www.logocollect.com/google/year.php?key=%y&page=%p";   
  25.   
  26.     private static final String LOGO_URL = "http://www.logocollect.com/google/";  
  27.   
  28.     private static final String[] YEARS = new String[] {   
  29.             //"1998", "1999", "2000",  
  30.             //"2001", "2002", "2003", "2004", "2005", "2006", "2007", "2008",   
  31.             "2009", "2010", "2011", "2012" };  
  32.   
  33.     private static final String INDEX = "http://www.logocollect.com/google/year.php?key=%y";   
  34.   
  35.     private static final String DIR_PATH = "D:\\googlelogos\\";  
  36.   
  37.     public void doStart() {  
  38.         JSONArray array = new JSONArray();  
  39.         for (String year : YEARS) {  
  40.             String ind = INDEX.replaceAll("%y", year);  
  41.             int pageCount = getPageCount(ind);  
  42.             for (int i = 1; i < pageCount+1; i++) {  
  43.                 String url = URL.replaceAll("%y", year).replaceAll("%p", i + "");  
  44.                 String path = year + "_" + i;  
  45.                 start(url, array, DIR_PATH + path + "\\", path);  
  46.             }  
  47.         }  
  48.         try {  
  49.             FileUtils.writeStringToFile(new File(DIR_PATH + "json"), array.toString(), "UTF-8");  
  50.         } catch (IOException e) {  
  51.             e.printStackTrace();  
  52.         }  
  53.         System.out.println(array);  
  54.     }  
  55.       
  56.     public int getPageCount(String url) {  
  57.         int pageCount = 1;  
  58.         try {  
  59.             org.jsoup.nodes.Document doc = Jsoup.connect(url).get();  
  60.               
  61.             String els = doc.html().toString();  
  62.             int start = els.indexOf("总页数") + 4;  
  63.             String temp = els.substring(start);  
  64.             int end = temp.indexOf("，");  
  65.             pageCount = Integer.parseInt(els.substring(start,start+end));  
  66.             System.out.println(pageCount);  
  67.         } catch (IOException e) {  
  68.             e.printStackTrace();  
  69.         }  
  70.         return pageCount;  
  71.     }  
  72.   
  73.     public void start(String url, JSONArray array, String dir, String path) {  
  74.         try {  
  75.             String content = super.doGet(url);  
  76.             Document doc = Jsoup.parse(content);  
  77.             Elements dds = doc.select(".img img");  
  78.             List<Map<String, Object>> list = new ArrayList<Map<String, Object>>(0);  
  79.             for (int i = 0; i < dds.size(); i++) {  
  80.                 Element img = dds.get(i);  
  81.                 String src = img.select("img").first().attr("src");  
  82.                 String title = img.select("img").first().attr("title");  
  83.                 Map<String, Object> map = super.getMap();  
  84.                   
  85.                 map.put("url", LOGO_URL + src);  
  86.                 map.put("title", title);  
  87.                   
  88.                 list.add(map);  
  89.             }  
  90.             JSONArray tempJsonArray = new JSONArray();  
  91.             for (Map<String, Object> map : list) {  
  92.                 JSONObject jsonObject = new JSONObject();  
  93.                 String proxy = StringUtils.substringAfterLast(map.get("url")  
  94.                         .toString(), ".");  
  95.                 long date = new Date().getTime();  
  96.                 String name = date + "." + proxy;  
  97.                 jsonObject.put("url", map.get("url").toString());  
  98.                 jsonObject.put("dir", name);  
  99.                 jsonObject.put("title", map.get("title").toString());  
  100.                   
  101.                 // 翻译  
  102. //              String dateZh = super.translateEnToCinese(map.get("date")  
  103. //                      .toString());  
  104. //              String titleZh = super.translateEnToCinese(map.get("title")  
  105. //                      .toString());  
  106. //              json.put("title_zh_cn", dateZh + " - " + titleZh);  
  107.                   
  108.                 // 下载图片  
  109.                 super.downloadFile(map.get("url").toString(), dir + name);  
  110.                 tempJsonArray.put(jsonObject);  
  111.             }  
  112.             array.put(new JSONObject().put(path, tempJsonArray));  
  113.         } catch (Exception e) {  
  114.             e.printStackTrace();  
  115.         }  
  116.     }  
  117.   
  118.     public static void main(String[] args) throws Exception {  
  119.         new GoogleLogoCrawler().doStart();  
  120.     }  
  121.   
  122. }  


jsoup httpclient 

jsoup下载地址 http://www.jsoup.org

httpclient下载地址 http://hc.apache.org/downloads.cgi

其他jar包见附件

Java代码   收藏代码
  1. package jsoup;  
  2.   
  3. import java.io.File;  
  4. import java.io.FileOutputStream;  
  5. import java.io.IOException;  
  6. import java.io.InputStream;  
  7. import java.util.HashMap;  
  8. import java.util.Map;  
  9.   
  10. import org.apache.commons.io.FileUtils;  
  11. import org.apache.commons.io.IOUtils;  
  12. import org.apache.http.HttpEntity;  
  13. import org.apache.http.HttpResponse;  
  14. import org.apache.http.HttpStatus;  
  15. import org.apache.http.client.methods.HttpGet;  
  16. import org.apache.http.impl.client.DefaultHttpClient;  
  17. import org.apache.http.params.HttpProtocolParams;  
  18. import org.apache.http.util.EntityUtils;  
  19.   
  20. import com.google.api.translate.Language;  
  21. import com.google.api.translate.Translate;  
  22.   
  23. /** 
  24.  * google logo 下载程序 
  25.  */  
  26. public abstract class Crawler {  
  27.   
  28.     /** 
  29.      * 使用google 翻译api 
  30.      *  
  31.      * @param en 
  32.      * @return 
  33.      */  
  34.     public String translateEnToCinese(String en) {  
  35.         Translate.setHttpReferrer("http://www.xxx.com");  
  36.         try {  
  37.             return Translate.execute(en, Language.ENGLISH, Language.CHINESE);  
  38.         } catch (Exception e) {  
  39.             e.printStackTrace();  
  40.         }  
  41.         return "";  
  42.     }  
  43.   
  44.     /** 
  45.      * 获取一个Map 
  46.      *  
  47.      * @return 
  48.      */  
  49.     public Map<String, Object> getMap() {  
  50.         return new HashMap<String, Object>(0);  
  51.     }  
  52.   
  53.     /** 
  54.      * 下载文件 
  55.      *  
  56.      * @param url 
  57.      *            文件http地址 
  58.      * @param dir 
  59.      *            目标文件 
  60.      * @throws IOException 
  61.      */  
  62.     public void downloadFile(String url, String dir) throws Exception {  
  63.         DefaultHttpClient httpClient = new DefaultHttpClient();  
  64.         HttpProtocolParams.setUserAgent(httpClient.getParams(),  
  65.                         "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.9) Gecko/20100315 Firefox/3.5.9");  
  66.         HttpGet httpGet = new HttpGet();  
  67.         httpGet.setURI(new java.net.URI(url));  
  68.           
  69.         InputStream input = null;  
  70.         FileOutputStream output = null;  
  71.         try {  
  72.             HttpResponse response = httpClient.execute(httpGet);  
  73.             HttpEntity entity = response.getEntity();  
  74.             input = entity.getContent();  
  75.             File file = new File(dir);  
  76.             output = FileUtils.openOutputStream(file);  
  77.             IOUtils.copy(input, output);  
  78.         } catch (Exception e){  
  79.             e.printStackTrace();  
  80.         } finally {  
  81.             IOUtils.closeQuietly(output);  
  82.             IOUtils.closeQuietly(input);  
  83.         }  
  84.     }  
  85.   
  86.     /** 
  87.      * 处理GET请求，返回整个页面 
  88.      *  
  89.      * @param url 
  90.      *            访问地址 
  91.      * @param params 
  92.      *            编码参数 
  93.      * @return 
  94.      * @throws Exception 
  95.      */  
  96.     public synchronized String doGet(String url, String... params)  
  97.             throws Exception {  
  98.         DefaultHttpClient httpClient = new DefaultHttpClient(); // 创建httpClient实例  
  99.         HttpProtocolParams.setUserAgent(httpClient.getParams(),  
  100.                         "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.9) Gecko/20100315 Firefox/3.5.9");  
  101.         String charset = "UTF-8";  
  102.         if (null != params && params.length >= 1) {  
  103.             charset = params[0];  
  104.         }  
  105.         HttpGet httpGet = new HttpGet(); // 创建get方法实例  
  106.         String content = "";  
  107.         httpGet.setURI(new java.net.URI(url));  
  108.         try {  
  109.             HttpResponse response = httpClient.execute(httpGet); // 执行请求，得到response对象  
  110.             int resStatu = response.getStatusLine().getStatusCode(); // 得到返回的状态码  
  111.             if (resStatu == HttpStatus.SC_OK) { // 200正常  
  112.                 HttpEntity entity = response.getEntity(); // 获得相应的实体  
  113.                 if (entity != null) {  
  114.                     // 使用EntityUtils的toString方法，传递默认编码，在EntityUtils中的默认编码是ISO-8859-1  
  115.                     content = EntityUtils.toString(entity, charset);  
  116.                 }  
  117.             }  
  118.         } catch (Exception e) {  
  119.             System.out.println("访问【" + url + "】出现异常!");  
  120.             e.printStackTrace();  
  121.         } finally {  
  122.             // 关闭资源  
  123.             httpGet.abort();  
  124.             httpClient.getConnectionManager().shutdown();  
  125.         }  
  126.         return content;  
  127.     }  
  128. }  

 

 

Java代码   收藏代码
  1. package jsoup;  
  2.   
  3. import java.io.File;  
  4. import java.io.IOException;  
  5. import java.util.ArrayList;  
  6. import java.util.Date;  
  7. import java.util.List;  
  8. import java.util.Map;  
  9.   
  10. import org.apache.commons.io.FileUtils;  
  11. import org.apache.commons.lang.StringUtils;  
  12. import org.json.JSONArray;  
  13. import org.json.JSONObject;  
  14. import org.jsoup.Jsoup;  
  15. import org.jsoup.nodes.Document;  
  16. import org.jsoup.nodes.Element;  
  17. import org.jsoup.select.Elements;  
  18.   
  19. /** 
  20.  * google logo 下载程序 
  21.  */  
  22. public class GoogleLogoCrawler extends Crawler {  
  23.       
  24.     private static final String URL = "http://www.logocollect.com/google/year.php?key=%y&page=%p";   
  25.   
  26.     private static final String LOGO_URL = "http://www.logocollect.com/google/";  
  27.   
  28.     private static final String[] YEARS = new String[] {   
  29.             //"1998", "1999", "2000",  
  30.             //"2001", "2002", "2003", "2004", "2005", "2006", "2007", "2008",   
  31.             "2009", "2010", "2011", "2012" };  
  32.   
  33.     private static final String INDEX = "http://www.logocollect.com/google/year.php?key=%y";   
  34.   
  35.     private static final String DIR_PATH = "D:\\googlelogos\\";  
  36.   
  37.     public void doStart() {  
  38.         JSONArray array = new JSONArray();  
  39.         for (String year : YEARS) {  
  40.             String ind = INDEX.replaceAll("%y", year);  
  41.             int pageCount = getPageCount(ind);  
  42.             for (int i = 1; i < pageCount+1; i++) {  
  43.                 String url = URL.replaceAll("%y", year).replaceAll("%p", i + "");  
  44.                 String path = year + "_" + i;  
  45.                 start(url, array, DIR_PATH + path + "\\", path);  
  46.             }  
  47.         }  
  48.         try {  
  49.             FileUtils.writeStringToFile(new File(DIR_PATH + "json"), array.toString(), "UTF-8");  
  50.         } catch (IOException e) {  
  51.             e.printStackTrace();  
  52.         }  
  53.         System.out.println(array);  
  54.     }  
  55.       
  56.     public int getPageCount(String url) {  
  57.         int pageCount = 1;  
  58.         try {  
  59.             org.jsoup.nodes.Document doc = Jsoup.connect(url).get();  
  60.               
  61.             String els = doc.html().toString();  
  62.             int start = els.indexOf("总页数") + 4;  
  63.             String temp = els.substring(start);  
  64.             int end = temp.indexOf("，");  
  65.             pageCount = Integer.parseInt(els.substring(start,start+end));  
  66.             System.out.println(pageCount);  
  67.         } catch (IOException e) {  
  68.             e.printStackTrace();  
  69.         }  
  70.         return pageCount;  
  71.     }  
  72.   
  73.     public void start(String url, JSONArray array, String dir, String path) {  
  74.         try {  
  75.             String content = super.doGet(url);  
  76.             Document doc = Jsoup.parse(content);  
  77.             Elements dds = doc.select(".img img");  
  78.             List<Map<String, Object>> list = new ArrayList<Map<String, Object>>(0);  
  79.             for (int i = 0; i < dds.size(); i++) {  
  80.                 Element img = dds.get(i);  
  81.                 String src = img.select("img").first().attr("src");  
  82.                 String title = img.select("img").first().attr("title");  
  83.                 Map<String, Object> map = super.getMap();  
  84.                   
  85.                 map.put("url", LOGO_URL + src);  
  86.                 map.put("title", title);  
  87.                   
  88.                 list.add(map);  
  89.             }  
  90.             JSONArray tempJsonArray = new JSONArray();  
  91.             for (Map<String, Object> map : list) {  
  92.                 JSONObject jsonObject = new JSONObject();  
  93.                 String proxy = StringUtils.substringAfterLast(map.get("url")  
  94.                         .toString(), ".");  
  95.                 long date = new Date().getTime();  
  96.                 String name = date + "." + proxy;  
  97.                 jsonObject.put("url", map.get("url").toString());  
  98.                 jsonObject.put("dir", name);  
  99.                 jsonObject.put("title", map.get("title").toString());  
  100.                   
  101.                 // 翻译  
  102. //              String dateZh = super.translateEnToCinese(map.get("date")  
  103. //                      .toString());  
  104. //              String titleZh = super.translateEnToCinese(map.get("title")  
  105. //                      .toString());  
  106. //              json.put("title_zh_cn", dateZh + " - " + titleZh);  
  107.                   
  108.                 // 下载图片  
  109.                 super.downloadFile(map.get("url").toString(), dir + name);  
  110.                 tempJsonArray.put(jsonObject);  
  111.             }  
  112.             array.put(new JSONObject().put(path, tempJsonArray));  
  113.         } catch (Exception e) {  
  114.             e.printStackTrace();  
  115.         }  
  116.     }  
  117.   
  118.     public static void main(String[] args) throws Exception {  
  119.         new GoogleLogoCrawler().doStart();  
  120.     }  
  121.   
  122. }  
jsoup httpclient 

jsoup下载地址 http://www.jsoup.org

httpclient下载地址 http://hc.apache.org/downloads.cgi

其他jar包见附件

Java代码   收藏代码
  1. package jsoup;  
  2.   
  3. import java.io.File;  
  4. import java.io.FileOutputStream;  
  5. import java.io.IOException;  
  6. import java.io.InputStream;  
  7. import java.util.HashMap;  
  8. import java.util.Map;  
  9.   
  10. import org.apache.commons.io.FileUtils;  
  11. import org.apache.commons.io.IOUtils;  
  12. import org.apache.http.HttpEntity;  
  13. import org.apache.http.HttpResponse;  
  14. import org.apache.http.HttpStatus;  
  15. import org.apache.http.client.methods.HttpGet;  
  16. import org.apache.http.impl.client.DefaultHttpClient;  
  17. import org.apache.http.params.HttpProtocolParams;  
  18. import org.apache.http.util.EntityUtils;  
  19.   
  20. import com.google.api.translate.Language;  
  21. import com.google.api.translate.Translate;  
  22.   
  23. /** 
  24.  * google logo 下载程序 
  25.  */  
  26. public abstract class Crawler {  
  27.   
  28.     /** 
  29.      * 使用google 翻译api 
  30.      *  
  31.      * @param en 
  32.      * @return 
  33.      */  
  34.     public String translateEnToCinese(String en) {  
  35.         Translate.setHttpReferrer("http://www.xxx.com");  
  36.         try {  
  37.             return Translate.execute(en, Language.ENGLISH, Language.CHINESE);  
  38.         } catch (Exception e) {  
  39.             e.printStackTrace();  
  40.         }  
  41.         return "";  
  42.     }  
  43.   
  44.     /** 
  45.      * 获取一个Map 
  46.      *  
  47.      * @return 
  48.      */  
  49.     public Map<String, Object> getMap() {  
  50.         return new HashMap<String, Object>(0);  
  51.     }  
  52.   
  53.     /** 
  54.      * 下载文件 
  55.      *  
  56.      * @param url 
  57.      *            文件http地址 
  58.      * @param dir 
  59.      *            目标文件 
  60.      * @throws IOException 
  61.      */  
  62.     public void downloadFile(String url, String dir) throws Exception {  
  63.         DefaultHttpClient httpClient = new DefaultHttpClient();  
  64.         HttpProtocolParams.setUserAgent(httpClient.getParams(),  
  65.                         "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.9) Gecko/20100315 Firefox/3.5.9");  
  66.         HttpGet httpGet = new HttpGet();  
  67.         httpGet.setURI(new java.net.URI(url));  
  68.           
  69.         InputStream input = null;  
  70.         FileOutputStream output = null;  
  71.         try {  
  72.             HttpResponse response = httpClient.execute(httpGet);  
  73.             HttpEntity entity = response.getEntity();  
  74.             input = entity.getContent();  
  75.             File file = new File(dir);  
  76.             output = FileUtils.openOutputStream(file);  
  77.             IOUtils.copy(input, output);  
  78.         } catch (Exception e){  
  79.             e.printStackTrace();  
  80.         } finally {  
  81.             IOUtils.closeQuietly(output);  
  82.             IOUtils.closeQuietly(input);  
  83.         }  
  84.     }  
  85.   
  86.     /** 
  87.      * 处理GET请求，返回整个页面 
  88.      *  
  89.      * @param url 
  90.      *            访问地址 
  91.      * @param params 
  92.      *            编码参数 
  93.      * @return 
  94.      * @throws Exception 
  95.      */  
  96.     public synchronized String doGet(String url, String... params)  
  97.             throws Exception {  
  98.         DefaultHttpClient httpClient = new DefaultHttpClient(); // 创建httpClient实例  
  99.         HttpProtocolParams.setUserAgent(httpClient.getParams(),  
  100.                         "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.9) Gecko/20100315 Firefox/3.5.9");  
  101.         String charset = "UTF-8";  
  102.         if (null != params && params.length >= 1) {  
  103.             charset = params[0];  
  104.         }  
  105.         HttpGet httpGet = new HttpGet(); // 创建get方法实例  
  106.         String content = "";  
  107.         httpGet.setURI(new java.net.URI(url));  
  108.         try {  
  109.             HttpResponse response = httpClient.execute(httpGet); // 执行请求，得到response对象  
  110.             int resStatu = response.getStatusLine().getStatusCode(); // 得到返回的状态码  
  111.             if (resStatu == HttpStatus.SC_OK) { // 200正常  
  112.                 HttpEntity entity = response.getEntity(); // 获得相应的实体  
  113.                 if (entity != null) {  
  114.                     // 使用EntityUtils的toString方法，传递默认编码，在EntityUtils中的默认编码是ISO-8859-1  
  115.                     content = EntityUtils.toString(entity, charset);  
  116.                 }  
  117.             }  
  118.         } catch (Exception e) {  
  119.             System.out.println("访问【" + url + "】出现异常!");  
  120.             e.printStackTrace();  
  121.         } finally {  
  122.             // 关闭资源  
  123.             httpGet.abort();  
  124.             httpClient.getConnectionManager().shutdown();  
  125.         }  
  126.         return content;  
  127.     }  
  128. }  

 

 

Java代码   收藏代码
  1. package jsoup;  
  2.   
  3. import java.io.File;  
  4. import java.io.IOException;  
  5. import java.util.ArrayList;  
  6. import java.util.Date;  
  7. import java.util.List;  
  8. import java.util.Map;  
  9.   
  10. import org.apache.commons.io.FileUtils;  
  11. import org.apache.commons.lang.StringUtils;  
  12. import org.json.JSONArray;  
  13. import org.json.JSONObject;  
  14. import org.jsoup.Jsoup;  
  15. import org.jsoup.nodes.Document;  
  16. import org.jsoup.nodes.Element;  
  17. import org.jsoup.select.Elements;  
  18.   
  19. /** 
  20.  * google logo 下载程序 
  21.  */  
  22. public class GoogleLogoCrawler extends Crawler {  
  23.       
  24.     private static final String URL = "http://www.logocollect.com/google/year.php?key=%y&page=%p";   
  25.   
  26.     private static final String LOGO_URL = "http://www.logocollect.com/google/";  
  27.   
  28.     private static final String[] YEARS = new String[] {   
  29.             //"1998", "1999", "2000",  
  30.             //"2001", "2002", "2003", "2004", "2005", "2006", "2007", "2008",   
  31.             "2009", "2010", "2011", "2012" };  
  32.   
  33.     private static final String INDEX = "http://www.logocollect.com/google/year.php?key=%y";   
  34.   
  35.     private static final String DIR_PATH = "D:\\googlelogos\\";  
  36.   
  37.     public void doStart() {  
  38.         JSONArray array = new JSONArray();  
  39.         for (String year : YEARS) {  
  40.             String ind = INDEX.replaceAll("%y", year);  
  41.             int pageCount = getPageCount(ind);  
  42.             for (int i = 1; i < pageCount+1; i++) {  
  43.                 String url = URL.replaceAll("%y", year).replaceAll("%p", i + "");  
  44.                 String path = year + "_" + i;  
  45.                 start(url, array, DIR_PATH + path + "\\", path);  
  46.             }  
  47.         }  
  48.         try {  
  49.             FileUtils.writeStringToFile(new File(DIR_PATH + "json"), array.toString(), "UTF-8");  
  50.         } catch (IOException e) {  
  51.             e.printStackTrace();  
  52.         }  
  53.         System.out.println(array);  
  54.     }  
  55.       
  56.     public int getPageCount(String url) {  
  57.         int pageCount = 1;  
  58.         try {  
  59.             org.jsoup.nodes.Document doc = Jsoup.connect(url).get();  
  60.               
  61.             String els = doc.html().toString();  
  62.             int start = els.indexOf("总页数") + 4;  
  63.             String temp = els.substring(start);  
  64.             int end = temp.indexOf("，");  
  65.             pageCount = Integer.parseInt(els.substring(start,start+end));  
  66.             System.out.println(pageCount);  
  67.         } catch (IOException e) {  
  68.             e.printStackTrace();  
  69.         }  
  70.         return pageCount;  
  71.     }  
  72.   
  73.     public void start(String url, JSONArray array, String dir, String path) {  
  74.         try {  
  75.             String content = super.doGet(url);  
  76.             Document doc = Jsoup.parse(content);  
  77.             Elements dds = doc.select(".img img");  
  78.             List<Map<String, Object>> list = new ArrayList<Map<String, Object>>(0);  
  79.             for (int i = 0; i < dds.size(); i++) {  
  80.                 Element img = dds.get(i);  
  81.                 String src = img.select("img").first().attr("src");  
  82.                 String title = img.select("img").first().attr("title");  
  83.                 Map<String, Object> map = super.getMap();  
  84.                   
  85.                 map.put("url", LOGO_URL + src);  
  86.                 map.put("title", title);  
  87.                   
  88.                 list.add(map);  
  89.             }  
  90.             JSONArray tempJsonArray = new JSONArray();  
  91.             for (Map<String, Object> map : list) {  
  92.                 JSONObject jsonObject = new JSONObject();  
  93.                 String proxy = StringUtils.substringAfterLast(map.get("url")  
  94.                         .toString(), ".");  
  95.                 long date = new Date().getTime();  
  96.                 String name = date + "." + proxy;  
  97.                 jsonObject.put("url", map.get("url").toString());  
  98.                 jsonObject.put("dir", name);  
  99.                 jsonObject.put("title", map.get("title").toString());  
  100.                   
  101.                 // 翻译  
  102. //              String dateZh = super.translateEnToCinese(map.get("date")  
  103. //                      .toString());  
  104. //              String titleZh = super.translateEnToCinese(map.get("title")  
  105. //                      .toString());  
  106. //              json.put("title_zh_cn", dateZh + " - " + titleZh);  
  107.                   
  108.                 // 下载图片  
  109.                 super.downloadFile(map.get("url").toString(), dir + name);  
  110.                 tempJsonArray.put(jsonObject);  
  111.             }  
  112.             array.put(new JSONObject().put(path, tempJsonArray));  
  113.         } catch (Exception e) {  
  114.             e.printStackTrace();  
  115.         }  
  116.     }  
  117.   
  118.     public static void main(String[] args) throws Exception {  
  119.         new GoogleLogoCrawler().doStart();  
  120.     }  
  121.   
  122. }  
jsoup httpclient 

jsoup下载地址 http://www.jsoup.org

httpclient下载地址 http://hc.apache.org/downloads.cgi

其他jar包见附件

Java代码   收藏代码
  1. package jsoup;  
  2.   
  3. import java.io.File;  
  4. import java.io.FileOutputStream;  
  5. import java.io.IOException;  
  6. import java.io.InputStream;  
  7. import java.util.HashMap;  
  8. import java.util.Map;  
  9.   
  10. import org.apache.commons.io.FileUtils;  
  11. import org.apache.commons.io.IOUtils;  
  12. import org.apache.http.HttpEntity;  
  13. import org.apache.http.HttpResponse;  
  14. import org.apache.http.HttpStatus;  
  15. import org.apache.http.client.methods.HttpGet;  
  16. import org.apache.http.impl.client.DefaultHttpClient;  
  17. import org.apache.http.params.HttpProtocolParams;  
  18. import org.apache.http.util.EntityUtils;  
  19.   
  20. import com.google.api.translate.Language;  
  21. import com.google.api.translate.Translate;  
  22.   
  23. /** 
  24.  * google logo 下载程序 
  25.  */  
  26. public abstract class Crawler {  
  27.   
  28.     /** 
  29.      * 使用google 翻译api 
  30.      *  
  31.      * @param en 
  32.      * @return 
  33.      */  
  34.     public String translateEnToCinese(String en) {  
  35.         Translate.setHttpReferrer("http://www.xxx.com");  
  36.         try {  
  37.             return Translate.execute(en, Language.ENGLISH, Language.CHINESE);  
  38.         } catch (Exception e) {  
  39.             e.printStackTrace();  
  40.         }  
  41.         return "";  
  42.     }  
  43.   
  44.     /** 
  45.      * 获取一个Map 
  46.      *  
  47.      * @return 
  48.      */  
  49.     public Map<String, Object> getMap() {  
  50.         return new HashMap<String, Object>(0);  
  51.     }  
  52.   
  53.     /** 
  54.      * 下载文件 
  55.      *  
  56.      * @param url 
  57.      *            文件http地址 
  58.      * @param dir 
  59.      *            目标文件 
  60.      * @throws IOException 
  61.      */  
  62.     public void downloadFile(String url, String dir) throws Exception {  
  63.         DefaultHttpClient httpClient = new DefaultHttpClient();  
  64.         HttpProtocolParams.setUserAgent(httpClient.getParams(),  
  65.                         "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.9) Gecko/20100315 Firefox/3.5.9");  
  66.         HttpGet httpGet = new HttpGet();  
  67.         httpGet.setURI(new java.net.URI(url));  
  68.           
  69.         InputStream input = null;  
  70.         FileOutputStream output = null;  
  71.         try {  
  72.             HttpResponse response = httpClient.execute(httpGet);  
  73.             HttpEntity entity = response.getEntity();  
  74.             input = entity.getContent();  
  75.             File file = new File(dir);  
  76.             output = FileUtils.openOutputStream(file);  
  77.             IOUtils.copy(input, output);  
  78.         } catch (Exception e){  
  79.             e.printStackTrace();  
  80.         } finally {  
  81.             IOUtils.closeQuietly(output);  
  82.             IOUtils.closeQuietly(input);  
  83.         }  
  84.     }  
  85.   
  86.     /** 
  87.      * 处理GET请求，返回整个页面 
  88.      *  
  89.      * @param url 
  90.      *            访问地址 
  91.      * @param params 
  92.      *            编码参数 
  93.      * @return 
  94.      * @throws Exception 
  95.      */  
  96.     public synchronized String doGet(String url, String... params)  
  97.             throws Exception {  
  98.         DefaultHttpClient httpClient = new DefaultHttpClient(); // 创建httpClient实例  
  99.         HttpProtocolParams.setUserAgent(httpClient.getParams(),  
  100.                         "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.9) Gecko/20100315 Firefox/3.5.9");  
  101.         String charset = "UTF-8";  
  102.         if (null != params && params.length >= 1) {  
  103.             charset = params[0];  
  104.         }  
  105.         HttpGet httpGet = new HttpGet(); // 创建get方法实例  
  106.         String content = "";  
  107.         httpGet.setURI(new java.net.URI(url));  
  108.         try {  
  109.             HttpResponse response = httpClient.execute(httpGet); // 执行请求，得到response对象  
  110.             int resStatu = response.getStatusLine().getStatusCode(); // 得到返回的状态码  
  111.             if (resStatu == HttpStatus.SC_OK) { // 200正常  
  112.                 HttpEntity entity = response.getEntity(); // 获得相应的实体  
  113.                 if (entity != null) {  
  114.                     // 使用EntityUtils的toString方法，传递默认编码，在EntityUtils中的默认编码是ISO-8859-1  
  115.                     content = EntityUtils.toString(entity, charset);  
  116.                 }  
  117.             }  
  118.         } catch (Exception e) {  
  119.             System.out.println("访问【" + url + "】出现异常!");  
  120.             e.printStackTrace();  
  121.         } finally {  
  122.             // 关闭资源  
  123.             httpGet.abort();  
  124.             httpClient.getConnectionManager().shutdown();  
  125.         }  
  126.         return content;  
  127.     }  
  128. }  

 

 

Java代码   收藏代码
  1. package jsoup;  
  2.   
  3. import java.io.File;  
  4. import java.io.IOException;  
  5. import java.util.ArrayList;  
  6. import java.util.Date;  
  7. import java.util.List;  
  8. import java.util.Map;  
  9.   
  10. import org.apache.commons.io.FileUtils;  
  11. import org.apache.commons.lang.StringUtils;  
  12. import org.json.JSONArray;  
  13. import org.json.JSONObject;  
  14. import org.jsoup.Jsoup;  
  15. import org.jsoup.nodes.Document;  
  16. import org.jsoup.nodes.Element;  
  17. import org.jsoup.select.Elements;  
  18.   
  19. /** 
  20.  * google logo 下载程序 
  21.  */  
  22. public class GoogleLogoCrawler extends Crawler {  
  23.       
  24.     private static final String URL = "http://www.logocollect.com/google/year.php?key=%y&page=%p";   
  25.   
  26.     private static final String LOGO_URL = "http://www.logocollect.com/google/";  
  27.   
  28.     private static final String[] YEARS = new String[] {   
  29.             //"1998", "1999", "2000",  
  30.             //"2001", "2002", "2003", "2004", "2005", "2006", "2007", "2008",   
  31.             "2009", "2010", "2011", "2012" };  
  32.   
  33.     private static final String INDEX = "http://www.logocollect.com/google/year.php?key=%y";   
  34.   
  35.     private static final String DIR_PATH = "D:\\googlelogos\\";  
  36.   
  37.     public void doStart() {  
  38.         JSONArray array = new JSONArray();  
  39.         for (String year : YEARS) {  
  40.             String ind = INDEX.replaceAll("%y", year);  
  41.             int pageCount = getPageCount(ind);  
  42.             for (int i = 1; i < pageCount+1; i++) {  
  43.                 String url = URL.replaceAll("%y", year).replaceAll("%p", i + "");  
  44.                 String path = year + "_" + i;  
  45.                 start(url, array, DIR_PATH + path + "\\", path);  
  46.             }  
  47.         }  
  48.         try {  
  49.             FileUtils.writeStringToFile(new File(DIR_PATH + "json"), array.toString(), "UTF-8");  
  50.         } catch (IOException e) {  
  51.             e.printStackTrace();  
  52.         }  
  53.         System.out.println(array);  
  54.     }  
  55.       
  56.     public int getPageCount(String url) {  
  57.         int pageCount = 1;  
  58.         try {  
  59.             org.jsoup.nodes.Document doc = Jsoup.connect(url).get();  
  60.               
  61.             String els = doc.html().toString();  
  62.             int start = els.indexOf("总页数") + 4;  
  63.             String temp = els.substring(start);  
  64.             int end = temp.indexOf("，");  
  65.             pageCount = Integer.parseInt(els.substring(start,start+end));  
  66.             System.out.println(pageCount);  
  67.         } catch (IOException e) {  
  68.             e.printStackTrace();  
  69.         }  
  70.         return pageCount;  
  71.     }  
  72.   
  73.     public void start(String url, JSONArray array, String dir, String path) {  
  74.         try {  
  75.             String content = super.doGet(url);  
  76.             Document doc = Jsoup.parse(content);  
  77.             Elements dds = doc.select(".img img");  
  78.             List<Map<String, Object>> list = new ArrayList<Map<String, Object>>(0);  
  79.             for (int i = 0; i < dds.size(); i++) {  
  80.                 Element img = dds.get(i);  
  81.                 String src = img.select("img").first().attr("src");  
  82.                 String title = img.select("img").first().attr("title");  
  83.                 Map<String, Object> map = super.getMap();  
  84.                   
  85.                 map.put("url", LOGO_URL + src);  
  86.                 map.put("title", title);  
  87.                   
  88.                 list.add(map);  
  89.             }  
  90.             JSONArray tempJsonArray = new JSONArray();  
  91.             for (Map<String, Object> map : list) {  
  92.                 JSONObject jsonObject = new JSONObject();  
  93.                 String proxy = StringUtils.substringAfterLast(map.get("url")  
  94.                         .toString(), ".");  
  95.                 long date = new Date().getTime();  
  96.                 String name = date + "." + proxy;  
  97.                 jsonObject.put("url", map.get("url").toString());  
  98.                 jsonObject.put("dir", name);  
  99.                 jsonObject.put("title", map.get("title").toString());  
  100.                   
  101.                 // 翻译  
  102. //              String dateZh = super.translateEnToCinese(map.get("date")  
  103. //                      .toString());  
  104. //              String titleZh = super.translateEnToCinese(map.get("title")  
  105. //                      .toString());  
  106. //              json.put("title_zh_cn", dateZh + " - " + titleZh);  
  107.                   
  108.                 // 下载图片  
  109.                 super.downloadFile(map.get("url").toString(), dir + name);  
  110.                 tempJsonArray.put(jsonObject);  
  111.             }  
  112.             array.put(new JSONObject().put(path, tempJsonArray));  
  113.         } catch (Exception e) {  
  114.             e.printStackTrace();  
  115.         }  
  116.     }  
  117.   
  118.     public static void main(String[] args) throws Exception {  
  119.         new GoogleLogoCrawler().doStart();  
  120.     }  
  121.   
  122. }  
爬虫仔蛙
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
jsoup分页爬取网页
12-26
**jsoup分页爬取网页** Jsoup是一个Java库，设计用于处理和解析HTML，它提供了非常方便的API，使得开发者能够轻松地提取和操作数据，就像使用DOM、CSS以及jQuery那样。在网页爬虫领域，jsoup尤其适用于抓取和分析...
Jsoup（一）Jsoup详解（官方）
a878787877的专栏
12-14 2190
一、Jsoup概述 1.1、简介 jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API， 　可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。 1.2、Jsoup的主要功能 1）从一个URL，文件或字符串中解析HTML 2）使用DOM或CSS选择器来查找、取出数据 ...
java pa——jsoup使用教程
qq_44886213的博客
06-24 7354
java jsoup dom/css选择/jQuery
Java爬虫——利用HttpClient+jsoup实现
山河
05-08 769
前言 由于我是工作需要，然后第一次接触Java的爬虫，很多地方的原理目前还不太了解，只知道如何去使用以及怎样去使用。所以爬虫理论、原理相关的知识暂时就不多说了，需要的小伙伴可以先了解一下思路以及如何去使用。 爬虫的用途 在项目当中，不管是我们开发人员还是测试人员，在测试使用某一功能点的时候会用到一些比较真实正规一点的数据，这时候我们不可能一条一条的手动去往数据库中插入数据，太麻烦了。这时候爬虫就起...
HttpClient的get方法获取网页内容
fengfeng043的专栏
04-13 8527
使用 HttpClient 需要以下 6 个步骤： 1. 创建 HttpClient 的实例 2. 创建某种连接方法的实例，在这里是GetMethod。在 GetMethod 的构造函数中传入待连接的地址 3. 调用第一步中创建好的实例的 execute 方法来执行第二步中创建好的 method 实例 4. 读 response 5. 释放连接。无论执行方法是否成功，都必须释放连接 6
Java 使用jsoup下载网页内容到本地
qq_40827865的博客
06-17 1430
Java 使用jsoup下载网页上的文字
java通过Jsoup爬取网页过程详解
10-16
主要介绍了java通过Jsoup爬取网页过程详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
jsoup实现爬取一个完整的网站，并保存到本地
03-06
用jsoup实现爬取一个完整的网站，包含网站里的所有链接内容，会另存为html到本地，js和css文件也会保存到本地，可以直接在本地打开查看一个完整的网站。...提供一个链接和保存爬取后的网页保存位置即可。
Java爬虫Jsoup+httpclient获取动态生成的数据
10-19
主要介绍了Java爬虫Jsoup+httpclient获取动态生成的数据的相关资料,需要的朋友可以参考下
Jsoup抓取整个网站
12-28
使用jsoup，抓取整个网站，保存在本地。包括网站的“css、js、图片、页面”，都会保存在本地。并且保存的路径痛网站上的路径。经过测试，一般的基础网站都可以抓取。
crawl-google-results:使用 Java 库 Jsoup 的 Google 搜索结果
07-02
使用 Jsoup-Java 库的 Google 搜索爬虫 该程序使用了库，它可以抓取和解析 HTML。 它为您提供以下内容： 标题 地点 简短摘要 脚步： 克隆这个 repo。 在构建路径中添加 jar。 在源文件中，将“自然语言处理”替换为您的搜索查询，将“10”替换为您想要的结果数。 运行程序。 样本输出 标题 : 斯坦福 NLP（自然语言处理）小组网站：nlp.stanford.edu/ 摘要：斯坦福自然语言处理和计算语言学组。 标题 : 自然语言处理 - Google 研究网站：research.google.com/pubs/NaturalLanguageProcessing.html 摘要：大多数 NLP 应用程序，如信息提取、机器翻译、情感分析和问答，都需要.... 2014 年自然语言处理经验方法会议 (EMNLP '14) 的论文集。 标题：自然语言处理博客
最新httpClient+Jsoup jar包及其依赖包
07-17
包含httpclient-4.5.3.jar，以及其依赖包commons-codec-1.9.jar，commons-logging-1.2.jar，httpcore-4.4.6.jar。包含jsoup-1.10.2.jar
jsoup：将搜索查询发送给Google
一名可爱的技术搬运工
05-27 207
本示例说明如何使用jsoup向Google发送搜索查询。 Document doc = Jsoup .connect("https://www.google.com/search?q=mario"); .userAgent("Mozilla/5.0") .timeout(5000).get(); 来自计算机网络的异常流量 请勿使用此示例向Google垃圾邮件，您将...
教你如何获取网站icon图标！！
轻描淡写
12-02 7805
网站的图标一般都放在根目录，文件名为favicon.ico，比如android开发者社区（juapk）图标网址是： http://www.juapk.com/favicon.ico  
[] - 2023-06-07 用 Java 写个爬虫，So Easy -.pdf
最新发布
12-11
作者通过实例展示了如何抓取网页上的数据，包括GDP和一般公共预算收入的百强县排行榜，旨在帮助读者理解并掌握Jsoup的使用方法。" 在IT和AI技术领域，数据的获取和分析是至关重要的。网页爬虫作为一种有效的数据...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值