最好配合上一篇的代理ip程序一起运行，否则根据我的经验抓不了几词就被google屏蔽了。废话不说代码如下：
package com.emar.spider;
import java.util.HashMap;
import java.util.HashSet;
import java.util.Map;
import java.util.Set;
import org.dozer.DozerBeanMapper;
import org.dozer.Mapper;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import com.emar.core.httpClient.HttpclientUtil;
public class Spider {
private static Set<String> keywords = new HashSet<String>();
private String url = "http://www.google.com.hk/search";
private int count = 0;
/**
* @param args
* @throws InterruptedException
*/
public static void main(String[] args) throws InterruptedException {
Spider s = new Spider();
keywords.add("美女");
Set<String> seeds = new HashSet<String>();
for (String word : keywords) {
seeds.add(word);
}
Set<String> result = s.getKRByseedWord(seeds, new HashSet<String>(),
1000 * 60 * 1);
System.out.println("本次抓却完毕---------------------------------");
for (String word : result) {
System.out.println(word);
}
}
private Set<String> getKRByseedWord(Set<String> seeds, Set<String> result,
int time) throws InterruptedException {
if (keywords.size() >= 1000 || seeds.size() == 0) {
return keywords;
} else {
for (String seed : seeds) {
Map<String, String> params = new HashMap<String, String>();
params.put("aq", "f");
params.put("aqi", "");
params.put("aql", "");
params.put("btnG", "Google 搜索");
params.put("client", "firefox-a");
params.put("hl", "zh-CN");
params.put("hs", "QDL");
params.put("oq", "");
params.put("q", seed);
params.put("rls", "org.mozilla:zh-CN:official");
params.put("safe", "strict");
System.out.println("");
System.out.println("++++++++++++++++++++++++++");
System.out.println("第" + (++count) + "次抓取");
String html = "";
boolean flag = true;
while (flag) {
try {
System.out.println("等待时长：" + time / 1000 + "秒");
Thread.sleep(time);
html = HttpclientUtil.getByProxy(url, params, "UTF-8");
flag = false;
} catch (Exception e) {
// time = time + 10 * 1000;
e.printStackTrace();
}
}
System.out.println("");
Document doc = Jsoup.parse(html);
Elements links = doc.select(".brs_col a[href]");
for (Element e : links) {
keywords.add(e.text());
result.add(e.text());
}
System.out.println("词库数量已经到达：" + keywords.size() + "个！");
for (String k : keywords) {
System.out.println(k);
}
}
return getKRByseedWord(result, new HashSet<String>(), time);
}
}
}
以下是部分抓取结果：
帮巫婆变美女
世界美女.秀
泡美女
真人美女类小游戏
美女模特谭静
小美女照片
我的美女大小姐起点
美女大学
双人电眼美女小游戏
美女模特大赛
脱衣小游
古典美女
nba明星照片
美女类小游戏大全
非主流美女壁纸
非主流美女头像图片
美女游戏网
非主流美女闪图图片
中国真人美女小游戏
非主流美女闪动照片
90后非主流美女
明星照片
非主流美女闪动大图片
美女小游戏4399
秀舞吧
秀舞
网络美女小鱼
真人美女小游戏
古典美女flash
泡泡美女176220
美女猜拳脱衣小游戏
世界十大美女照片
模特写真
非主流空间留言代码
折磨美女类小游戏
电眼美女游戏
政要美女保镖
世界美女城市
美女小游戏试玩
美女导师爱上我找小说
非主流美女163相册
非主流美女发型
电眼美女2小游戏
非主流美女qq头像闪图
巫婆变美女
在线真人美女小游戏
泡美女小游戏
非主流美女相册
电眼美女小游戏大全
非主流空间闪图
明星大美女
搜索巫婆变美女
美女博客
网络美女排行
qq空间非主流美女头像
脱衣类小游戏
玩美女类小游戏
网络美女照
小说我的同居女神
电眼美女3小游戏
极品家丁
小说老婆爱上我
非主流美女
非主流帅哥照片
非主流闪动图片
美女明星大图
十大美女明星
最新非主流美女图片
泡泡美女小游戏
美女脱衣类小游戏
我的美女大小姐全集
美女游戏
中国第一美女
整美女类小游戏
流氓老师
搜索真人美女小游戏
非主流美女生活照片
中国女明星照片
美女导师爱上我下载
美女
美女脱衣小游戏
电眼美女小游戏
美女小游戏
韩国可爱美女
小说我的美女大小姐下载
非主流美女闪图照片
打扮美女小游戏
最新非主流美女闪图
电眼美女小游戏下载
我的美女大小姐全下载
非主流图片大图
秀舞访
世界美女排行榜
qq秀舞
韩国网络美女
小说我的美女大小姐
非主流美女闪动头像
美女导师爱上我小说
08美女车展
魔兽世界美女
怎么泡美女
韩国美女明星大图
最美女明星
非主流闪图
古装美女照片
4399美女类小游戏
可爱美女qq表情
非主流美女闪图模块
我的美女大小姐chm
美女脱衣麻将2
美女导师爱上我找
真人秀舞
我的美女大小姐全文
男明星照片
美女导师爱上我手机
网络美女排行榜
老婆爱上我sodu
我的美女老总
非主流美女闪图
古典美女圖
我的同居女神下载
美女明星的相册
无财无貌怎么泡美女
我的美女大小姐txt
我的美女大小姐电子书
无才无貌如何泡美女
巫婆变美女中文版
非主流美女大图
美女秀舞
美女小游戏网站
帅哥明星照片
我的美女大小姐全集txt下载
古典美女相片
网上泡美女
非主流头像
我的美女大小姐全文txt
时尚非主流美女图片
古典美女图
非主流美女闪头像
老婆爱上我最新更新
世界美女排名
非主流空间模块
可爱美女头像
美女小游戏网
美女游戏下载
美女导师爱上我
网络美女照片
秀舞网
非主流美女闪动头象
我的同居女神全本下载
韩国女明星照片
重庆美女模特
我的老婆爱上我
非主流美女闪动图片
美女导师爱上你
我的美女大小姐全集下载
古代电眼美女小游戏
美女脱衣游戏
世界美女是谁
美女导师爱上我最新
非主流美女闪动qq头像
巫婆变美女攻略
美女导师爱上我最新章节
美女小游戏试
非主流美女闪动模块
美女导师爱上我小说网
美女照片
我的美女大小姐全集txt
老婆爱上我最新
我的美女大小姐下载
美女游戏大全
古装美女小游戏
北京车展第一美女模特
电眼小美女小游戏
美女车展
我的美女大小姐txt下载
巫婆变美女小游戏
真人版美女游戏
qq非主流美女闪图
老婆爱上我
我的美女大小姐作者
美女明星大曝光
qq空间非主流图片
qq非主流美女闪头像
折磨美女游戏
美女导师爱上我吧
搜索非主流美女图片
人造美女游戏
巫婆造美女小游戏
美女照片欣赏
我的同居女神最新
秀舞网站
非主流美女头像
真人美女小游戏下载
美女模特
我的美女大小姐全文下载
我的美女大小姐最新章节
非主流美女相册地址
非主流帅哥图片
搜索电眼美女小游戏
真人美女小游戏在线玩
美女模特网
所有美女类小游戏
如何泡美女
美女交友
世界美女照片
更多美女脱衣
重庆美女模特回归自然
美女导师爱上我79
韩国男明星照片
电眼美女1小游戏
可爱美女照片
世界美女榜
pcpop泡泡美女
美女模特秀
美女大图
非主流空间
非主流美女闪动
真人美女游戏
qq空间非主流美女图片
网络美女壁纸
老巫婆变美女
韩国明星照片
美女导师爱上
我的同居女神-txt下载
电眼少美女小游戏
老婆爱上我下载
中国美女照片
非主流美女闪图代码
老婆爱上我最新章节
非主流美女闪图头像
明星八卦
人造美女小游戏
非主流空间日志
我的同居女神最新章节
可爱美女
在线美女游戏
巫婆变美女游戏
4399小游戏
非主流qq头像
非主流图片集闪图
我的美女大小姐最新
邻家有女初长成
美女时尚
美女小游戏免费试玩
非主流空间留言
网络美女
我的同居女神txt
美女照片集
古典美女头像
找个美女做老婆最新
非主流空间皮肤
ps古典美女
怎样泡美女
最新非主流美女照片
非主流可爱美女照片
非主流美女图片集闪图
我的美女大小姐最新下载
3d真人美女小游戏
世界美女排行
非主流美女照片集
泡泡美女
我的超级情人
qq非主流美女图片
我的美女大小姐最新章
非主流美女闪动大图
单机美女脱衣麻将
非主流空间代码
非主流美女图片代码
美女类小游戏
非主流美女照片制作
非主流图片闪图
非主流图片
非主流美女照片
qq非主流图片
世界美女大赛
搜索美女小游戏
qq空间非主流美女闪图
重庆美女照片
我的同居女神
在线美女小游戏试玩
2008网络美女
我的美女导师爱上我
qq非主流美女照片
非主流可爱美女qq头像
折麽美女小游戏
秀舞娱乐会所
古典美女照片
非主流空间图片
新疆美女模特
混血美女
明星照片集
非主流图片库
非主流美女闪动横幅
非主流美女图片
老婆爱上我520
非主流图片制作
非主流美女qq头像
在线美女脱衣麻将
真人美女小游戏网
古典美女模块
我的美女大小姐
非主流空间皮肤代码
2202
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
