浅谈java及python爬虫

爬虫 ，就是把你在网页上能看到的信息通过代码自动获取到本地的过程。

常用框架：

java:webmagic, http://webmagic.io/docs/zh/

python:scrapy, http://blog.csdn.net/sunnyxiaohu/article/details/50787430

随着AJAX技术不断的普及，以及现在AngularJS这种Single-page application框架的出现，现在js渲染出的页面越来越多。对于爬虫来说，这种页面是比较讨厌的：仅仅提取HTML内容，往往无法拿到有效的信息。那么如何处理这种页面呢？总的来说有两种做法：

1.在抓取阶段，在爬虫中内置一个浏览器内核，执行js渲染页面后，再抓取。这方面对应的工具有Selenium、HtmlUnit或者PhantomJs。但是这些工具都存在一定的效率问题，同时也不是那么稳定。好处是编写规则同静态页面一样。

2.因为js渲染页面的数据也是从后端拿到，而且基本上都是AJAX获取，所以分析AJAX请求，找到对应数据的请求，也是比较可行的做法。而且相对于页面样式，这种接口变化可能性更小。缺点就是找到这个请求，并进行模拟，是一个相对困难的过程，也需要相对多的分析经验。

windows下主流浏览器都可以，linux服务器上只能无头浏览器，常用的例如phantomjs。

selenium python操作：

dcap = dict(DesiredCapabilities.PHANTOMJS) #设置useragent

dcap['phantomjs.page.settings.userAgent'] = ('Mozilla/5.0 (Macintosh; Intel Mac OS X 10.9; rv:25.0)' ' Gecko/20100101 Firefox/25.0 ') #根据需要设置具体的浏览器信息

browser = webdriver.PhantomJS(desired_capabilities=dcap) #封装浏览器信息

1. browser.get(url) #访问url
2. browser.find_element_by_xpath('//div[@id="nav_content_5"]/a') #元素定位
3. browser.find_element_by_class_name("query").send_keys(u'百度') #元素定位并键入值（适用于搜索框）
4. browser.find_element_by_class_name("oBtn").click() #元素定位并点击（常用）
5. ActionChains(browser).move_to_element(element).perform() #鼠标悬停
6. handles = browser.window_handles #获取当前全部窗口句柄集合
7. browser.switch_to.window(browser.window_handles[1]) #跳转到某个窗口（适用于点击新开标签页）
8. browser.find_element_by_link_text(“下一页”) #标签元素快速定位
9. data = browser.page_source #获取页面源码

selenium java操作：

WebDriver driver = new ChromeDriver();

1. driver.get(url);
2. driver.findElement(By.xpath("//*[@id=\"username\"]")).sendKeys(userName);#定位元素键入值
3. driver.findElement(By.xpath("//*[@id=\"btn-login\"]")).click();#定位元素并点击
4. new Actions(driver).moveToElement(driver.findElement(By.xpath("//*[@id='topPanel']/ul/li[3]/a"))).perform(); #鼠标悬停
5. String source = driver.getPageSource(); #获取页面源码

爬取细节：

可以通过xpath元素定位亦或是正则获取。

python:

pattern = '<li>.*?<a href="(.*?)">(.*?)</a>.*?<span.*?>(.*?)</span>'

data = browser.page_source

contents = re.findall(pattern, data, re.S) #re.S作用：使用re.S参数以后，正则表达式会将这个字符串作为一个整体，而不只是单行匹配

for content in contents:

#处理细节

#content[0],content[1],content[2分别表示第一，二，三个group

java:

regex:

String regexNumber = "&coNum=(.*?)&";

Pattern pattern = Pattern.compile(regexNumber,Pattern.DOTALL);

Matcher matcher = pattern.matcher(url);

while (matcher.find()){

#处理细节

#mather.group(0)表示匹配的整个字符串，mather.group(1)表示第一个group,

#mather.group(2)表示第二个group

}

xpath:

Html html = new Html(source);

//获取单个数据

String name = html.xpath("[@id=\"custName\"]/text()").toString();

//获取列表数据

List<String> strings = html.xpath("//*[@id=\"content\"]/ul/li").all();

附：1.我对正则group的理解

一个()就是一个group

2.xpath简单获取方式

浏览器上右键审查元素，此时会定位到代码，再右键出来copy xpath就ok

2.java模拟chrome下载文件代码

String downloadFilepath = "D:\\test\\excel";

HashMap<String, Object> chromePrefs = new HashMap<String, Object>();

chromePrefs.put("profile.default_content_settings.popups", 0);

chromePrefs.put("download.default_directory", downloadFilepath);

ChromeOptions options = new ChromeOptions();

HashMap<String, Object> chromeOptionsMap = new HashMap<String, Object>();

options.setExperimentalOption("prefs",chromePrefs);

options.addArguments("--test-type");

DesiredCapabilities cap = DesiredCapabilities.chrome();

cap.setCapability(ChromeOptions.CAPABILITY, chromeOptionsMap);

cap.setCapability(CapabilityType.ACCEPT_SSL_CERTS, true);

cap.setCapability(ChromeOptions.CAPABILITY, options);

WebDriver driver = new ChromeDriver(cap);

#-----------------------此处省略各种花里胡哨的操作-----------------------

JavascriptExecutor js = (JavascriptExecutor) driver;

js.executeScript("arguments[0].click();",driver.findElement(By.xpath("//* [@id=\"content\"]/div[1]/div[5]/input[1]")));

driver.findElement(By.xpath("//*[@id=\"content\"]/div[1]/div[5]/input[1]")).click();