python谷歌网页爬虫_python使用chrome driver做简单爬虫

使用python的urllib来抓取网页很容易被当作爬虫来对待

下面是一个使用urllib的例子：

import urllib.request

url = 'http://www.jianshu.com/p/99747a2f29f7'

headers = {

'Connection': 'Keep-Alive',

'Accept': 'text/html, application/xhtml+xml, */*',

'Accept-Language': 'en-US,en;q=0.8,zh-Hans-CN;q=0.5,zh-Hans;q=0.3',

'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; rv:11.0) like Gecko'

}

req = urllib.request.Request(url, headers=headers)

response = urllib.request.urlopen(req)

html = response.read().decode()

print(html)

使用selenium

为了防止这种情况，我们可以使用selenium自动控制chrome等浏览器抓取网页数据，使用以上方式抓取网页内容的，还可以让浏览器动态的加载网页内容，这方便了抓取使用ajax动态加载的网页

代码要点：

使用webdriver调用chrome driver，C:\Program Files (x86)\Google\Chrome\Application\chromedriver.exe是chrome driver的安装路径

browser = webdriver.Chrome('C:\Program Files (x86)\Google\Chrome\Application\chromedriver.exe')

获取到网页的html代码之后，可以使用BeautifulSoup查找网页标签，通过BeautifulSoup初始化一个bsObj对象之后，可以使用find、find_all查找网页标签，查找到的标签还是继续使用find、find_all方法

bsObj = BeautifulSoup(html, "html.parser")

note_list = bsObj.find("ul", {"class": "note-list"})

article_list = note_list.find_all("li")

如何获得某个标签中的属性，如获得中的href属性

href = i.find('a', {"class": "title"})['href']

如何获得标签中夹杂的文本，如

文本内容

，可以使用get_text方法

times = i.find('div', {"class": "meta"}).a.get_text()

下面是完整代码：

from selenium import webdriver

from bs4 import BeautifulSoup

import time

def get_all_article(uid):

tar_url = 'http://www.jianshu.com/u/' + uid

browser.get(tar_url)

html = browser.page_source

bsObj = BeautifulSoup(html, "html.parser")

note_list = bsObj.find("ul", {"class": "note-list"})

article_list = note_list.find_all("li")

all_article = []

for i in article_list:

href = i.find('a', {"class": "title"})['href']

times = i.find('div', {"class": "meta"}).a.get_text().strip('\n').strip()

all_article.append({'href': href, 'times': times})

return all_article

browser = webdriver.Chrome('C:\Program Files (x86)\Google\Chrome\Application\chromedriver.exe')

browser.set_page_load_timeout(5)

uid = '55672ec82fcd'

all_article = get_all_article(uid=uid)

for article in all_article:

times = int(article['times'])

if times < 10:

for j in range(10-times):

try:

browser.get('http://www.jianshu.com'+article['href'])

time.sleep(0.2)

except Exception as e:

continue

browser.quit()

chrome driver与chrome

这里是chrome driver的下载地址，如果速度太慢，建议使用vpn打开

chrome driver与chrome之间的对应关系，可以查看各个版本下面的notes.txt文件，如这里

下载好chrome driver之后将chromedrive.exe文件放在谷歌浏览器中chrome.exe的同级目录下，接下来就可以使用selenium调用driver

部分对应关系.png