利用selenium爬取Axaj和动态网页

前言

我们知道python爬虫，一般小爬虫requests+beautifulSoup，分布式爬虫用Scrapy，我们一般用requests来的方便，但是有的时候你会发现有些网页信息（比如用户评论），用requests是无法获取的，这些javascript管理的动态内容怎样提取？
这就引入我们今天的主角selenium。
AJAX即“Asynchronous Javascript And XML”（异步JavaScript和XML）,是一种异步加载技术。
在前面文章python爬取CSDN博客并用WordCloud词云分析中，要提取的内容是直接从网页的source code里拿到的。但是一些Ajax动态内容是在source code找不到的，就要找合适的程序库把异步或动态加载的内容加载上来，交给本项目的提取器进行提取。
python可以使用selenium执行javascript，selenium可以让浏览器自动加载页面，获取需要的数据。selenium自己不带浏览器，可以使用第三方浏览器如Firefox，Chrome等，也可以使用headless浏览器如PhantomJS在后台执行。

用selenium爬取应用宝用户评论

• 首先我们需要下载phantoms，我们下载的是压缩包，解压一下就好了。
• 编写代码：

url = 'http://sj.qq.com/myapp/detail.htm?apkName=com.baidu.lbs.waimai'  
driver = webdriver.PhantomJS(executable_path='F:\\大数据文件\\phantomjs-2.1.1-windows\\phantomjs-2.1.1-windows\\bin\\phantomjs.exe')  #这里是你自己的phantomjs的解压路径
driver.get(url)  
Comment=[]
Score=[]
Date=[]
Name=[]
time.sleep(2)  
for i in range(20):
    driver.find_element_by_id("J_DetCommentShowMoreBtn").click()
score=driver.find_elements_by_xpath("//div[@class='comment-name-line']/div[2]")
name=driver.find_elements_by_xpath("//div[@class='comment-name']")
date=driver.find_elements_by_xpath("//div[@class='comment-date']")
comment=driver.find_elements_by_xpath("//div[@class='comment-datatext']")
for j in range(len(name)):
    Comment.append(comment[j].text)
    Score.append(score[j].get_attribute('class'))
    Date.append(date[j].text)
    Name.append(name[j].text)
data={'name':Name,'score':Score,'date':Date,'comment':Comment}
table=pd.DataFrame(data)
table.to_excel("C:\\Users\\user\\Desktop\\app2.xlsx")

上面代码如果用过爬虫的还是很好理解的，就是用xpath来匹配，xpath语法可以参考这里
最后得到结果：

广告请自行忽略0.0
我们发现评分一栏我们抓取的是源码，还需要用正则表达式处理一下。

score=[]
for line in data1:
    score.extend(re.findall(r"\d+",line))

好了，到这里我们抓取已经成功了！