php采集审查元素,Python网络数据采集之审查元素

普通的网络数据可使用get或post方法来采集得到，而有些网站源代码只能通过审查元素的方式才可以看到，本文介绍如何使用Python代码实现审查元素的网络数据采集方法。

使用Python实现通过审查元素采集数据需要用到selenium库，具体实现步骤如下：

官网下载selenium并安装，编写Python测试脚本。

from selenium import webdriver

browser = webdriver.Firefox();

browser.get("http://www.baidu.com");

运行脚本报以下错误：

WebDriverException: Message: ‘geckodriver‘ executable needs to be in PATH.

是因为 selenium 3.x开始，webdriver/firefox/webdriver.py的init中，executable_path=”geckodriver”；并且firefox 47以上版本，需要下载第三方driver，即geckodriver。

下载对应版本的浏览器驱动geckodriver，解压后将geckodriver.exe放置到firefox安装目录，并将该目录写入“环境变量-系统变量-Path”中。

再次运行脚本可能会报以下错误：

WebDriverException: Message: Unable to find a matching set of capabilities

首先，检查本机java版本，selenium3.x只支持java8版本以上；其次，检查firefox浏览器版本，将firefox47卸载，安装最新版本的firefox版本57。两者无误后，即可成功，亲测有效。

运行脚本无报错后，可写采集网络数据的代码，如下所示。

# -*- coding:utf-8 -*-

from bs4 import BeautifulSoup

from selenium import webdriver

import re,requests,sys,json,random,time

import os

chromedriver = "D:Program FilesMozilla Firefoxgeckodriver"

driver = webdriver.Firefox(executable_path = chromedriver)

totelPage = 200

page = 1

head = 'http://apps.webofknowledge.com'

f = open('WOS_file.csv','w')

while page

本例中主要使用了两个用于采集的第三方库webdriver和BeautifulSoup。其中，driver.page_source用于获取审查元素的网页源代码；BeautifulSoup(sourcePage,”html.parser”)将网页源代码梳理成网格；BeautifulSoup中的find_all方法用于查询匹配信息。这也是网络数据采集常用库和方法，两个库的API可参考官方手册或相关博文，在此不赘述。

文章来源于互联网，如有雷同请联系站长删除：Python网络数据采集之审查元素