pyquery获取不到网页完整源代码_PyQuery:一个爬虫界最简洁优雅的库

简洁的PyQuery库

pyquery库是jQuery的Python实现，能够以jQuery的语法来操作解析 HTML 文档，易用性和解析速度都很好。特别适合进行访问和解析网页数据。

PyQuery库官方文档 https://pythonhosted.org/pyquery/index.html

本文章节：

1. 初始化为PyQuery对象

2. 常用的CCS选择器

3. 伪类选择器

4. 查找标签

5. 获取标签信息

6. 高级方法

一、初始化为PyQuery对象

html_string = """

简单好用的

PyQuery

Python

大法

好

"""

相当于BeautifulSoup库的初识化方法，将html转化为BeautifulSoup对象。

bsObj = BeautifulSoup(html, 'html.parser')

PyQuery库也要有自己的初始化。

1.1 将字符串初始化

from pyquery import PyQuery

#初始化为PyQuery对象

doc = PyQuery(html_string)

print(type(doc))

print(doc)

Run

'pyquery.pyquery.PyQuery'>

lang="en">

简单好用的

PyQuery

id="container">

class="object-1">Python

class="object-2">大法

class="object-3">好

1.2 将html文件初始化

#filename参数为html文件路径

doc = PyQuery(filename = 'test.html')

print(type(doc))

print(doc)

1.3 对网站访问并初始化

response = PyQuery(url = 'https://www.baidu.com')

print(type(response))

print(response)

Run

'pyquery.pyquery.PyQuery'>

http-equiv="content-type" content="text/html;charset=utf-8"/> http-equiv="X-UA-Compatible" content="IE=Edge"/> content="always" name="referrer"/> rel="stylesheet" type="text/css" href="https://ss1.bdstatic.com/5eN1bjq8AAUYm2zgoY3K/r/www/cache/bdorz/baidu.min.css"/>ç¾åº¦ä¸ä¸ï¼ä½ å°±ç¥é link="#0000cc">

id="wrapper">

id="head">

class="head_wrapper">

class="s_form">

class="s_form_wrapper">

id="lg"> hidefocus="true" src="//www.baidu.com/img/bd_logo1.png" width="270" height="129"/>

id="form" name="f" action="//www.baidu.com/s" class="fm"> type="hidden" name="bdorz_come" value="1"/> type="hidden" name="ie" value="utf-8"/> type="hidden" name="f" value="8"/> type="hidden" name="rsv_bp" value="1"/> type="hidden" name="rsv_idx" value="1"/> type="hidden" name="tn" value="baidu"/> class="bg s_ipt_wr"> id="kw" name="wd" class="s_ipt" value="" maxlength="255" autocomplete="off" autofocus="autofocus"/> class="bg s_btn_wr"> type="submit" id="su" value="ç¾åº¦ä¸ä¸" class="bg s_btn" autofocus=""/>

id="u1"> href="http://news.baidu.com" name="tj_trnews" class="mnav">æ°é» href="https://www.hao123.com" name="tj_trhao123" class="mnav">hao123 href="http://map.baidu.com" name="tj_trmap" class="mnav">å°å¾ href="http://v.baidu.com" name="tj_trvideo" class="mnav">è§é¢ href="http://tieba.baidu.com" name="tj_trtieba" class="mnav">è´´å§

id="ftCon">

id="ftConw">

id="lh">

id="cp">©2017 Baidu    äº¬ICPè¯030173å·  src="//www.baidu.com/img/gs.gif"/>

上面的字符串出现乱码，所以需要设置使用encoding参数

response = PyQuery(url = 'https://www.baidu.com', encoding='utf-8')

print(type(response))

print(response)

'pyquery.pyquery.PyQuery'>

http-equiv="content-type" content="text/html;charset=utf-8"/> http-equiv="X-UA-Compatible" content="IE=Edge"/> content="always" name="referrer"/> rel="stylesheet" type="text/css" href="https://ss1.bdstatic.com/5eN1bjq8AAUYm2zgoY3K/r/www/cache/bdorz/baidu.min.css"/>百度一下，你就知道 link="#0000cc">

id="wrapper">

id="head">

class="head_wrapper"> ength="255" autocomplete="off" autofocus="autofocus"/> class="bg s_btn_wr">

href="//www.baidu.com/more/" name="tj_briicon" class="bri" style="display: block;">更多产品

id="ftCon">

id="ftConw">

id="lh"> href="http://home.baidu.com">关于百度 href="http://ir.baidu.com">About Baidu

id="cp">©2017 Baidu  href="http://www.baidu.com/duty/">使用百度前必读  href="http://jianyi.baidu.com/" class="cp-feedback">意见反馈 京ICP证030173号  src="//www.baidu.com/img/gs.gif"/>

二、常用的CCS选择器

从这一节开始，我们就要对PyQuery对象进行操作，获得我们想要的各种数据。你会看到解析网页，不论什么苦，基本原理实际上是没有区别的，学会了一种解析库。再看其他解析库文档，是很容易理解的。

在 CSS 中，选择器是一种模式，用于选择需要添加样式的元素。

常用的css选择器

本文只讲clas id 和element最常见的css选择器。对css不太懂了，也没关系，可以去w3c官网的css选择器，查看下文档

#使用上文的doc

print(doc)

Run

lang="en">

简单好用的

PyQuery

id="container">

class="object-1">Python

class="object-2">大法

class="object-3">好

2.1 打印id为container的标签

print(doc('#container'))

print(type(doc('#container')))

Run

id="container">

class="object-1">Python

class="object-2">大法

class="object-3">好

'pyquery.pyquery.PyQuery'>

2.2 打印class为object-1的标签

print(doc('.object-1'))

Run

class="object-1">Python

打印标签名为body的标签

print(doc('body'))

Run

id="container">

class="object-1">Python

class="object-2">大法

class="object-3">好

2.3 多种css选择器使用

选出ul节点，有很多种表达方式。比如ul节点(该ul节点中的属性键值对为id=container)

print(doc("ul[id=container]"))

Run

id="container">

class="object-1">Python

class="object-2">大法

class="object-3">好

三、伪类选择器

pseudo_html = """

简单好用的

PyQuery

Python

大法

好

好

好玩

"""

pseudo_doc = PyQuery(pseudo_html)

print(pseudo_doc)

Run

lang="en">

简单好用的

PyQuery

id="container">

class="object-1">Python

class="object-2">大法

class="object-3">好

class="object-4">好

class="object-6">好玩

3.1 伪类nth

print(pseudo_doc('li:nth-child(2)'))

#打印第一个li标签

print(pseudo_doc('li:first-child'))

#打印最后一个标签

print(pseudo_doc('li:last-child'))

Run

class="object-2">大法

class="object-1">Python

class="object-6">好玩

3.2 contains

#找到含有Python的li标签

print(pseudo_doc("li:contains('Python')"))

#找到含有好的li标签

print(pseudo_doc("li:contains('好')"))

Run

class="object-1">Python

class="object-3">好

class="object-4">好

class="object-6">好玩

四、查找标签

PyQuery对象拥有很多实用的定位方法

print(doc)

Run

lang="en">

简单好用的

PyQuery

id="container">

class="object-1">Python

class="object-2">大法

class="object-3">好

获得所有的li标签

doc('li')

Run

[object-1>, object-2>, object-3>]

查看li标签的类型

[type(l) for l in doc('li')]

Run

[lxml.etree._Element, lxml.etree._Element, lxml.etree._Element]

doc('li')返回的不是PyQuery类型，而是lxml.etree.Element类型。Element.text获取节点的文本内容

[l.text for l in doc('li')]

Run

['Python', '大法', '好']

获取所有的li，并以PyQuery形式逐个迭代

doc.items('li')

Run

object PyQuery.items at 0x10e977a98>

查看doc.items迭代出的对象的数据类型

[type(l) for l in doc.items('li')]

Run

[pyquery.pyquery.PyQuery, pyquery.pyquery.PyQuery, pyquery.pyquery.PyQuery]

PyQuery类型拥有.text()方法

[l.text() for l in doc.items('li')]

Run

['Python', '大法', '好']

doc('body')

Run

[]

获得doc节点的(当前为整个文档)的 id='container' 的节点

doc.find('#container')

Run

[

#container>]

id='container' 的节点的子节点们

id='container' 的节点的子节点们(节点内带字符串)

doc.find('#container').children()

Run

[object-1>, object-2>, object-3>]

doc.find('#container').contents()

Run

['\n ', <Element li at 0x10e57ac08>, '\n ', <Element li at 0x10d687848>, '\n ', <Element li at 0x10d687e08>, '\n ']

id='container' 的节点的第二个子节点

doc.find('#container').contents().eq(1)

Run

[object-1>]

id='container' 的节点的子节点中不含有 class='object-2' 的节点

doc.find('#container').children().not_('.object-2')

Run

[object-1>, object-3>]

.map方法传入两个参数，分别是索引值和element。

def func(i, e):

return PyQuery(e).text()

doc('li').map(func)

Run

['Python', '大法', '好']

doc('li').map(lambda i,e: PyQuery(e).text())

Run

['Python', '大法', '好']

输出ul的子节点的html

doc('ul').html()

Run

'\n Python\n 大法\n 好\n '

五、pyquery高级用法

PyQuery与BeautifulSoup对比，我们会发现PyQuery可以对网址发起请求。比如

from pyquery import PyQuery

PyQuery(url = 'https://www.baidu.com')

5.1 opener参数

PyQuery对百度网址进行请求，并将请求返回的响应数据处理为PyQuery对象。一般pyquery库会默认调用urllib库，如果想使用selenium或者requests库，可以自定义PyQuery的opener参数。

opener参数作用是告诉pyquery用什么请求库对网址发起请求。常见的请求库如urllib、requests、selenium。这里我们自定义一个selenium的opener。

from pyquery import PyQuery

from selenium.webdriver import Chrome

from selenium.webdriver.chrome.options import Options

#用selenium访问url

def selenium_opener(url):

#我没有将Phantomjs放到环境变量，所以每次用都要放上路径

#driver = PhantomJS(executable_path = 'phantomjs的路径')

chrome_options = Options()

chrome_options.add_argument('--headless')

chrome_options.add_argument('--disable-gpu')

driver = Chrome(executable_path='chromedriver所在的路径',

options=chrome_options)

driver.get(url)

html = driver.page_source

driver.quit()

return html

#注意，使用时opener参数是函数名，没有括号的！

PyQuery(url='https://www.baidu.com/',

opener=selenium_opener)

Run

[]

这时候我们就能上面学到的知识对PyQuery对象进行操作，提取有用的信息。

5.2 cookies、headers

在requests用法中，一般为了访问网址更加真实，模仿成浏览器。一般我们需要传入headers，必要的时候还需要传入cookies参数。而pyquery库就有这功能，也能伪装浏览器。

from pyquery import PyQuery

cookies = {'Cookie':'你的cookie'}

headers = {'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36'}

PyQuery(url='https://www.baidu.com/',

headers=headers,

cookies=cookies)

Run注意，我这里返回的内容你可能觉得很少，是因为这是PyQuery对象。PyQuery.html()

[]

5.3 让你的selenium带上pyquery功能

如何让driver访问的网址得到的网页直接变为PyQuery对象，更方便提取数据？

本来我想用Phantomjs自定义一个类，让selenium拥有pyquery的功能。后来测试发现phantomjs去年不再支持selenium，因为曾经的无头浏览器phantomjs具有不可替代的作用，但如今chrome和firefox都能提供无头浏览器的功能。

from pyquery import PyQuery

from selenium.webdriver import Chrome

from selenium.webdriver.chrome.options import Options

class Browser(Chrome):

#Browser继承Chrome类， 声明Chrome为无头模式访问网站

def __init__(self, executable_path):

chrome_options = Options()

chrome_options.add_argument('--headless')

chrome_options.add_argument('--disable-gpu')

Chrome.__init__(self,

executable_path=executable_path,

options=chrome_options)

#property是装饰器，需要知道@property下面紧跟的函数，实现了类的属性功能。

@property

def dom(self):

return PyQuery(self.page_source)

browser = Browser(executable_path='chromedriver所在的路径')

browser.get(url='https://www.baidu.com/')

print(type(browser.dom))

Run

'pyquery.pyquery.PyQuery'>

这几个对pyquery功能的扩展，我觉得实现方式很不错，很美观简洁，以后我会多模仿，比如用函数或类的方式，对已有的库及函数进行功能加持。

觉得内容还不错的话，给我点个“在看”呗