(一)XPath语法
借助Chrome浏览器的XPath插件来学习XPath语法,网页测试无误再把规则拿下来写代码。视频学习链接:
网络爬虫与XPath(一)
网络爬虫与XPath(二)
不完全笔记:
(1)xpath是根据元素【HTML标签】和 属性【HTML标签的属性】来定位的!原理是:基于标签的层级规则。
(2)// 标签/ 标签[@属性][n(符合的第n个)],注意:前面全部一模一样,再用【n】取;否则None
(3)不一定要把属性=。。。写完整,有时只写属性自己单词也够了
(4)如何让结果有间隙!
原理:
(5)一般测试顺序:(多种取法,不唯一!)
目标标签、
目标标签、目标属性、
目标标签、父标签、
父标签+父属性
父标签+父属性+目标标签
目标标签、父标签、爷爷标签...
(6) //。。。/。。/。。注意层级关系
》爷爷
》儿子
》孙子
如果//爷爷/孙子是没有的,因为爷爷下 / 只能找到儿子,意思是“你家的儿子里有没有叫什么的”
而//爷爷//孙子是可以的,因为 // 意思是“你家有没有叫什么的”
(7)
(8)
(9)不在标签之内的数据如何提取
(10)
(二)用Python实践
Python爬虫的两个思路:
(1)request——response——HTML字符串——lxml库解析(etree函数)——HTML网页——XPATH提取——获取数据
注意:我们response获得网页的反馈内容实质不是html网页了,是html字符串!!!
抓取的网页放在content中,这是html字符串,而 xpath语法无法作用字符串。
想用xpath语法在python爬虫中应用:把content字符串->HTML网页->XPATH语法
(lxml库——将html字符串进行解析,实现还原为HTML页面,供XPATH语法进行数据提取)
(有时某个库出了啥问题,可能需要定时conda update all 更新一样)
使用lxml中的etree对html进行解析:
html = etree.HTML(html字符串)#此时,无法用print(html)直接打印HTML网页,有别的办法
如何打印HTML网页?
result = etree.tostring(html,encoding=’ utf8’).decode()#直接打印HTML会乱码,所以HTML转码为utf8,再用decode解码
print(result)
(2)把网页直接另存为到本地(不用request和response)——直接etree作用HTML网页 可以吗?
不可以,
1、有些网页页面标签缺失,不规整,会报错。
2、默认解析器不完善,需要自定义解析器。
(三)三个案例【完整代码】
(1)自写:爬取单页标题
import urllib
import requests
from lxml import etree
url = 'https://ics.cnvd.org.cn/'
headers = {
'User-Agent':'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:58.0) Gecko/20100101 Firefox/58.0'}
request = urllib.request.Request(url=url, headers=headers)
response = urllib.request.urlopen(request, timeout = 10) #返回一个HTTPResposne 类型的对象
content = response.read().decode('utf-8')# response.read()得到网页内容,类型为Byte,转码为str:HTML字符串,可以print
html = etree.HTML(content)#得到HTML型网页,无法print
result = html.xpath('//tbody//a/text()')#返回list类型
for re in result:
print(re)
(2)自写
import urllib
import requests
from lxml import etree
base_url = 'https://ics.cnvd.org.cn/'
def return_html(url):
headers = {
'User-Agent':'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:58.0) Gecko/20100101 Firefox/58.0'}
request = urllib.request.Request(url=url, headers=headers)
response = urllib.request.urlopen(request, timeout = 10) #返回一个HTTPResposne 类型的对象
content = response.read().decode('utf-8')# response.read()得到网页内容,类型为Byte,转码为str:HTML字符串,可以print
html = etree.HTML(content)#得到HTML型网页,无法print
result = html.xpath('//tbody//a/text()')#返回list类型
for re in result:
print("漏洞名称",re)
print("本页处理完毕")
resulturl = html.xpath('//div/a[@class="nextLink"]/@href')
return(resulturl)
def make_url(resulturl):
strurl = ''.join