python爬虫bs4 xpath数据解析

数据解析

在爬取网页后，通常需要将爬取到的内容进行分割提取，拿到我们想要的文本内容或者相应的地址url。

bs4数据解析

安装bs4模块，并导入

from bs4 import BeautifulSoup

步骤详情见注释

fp =open('/.test.html','r',encoding='utf-8')
#将本地的html文档中的数据记载到该对象中
soup =BeautifulSoup(fp,'lxml')
print(soup.a)# 结果拿到a标签内容           soup.tagname 返回的是HTML中第一次出现的tagname标签
print(soup.div)#拿到第一个div标签

print(soup.find('div'))#相当于soup.div
print(soup.find('div',class_='xxx')) #定位class=xxx的div标签
print(soup.find_all('a'))#  返回所有的a标签



#返回的是一个列表 select（'某种选择器（id ，class，标签..选择器）'）

#层级选择器
print(soup.select('.tang>ul>li>a')[0])#  tang下面的ul下面的li标签下面的a标签的第一个
print(soup.select('.tang>ul> a')[0])#  空格表示多个层级  直接难道a标签

#获取标签中的文本数据soup.a.text/string/get_text()
print(soup.select('.tang>ul> a')[0].text)
print(soup.select('.tang>ul> a')[0].string)#只获取直系
print(soup.select('.tang>ul> a')[0].get_text())  # text/get_text获取标签中所有的文本内容  （即使不是直系）
#获取标签属性
print(soup.select('.tang>ul> a')[0]['href'])#获取href值

xpath模块

xpath解析
1 实例化一个etree对象，且需要将被解析的页面源码数据加载到该对象中
2 调用etree对象中的xpath表达式实现标签的定位和内容的捕获
pip install lxml
from lxml import etree
1 将本地的html文档中的源码数据加载到etree中
etree.parse(filePath）
2可以将互联网上获取的源码数据加载到该对象中
etree.HTML(‘page_text’)
xpath(‘xpath表达式’)

from lxml import etree


tree=etree.parse('test.html')
#最左侧/表示从根节点开始
print(tree.xpath('/html/head/title'))# 列表存储对象对应于title标签的文本内容
r=tree.xpath('/html/body/div')#假如文件中有三组div，则列表中有三个对象
r1=tree.xpath('/html//div')#//表示多个层级
r2 = tree.xpath('//div')  #//表示从任意位置开始定位
r3 = tree.xpath('//div[@class="song"]')#  属性为song的div
r4 = tree.xpath('//div[@class="song"]/p[3]')#  属性为song的div下的第三个p标签
r5 = tree.xpath('//div[@class="tang"]//li[5]/a/text()')#第五个li标签下的a标签的文本 列表形式
r6= tree.xpath('//div[@class="tang"]//li[5]/a/text()')[0]#第五个li标签下的a标签的文本 文本
r7 = tree.xpath('//div[@class="tang"]//li[5]//text()')#非直系文本内容
r8 = tree.xpath('//div[@class="song"]/img/@src')#img标签下的地址thon

爬取起点月票榜单

import requests
from lxml import etree

headers={
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.141 Safari/537.36'}

url='https://www.qidian.com/rank/yuepiao'
page_text=requests.get(url=url,headers=headers).text
print(page_text)
tree=etree.HTML(page_text)
li_list=tree.xpath('//div[@main-content-wrap]//div[@rank-body]//div[@book-img-text]/ul/li')

fp=open('qidian.txt','w',encoding='utf-8')
for li in li_list:

    title=li.xpath('./div[2]/h4/a/text()')
    print(title)
    fp.write(title+'\n')