数据解析-bs4、xpath

爬虫网页解析方法1：bs4

#导入

from bs4 import BeautifulSoup

#创建一个解析对象, page_text是网络请求到的页面源码数据

soup = BeautifulSoup(page_text,'lxml') 

#调用BeautifulSoup相关属性和方法进行数据提取

#标签定位-方式1:   soup.tagName(只可以定位到第一次出现的该标签)
title_tag = soup.title
p_tag = soup.p

#标签定位-方式2（属性定位）:   soup.find(tagName,attrName='value')
#注意：find只可以定位满足要求的第一个标签，如果使用class属性值的话，find参数class_
#定位到了class属性值为song的div标签
div_tag = soup.find('div',class_='song')
#定位到class属性值为du的a标签
a_tag = soup.find('a',class_='du')
#定位到了id的属性值为feng的a标签
a_tag = soup.find('a',id='feng')

#标签定位-方式3（属性定位）:   soup.find_all(tagName,attrName='value')
#注意：find_all可以定位到满足要求的所有标签
tags = soup.find_all('a',class_='du')

#标签定位-方式4(选择器定位):   

--常用的选择器：class选择器(.class属性值)  id选择器(#id的属性值)
tags = soup.select('#feng') #定位到id的属性值为feng对应的所有标签
tags = soup.select('.du') #定位到class属性值为du对应的所有标签
#层级选择器：>表示一个层级  一个空格可以表示多个层
tags = soup.select('.tang > ul > li > a')
tags = soup.select('.tang a')
 

#定位到标签内部数据的提取
#方式1：提取标签内的文本数据
    #tag.string:只可以将标签直系的文本内容取出
    #tag.text:可以将标签内部所有的文本内容取出
tag = soup.find('a',id='feng')
content = tag.string

div_tag = soup.find('div',class_='tang')
content = div_tag.text

#方式2：提取标签的属性值 tag['attrName']
img_tag = soup.find('img')
img_src = img_tag['src']
print(img_src)

爬虫网页解析方法2：xpath

#导入

from lxml import etree

#创建解析对象

tree = etree.parse('test.html')  --本地文件

/tree = etree.HTML(response)  --解析出的页面数据

#调用etree对象的xpath方法结合着不同形式的xpath表达式，进行标签定位和数据提取

#xpath函数返回的是列表，列表中存储的是满足定位要求的所有标签
#/html/head/title定位到html下面的head下面的title标签
title_tag = tree.xpath('/html/head/title')
#//title在页面源码中定位到所有的title标签
title_tag = tree.xpath('//title')

#属性定位
#定位到所有的div标签
div_tags = tree.xpath('//div')
#定位到class属性值为song的div标签 //tagName[@attrName='value']
div_tag = tree.xpath('//div[@class="song"]')

#索引定位://tag[index]
    #注意：索引是从1开始的
div_tag = tree.xpath('//div[1]')

#层级定位
    # /表示一个层级  //表示多个层级
a_list = tree.xpath('//div[@class="tang"]/ul/li/a')
a_list = tree.xpath('//div[@class="tang"]//a')

#数据提取
    #1.提取标签中的文本内容:/text()取直系文本  //text()取所有文本
a_content = tree.xpath('//a[@id="feng"]/text()')[0]
div_content = tree.xpath('//div[@class="song"]//text()')
    #2.提取标签的属性值：//tag/@attrName
img_src = tree.xpath('//img/@src')[0]