Python 爬虫知识简述（bs4解析与xpath）

Python 爬虫知识简述（bs4解析与xpath）

bs4数据解析

-数据解析的原理
1.实例化一个BeautifulSoup对象，并且将页码数据加载到该对象中
2.通过调用BeautifulSoup对象中相关的属性或者方法进行标签定位和数据提取
-环境安装

 pip install bs4
  pip install lxml

-如何实例化BeautifulSoup对象

-from bs4 import BeautifulSoup
**-对象实例化：**
    -1.将本地的html文档中的数据加载到该对象中
        打开文件
        fp=open('','r',encoding='utf-8')
        加载到对象中(加载和实例化并行)
        soup=BeautifulSoup(fp,'lxml')
    -2.将互联网上获取的页面源码加载到该对象中
        page_text=response.text
        soup=BeautifulSoup(page_text,'lxml')
-提供的用于数据解析的方法和属性：
    -soup.tagName:
      返回的时文档中第一次出现的tagName对应的标签
    -soup.find:
      find('tagName')=soup.tagName
      属性定位：find('tagName',class_='song') 定位到具体的属性（class_/id/attr）
    -soup.fing_all('tagName'):
      查找对象中所有的tagName  
    -soup.select():  
      -select('某种选择器（class,id,标签。。。选择器）'),返回的是一个列表
      例如：select('.tang')class选择器
      -层级选择器：
      soup.select('body>p')[2] 
      可以层层筛选，返回的是一个列表，可以通过下标具体定位
      空隔表示多个层级，大于号（>）表示一个层级
    -获取标签之间的文本数据：
      -soup.a.text/string/get_text()
      -text/get_text():可以获取某一个标签中所有的文本内容，即使不属于直系文本内容
      -string:只能获取该标签下的文本内容
    -获取标签中的属性值： 
      例如：
      -soup.a['href']

-Xpath解析：

-Xpath解析原理：
-1.实例化一个etree的对象，且需要将被解析的页面源码数据加载到该对象中
-2.调用etree对象中的xpath方法结合着xpath表达式实现标签的定位和内容的捕获

-环境的安装：

-pip install lxml   

-实例化etree对象:
from lxml import etree
-1.将本地的html文档中的源码数据加载到etree对象中
etree.parse(filePath)
-2.将互联网上获取的页面源码加载到该对象中
etree.HYML(‘page_text’)
-xpath(‘xpath表达式’)
- / :表示从根节点开始定位，表示的是一个层级
- //：表示的是多个层级
例：xpath(’/html/body/div’)=(‘html//div’)=(’//div’)
-属性定位：
xpath(’//div[@class=‘song’]’)定位到class为song的具体div
-索引定位：
xpath(’//div[@class=‘song’]/p[3]’) 定位到class为song的具体div下第三个p标签
-取文本：text()
xpath(’//div[@class=‘song’]//li[3]/a/text()’)[0]
定位到class为song的div下，越级（多级）后的第三个li标签里的a标签里面的文本，因返回值为一个列表，所以加[0]可已去掉列表框
注：只能获取标签中直系的文本，若要越标签获取如

• 春天中的文本，应采用 //text
  如：xpath(’//li[2]//text()’),可获取标签中所有非直系的文本内容
  -取属性值：
  xpath(’//div[@class=‘song’]//li[2]/img/@src’)
  定位到img标签下的src属性值

• /*
  *本博客仅用于博主记录学习
  *若有疏漏或错误的地方，望指正
  */