数据解析之bs4学习

bs4 数据解析

    - 原理:

        1.标签定位

        2.提取标签、标签属性中存储的数据值

 

bs4使用:

    - 实例化一个BeautifulSoup对象,并且将源码数据加载到该对象中

    - 通过调用BeautifulSoup对象中相关的属性或者方法进行标签定位和数据提取

 

    实例化BeautifulSoup对象：

        - from bs4 import BeautifulSoup

        -对象的实例化:

            1.将本地的html文档中的数据加载到该对象中

                fp = open('./test.html','r',encoding='utf-8')

                BeautifulSoup(fp,'lxml')

            2.将互联网上获取的页面源码加载到该对象中

                page_text = response.text

                soup = BeautifulSoup(page_text,'html')

 

        - 提供的用于数据解析的方法和属性:

            soup.tagName:返回的是文档中第一次出现的tagName对应的标签

            soup.find():

            - find('tagName'):等同于soup.div

            属性定位:

            - soup.find('div',class_/id/attr=