day25--python教学--lxml库和Xpath语法

一、Xpath简介

1、Xpath介绍
XPath (XML Path Language) 是一门在 XML 文档中查找信息的语言，可用来在 XML 文档中对元素和属性进 行遍历。
2、选取节点
XPath 使用路径表达式来选取 XML 文档中的节点或者节点集。这些路径表达式和我们在常规的电脑文件系统中看 到的表达式非常相似。最常用的路径表达式：
3、谓语
谓语用来查找某个特定的节点或者包含某个指定的值的节点，被嵌在方括号中。

4、选取未知节点
XPath 通配符可用来选取未知的 XML 元素。

Xpath运算符

二、lxml库

1、lxml 是 一个HTML/XML的解析器,主要的功能是如何解析和提取 HTML/XML 数据。
lxml和正则一样,也是用 C 实现的,是一款高性能的 Python HTML/XML 解析器,可以利用之前学习的
XPath语法,快速定位特定元素以及节点信息。

lxml可以自动修正html代码，不仅补全了li标签，还添加了body，html标签。

2、文件读取
利用 etree.parse() 方法来读取文件

from lxml import  etree
filename = 'doc/hello.html'
import os
print(os.path.exists(filename))
#利用etree.HTML,将字符串解析为HTML文档
html = etree.parse(filename)
# # 按字符串序列化HTML文档
result = etree.tostring(html)
print(result)

3、项目案例：Xpath案例–慕课网课程信息采集

import re

import requests
# User-Agent随机选择代理模块;
from fake_useragent import  UserAgent
from lxml import etree
import  pandas as pd
# 线程池
from concurrent.futures import  ThreadPoolExecutor

def get_content(url):
    """数据采集"""
    try:
        headers = {
            'User-Agent': ua.random,

        }
        response = requests.get(url, headers=headers)
        response.raise_for_status()
        response.encoding = response.apparent_encoding
    except Exception as e:
        print("网页" + url + "爬取错误:", e)
        return  ''
    else:
        # response.text     : 如果普通的页面， 用text， 返回字符串的内容
        # response.content  : 如果不是普通的页面(图片， 视频), 用content, 返回的时二进制内容;
        return  response.text

def html_parser(html):
    """
    数据解析: 获取页面的课程名称， 课程简介， 学习人数,
    :param html:
    :return:
    """
    # 1. 获取页面上每个课程的详细信息;
    """
    <div class="course-card-container">详细的课程信息对应的html.......</div>
    """
    html = etree.HTML(html)
    courseDetails =html.xpath('//div[@class="course-card-container"]')
    # print(courseDetails)

    # 2. 遍历所有的课程， 依次提取每个课程的标题， 学习人数， 详细信息
    for courseDetail in courseDetails:
        # 2-1. 标题
        """
        <h3 class="course-card-name">初识HTML+CSS</h3>
        """
        # 默认返回的时列表, e.g: ['初识HTML+CSS'], 访问它的第0个索引是我们想要的内容;
        title = courseDetail.xpath('.//h3[@class="course-card-name"]/text()')[0]
        # print(title)

        # 2-2. 学习人数
        """
        <div class="course-card-info">
					<span>入门</span><span><i class="imv2-set-sns"></i>1056599</span>
		</div>
        """
        # 默认返回的是列表, 格式如下: ['入门', '1056602']
        studentNum = courseDetail.xpath('.//div[@class="course-card-info"]/span/text()')[-1]
        # print(studentNum)

        # 2-3. 课程的详细信息
        """
        <p class="course-card-desc">HTML+CSS基础教程8小时带领大家步步深入学习标签用法和意义</p>
        """
        courseInfo = courseDetail.xpath('.//p[@class="course-card-desc"]/text()')[0]
        # print(courseInfo)

        # 2-4. 获取详细的url地址
        """
        <a target="_blank" href="/learn/9" class="course-card">
        """
        # print( courseDetail.xpath('./a/@href'))
        course_url = "https://www.imooc.com" + courseDetail.xpath('./a/@href')[0]
        # yield  title, studentNum, courseInfo, course_url


        # 用字典存储
        result = [{
            'title': title,
            'studentNum': studentNum,
            'courseInfo': courseInfo,
            'course_url': course_url
        }]


        df = pd.DataFrame(result)
        yield  df

def save_data(df):
    """
    数据存储
    :return:
    """
    df.to_csv(csv_filename, sep=',', header=True, index=False)
    print("写入文件%s成功...." %(csv_filename))

def task(page):
    """
    多线程执行的任务
    :param page:
    :return:
    """
    url = 'https://www.imooc.com/course/list?page=%s' %(page)
    html = get_content(url)
    df = html_parser(html)
    return  df

if __name__ == '__main__':
    ua = UserAgent()
    threadCount = 5
    pages = 3
    csv_filename = 'doc/mooc.csv'

    with ThreadPoolExecutor(threadCount) as pool:
        # 存储的是任务的返回值
        # results里面有几个元素
        results = pool.map(task, range(1, pages+1))

    # results的个数取决于任务个数， 比如任务数为5， 返回的结果也为5个;
    # result里面包含多个df对象;
    # for result in results:
    #     print(result)


    total_df = pd.DataFrame({})
    for result in results:
        for item in result:
            print(item)
            # # 拼接获取的所有信息, axis=0代表往跨行（down)，而axis=1代表跨列（across)
            total_df = pd.concat([item, total_df], axis=0)
    print(total_df)
    save_data(total_df)