【python】——爬虫03 数据提取[jsonpath模块、lxml模块]

一、概述

1. 响应内容分类

• 结构化 （json数据、xml数据
• 非结构化 （html

2. xml和html

• xml是一种可扩展标记语言Extensible Markup Language，形似html，功能更专注于传输、存储数据，焦点是更好的显示数据
• html 超文本标记语言HyperText Markup Language，更好的显示数据
  -

3. 数据解析

二、jsonpath模块

多层嵌套的复杂字典，jsonpath可以直接提取

• 安装：pip install jsonpath

1. 提取数据的方法

from jsonpath import jsonpath
ret = jsonpath(a, 'jsonpath语法规则字符串')
# a 是那个字典

2. jsonpath语法规则

$ 根节点
. 子节点
.. 内部任意位置

from jsonpath import jsonpath

data = {'key1':{'key2':{'key3': 'nihao'}}}

print(data['key1']['key2']['key3'])

# jsonpath的结果是列表，获取数据需要索引
print(jsonpath(data,'$..key3')[0])

3. jsonpath练习：获取拉钩网城市json文件中城市的名字

http://www.lagou.com/lbs/getAllCitySearchLabels.json

import requests
import jsonpath
import json

headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36 Edg/95.0.1020.40'

}
response = requests.get('https://www.lagou.com/lbs/getAllCitySearchLabels.json',headers=headers)
dict_data = json.loads(response.content) # 先转换为字典，因为jsonpath传入的必须是一个字典
print(jsonpath.jsonpath(dict_data,'$..A..name'))
print(jsonpath.jsonpath(dict_data,'$..name'))

# ['安庆', '安阳', '鞍山', '安顺', '安康', '阿克苏', '澳门', '阿坝藏族羌族自治州', '阿拉善盟', '阿勒泰']
# ['安庆', '安阳', '鞍山', '安顺', '安康', '阿克苏', '澳门', '阿坝藏族羌族自治州', '阿拉善盟', '阿勒泰', '北京', '保定', '包头', '蚌埠', '滨州', '亳州', '宝鸡', '北海', '毕节', '巴中', '保山', '百色', '巴彦淖尔', '白银', '本溪', '巴音郭楞', '白山', '白城', '成都', '重庆', '长沙', '长春', '常州', '沧州', '滁州', '郴州', '赤峰', '常德', '承德', '潮州', '朝阳', '昌吉', '楚雄', '池州', '崇左', '昌都', '东莞', '大连', '德州', '德阳', '大同', '东营', '达州', '大理', '大庆', '丹东', '儋州', '德宏', '定西', '迪庆', '大兴安岭', '鄂州', '鄂尔多斯', '恩施', '佛山', '福州', '阜阳', '抚州', '阜新', '抚顺', '防城港', '广州', '贵阳', '桂林', '赣州', '广元', '贵港', '广安', '甘南', '甘孜藏族自治州', '固原', '杭州', '合肥', '惠州', '哈尔滨', '海口', '呼和浩特', '湖州', '邯郸', '淮安', '菏泽', '衡阳', '衡水', '黄石', '海外', '黄冈', '河源', '淮南', '汉中', '淮北', '鹤壁', '葫芦岛', '红河', '怀化', '黄山', '河池', '哈密', '贺州', '呼伦贝尔', '鹤岗', '黑河', '济南', '嘉兴', '金华', '江门', '济宁', '揭阳', '九江', '焦作', '晋中', '荆州', '吉安', '荆门', '景德镇', '吉林', '锦州', '晋城', '佳木斯', '酒泉', '嘉峪关', '金昌', '济源', '鸡西', '昆明', '开封', '克拉玛依', '喀什', '克孜勒苏', '廊坊', '兰州', '临沂', '洛阳', '聊城', '柳州', '连云港', '泸州', '乐山', '六安', '临汾', '丽水', '拉萨', '龙岩', '漯河', '辽阳', '六盘水', '凉山彝族自治州', '娄底', '吕梁', '丽江', '临夏', '来宾', '辽源', '陇南', '临沧', '林芝', '绵阳', '眉山', '马鞍山', '茂名', '梅州', '牡丹江', '南京', '宁波', '南昌', '南宁', '南通', '南阳', '南充', '宁德', '内江', '南平', '那曲', '怒江', '莆田', '平顶山', '濮阳', '萍乡', '盘锦', '攀枝花', '平凉', '普洱', '青岛', '泉州', '清远', '秦皇岛', '衢州', '曲靖', '齐齐哈尔', '庆阳', '钦州', '黔西南', '黔南', '七台河', '黔东南', '日照', '日喀则', '上海', '深圳', '苏州', '沈阳', '石家庄', '绍兴', '汕头', '三亚', '宿迁', '上饶', '宿州', '韶关', '商丘', '汕尾', '遂宁', '十堰', '邵阳', '三明', '随州', '三沙', '四平', '三门峡', '朔州', '绥化', '松原', '石嘴山', '商洛', '双鸭山', '石河子', '天津', '太原', '唐山', '台州', '泰州', '泰安', '铜仁', '天水', '通辽', '台湾', '铁岭', '铜陵', '通化', '铜川', '天门', '武汉', '无锡', '温州', '潍坊', '乌鲁木齐', '芜湖', '威海', '渭南', '梧州', '武威', '乌兰察布', '吴忠', '文山', '乌海', '西安', '厦门', '徐州', '咸阳', '襄阳', '新乡', '西宁', '香港', '邢台', '孝感', '许昌', '信阳', '湘潭', '咸宁', '宣城', '新余', '湘西土家族苗族自治州', '兴安盟', '西双版纳', '锡林郭勒盟', '忻州', '烟台', '银川', '扬州', '宜昌', '盐城', '宜宾', '岳阳', '阳江', '运城', '雅安', '宜春', '玉林', '益阳', '营口', '永州', '云浮', '榆林', '延边', '延安', '鹰潭', '玉溪', '阳泉', '伊犁', '伊春', '郑州', '珠海', '中山', '淄博', '肇庆', '镇江', '株洲', '湛江', '遵义', '漳州', '枣庄', '张家口', '周口', '驻马店', '长治', '舟山', '资阳', '自贡', '昭通', '张家界', '张掖', '中卫']

三、lxml模块

1. lxml模块和xpath语法

• Xpath（XML path language）在HTML\XML文档中特定元素以及获取节点信息（文本内容，属性值），对元素、属性，进行遍历

2. xpath helper插件

3. xpath 语法_如何找节点

\ 隔开的是标签（节点）

nodename	选中该元素	html
/	绝对路径	/html/head/title
//	相对路径	/html//title
.	当前节点
..	当前节点的上一节点
@	抽取节点后的一个属性	//title/@href
text()	开闭标签之间取文本内容	//link/text()

4.xpath语法_节点修饰语法

① 通过索引

路径表达式	结果
//title[@lang=''eng'']	选择lang属性值为eng的所有title元素
/bookstore/book[1]	选择属于bookstore子元素的第一个book元素
/bookstore/book[last()]	选择属于bookstore子元素的最后一个book元素
/bookstore/book[last()-1]	选择属于bookstore子元素的倒数第二个book元素
/bookstore/book[position()>1]	选择bookstore下面的book元素，从第二个开始

② 通过属性值

路径表达式	结果
//book/title[text()='Harry Potter']	选择bookstore下面的title元素，仅选择文本为hp的元素
//div[@id="content-left"]/div/@id	第一个@是使用标签名标签值修饰节点 第二个/@是取属性值

③ 通过子节点的值修饰节点

路径表达式	结果
/bookstore/book[price>35.00]	选择bookstore下面的title元素，仅选择文本为hp的元素

④通过包含修饰

路径表达式	结果
//div[contains(@id,"qiushi_tag_")]	contains(属性名，属性值)

5. xpath语法_通配符

通配符
*	所有节点
@*	所有节点的属性
node()	匹配任何类型的节点

6.使用

from lxml import etree

# html对象 = 模块.类（）
html = etree.HTML(text)

List = html.xpath("xpath语法规则字符串")

爬取某个贴吧的评论

下一页尽量不使用索引

import requests
from lxml import etree


class Tieba(object):
    def __init__(self,name):
        self.url = "https://tieba.baidu.com/f?kw={}".format(name)

        self.headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36 Edg/95.0.1020.40"

        }



    def get_data(self,url):
        response = requests.get(url, headers=self.headers)

        with open("temp.html","wb")as f:
            f.write(response.content)
        return response.content


    def parse_data(self,data):
        # 创建element对象
        data = data.decode().replace("<!--","").replace("-->","")
        html = etree.HTML(data)
        # 筛掉广告的li标签
        el_list = html.xpath('//*[@id="thread_list"]/li/div/div[2]/div[1]/div[1]/a')
        # print(len(el_list))
        # print(el_list)

        data_list = []

        for el in el_list:
            temp = {}
            temp['title'] = el.xpath("./text()")[0]
            temp['link'] = 'http://tieba.baidu.com' + el.xpath("./@href")[0]
            data_list.append(temp)




        # 获取下一页url
        # 到最后一页的时候会报错，没有下一页了

        try:
            next_url = 'https:'+html.xpath('//a[contains(text(),"下一页>")]/@href')[0]
            # next_url = 'https:' + html.xpath('//*[@id="frs_list_pager"]/a[12]/@href')[0]
        except:
            next_url = None

        print(next_url)
        return data_list, next_url


    # 保存数据

    def save_data(self, data_list):
        for data in data_list:
            print(data)

    def run(self):

        # url
        # headers
        # 发送请求，获取响应
        # 从响应中提取数据（ 数据、翻页用的url
        # 判断 是否终结
        next_url = self.url
        while True:


            data = self.get_data(next_url)

            # 元组接收
            data_list, next_url = self.parse_data(data)

            self.save_data(data_list)
            print(next_url)

            if next_url == None:
                break







if __name__ == '__main__':
    tieba = Tieba("  ")
    tieba.run()

改了好久！嘿嘿coding 有趣！