小白学习爬虫的第四天之数据解析xml与csv文件的读写操作

最新推荐文章于 2022-09-26 17:26:00 发布

bbbbbya

最新推荐文章于 2022-09-26 17:26:00 发布

阅读量300

点赞数 1

文章标签： python xml csv

本文链接：https://blog.csdn.net/bbbbbya/article/details/109453757

版权

一. xPath解析原理

通过需要的标签在html/xml结构中的标签路径去获取指定标签

二. xml数据格式

# xml数据格式
# xml和json一样是一种通用的数据格式，用于多语言程序之间的数据传输。
# xml和json的比较：xml更加安全（方便加密）、json更轻量级（传输的时候更快）
# xml和html一样是以节点（标签）为基本单位来提供数据的，例如：

数据：
<bookStore>
    <name>新华书店</name>
    <books>
        <book id="100">
            <name flag="hot">流畅的Python</name>
            <author>张三</author>
            <price>120</price>
            <num>20</num>
        </book>
        <book id="200">
            <name flag="new">代码整洁之道</name>
            <author>小明</author>
            <price>89</price>
            <num>12</num>
        </book>
        <book id="300">
            <name>程序员修养之道- 从小工到专家</name>
            <author>Bob</author>
            <price>78</price>
            <num>23</num>
        </book>
        <book id="250">
            <name>Unix编程艺术</name>
            <author>小花</author>
            <price>102</price>
            <num>9</num>
        </book>
    </books>
</bookStore>

三. xml数据解析

from lxml import etree

with open('data.xml', encoding='utf-8')as f:
    data = f.read()

1.获取树对应的根节点

# 树 -   整个xml/html数据
# 根节点   -   xml或者html数据中最外层的标签/节点
bookStore = etree.XML(data)

2.通过xPath解析数据

=======================1）路径==================

# 语法：节点对象.xpath(路径)
# 1）/   -   从根节点开始的绝对路径(查找的时候跟前面的节点对象没有任何关系)
# /A/B  -   找根节点A下面的B（如果A不是根节点，就找不到）

result = bookStore.xpath('/bookStore/books/book/author')
print(result)

result = bookStore.xpath('/bookStore/name')
print(result)   # [<Element name at 0x22cbf7b1d08>]

books_list = bookStore.xpath('/bookStore/books/book')
print(books_list)

books_list = result[0].xpath('/bookStore/books/book')

# 2）
# //  -   从任意位置开始按路径查找
# //A/B  -   在整个xml/html中找A节点下面的B节点
# //B   -   在整个xml/html中找B节点

name_list = bookStore.xpath('//name')
print(name_list)

name_list = bookStore.xpath('//book/name')
print(name_list)

# 3）
# ./   -   从当前位置开始找
# 节点名称  -   从当前位置开始找

name_list = bookStore.xpath('./name')
print(name_list)

name_list = bookStore.xpath('./books/book/name')
print(name_list)

result = books_list[0].xpath('./name/text()')
print(result)

result = books_list[0].xpath('name/text()')
print(result)

4）#  ../    -   从当前节点的父节点开始查找


name_list = bookStore.xpath('//name')
name_1 = name_list[0]
result = name_1.xpath('..')
print(result)   # [<Element bookStore at 0x2535b1a0e88>]

result = name_1.xpath('../books')
print(result)

=======================2）标签内容和属性==================

# 1）text()  -   获取标签内容
store_name = bookStore.xpath('/bookStore/name/text()')
print(store_name)   # ['新华书店']

store_name = bookStore.xpath('//name')[0].xpath('./text()')
print(store_name)   # ['新华书店']

result = bookStore.xpath('//text()')
print(result)

# 2）@属性名    -   获取指定属性值
flag = bookStore.xpath('//book/name')[0].xpath('./@flag')
print(flag)

ids = bookStore.xpath('//@id')
print(ids)

===================3）谓词=======================

# 路径[谓词]    -   按照谓词对应的条件通过指定路径获取标签
# 1）[N] -   获取第N个标签, 从1开始
# //book[1]/name    -   第一本书下面的name
# //book/name[1]    -   所有的书后面的第一个name
result = bookStore.xpath('//book[1]/name/text()')
print(result)

# 2）
# [last()]    -   获取最后一个标签
# [last()-N]    -   获取最后一个的前N个标签（获取倒数第N+1个）
name_last = bookStore.xpath('//book[last()]/name/text()')
print(name_last)

name_last_2 = bookStore.xpath('//book[last()-1]/name/text()')
print(name_last_2)

# 3）
# [position()<N]  -   获取前N-1个标签
# [position()>N]  -   获取第N个标签以后的标签

name_2 = bookStore.xpath('//books/book[position()<3]/author/text()')
print(name_2)

books_list = bookStore.xpath('//books/book[position()>2]/author/text()')
print(books_list)

# 4）[@属性名]  -   获取拥有指定属性的标签
flags = bookStore.xpath('//name[@flag]/text()')
print(flags)   # ['流程的Python', '代码整洁之道']

# 5）[@属性名=值]    -   获取指定属性是指定值的标签
flags = bookStore.xpath('//name[@flag="hot"]/text()')
print(flags)   # ['流程的Python']

# [@属性名>数值]、[@属性名>=数值]、[@属性名<数值]、[@属性名<=数值]
books = bookStore.xpath('//books/book[@id>200]')
print(books)

# 6）[标签名=值]、[标签名>数值]、[标签名>=数值]、[标签名<数值]、[标签名<=数值]
# //book[name="流畅的Python"]  -   获取子标签name标签值是 '流畅的Python' 的book标签
books_list = bookStore.xpath('//book[name="流畅的Python"]')   # [<Element book at 0x1b0d4304088>]
print(books_list)

===================4）通配符=======================

# * -   表示任意节点或者属性(不能表示任意值)
# //book[1]/*   -   获取第一个book节点中所有的子节点
result = bookStore.xpath('//book[1]/*/text()')
print(result)

# //*[@*]   -   获取所有设置了属性的任意节点
result = bookStore.xpath('//*[@*]')
print(result)

# result = bookStore.xpath('//book[@id=*]')
# print(result)

===================5）选取若干路径（分支）=======================

# 路径1 | 路径2 | 路径3 | ... -   同时选取每个路径对应的标签
# 注意：谓词不能使用分支
result = bookStore.xpath('//book/name/text()|//book/price/text()')
print(result)

四. csv文件的写操作

====================一、写列表数据==================

import csv
# 1.打开文件
# 参数newline在csv文件中必须添加
def write_data1():
    with open('files/data1.csv', 'w', newline='') as f:
        # 2.创建writer对象
        # csv.writer(文件对象)
        writer = csv.writer(f)

        # 3.写数据
        # 一行一行的写
        writer.writerow(['姓名', '性别', '年龄', '电话'])
        # 一次写多行
        writer.writerows(
            [
                ['张三', '男', 30, '1316481654'],
                ['李四', '女', 15, '1356481687'],
                ['老王', '男', 25, '1376481645'],
                ['小明', '男', 37, '1396481664'],

            ]
        )

write_data1()

 ====================将数据以字典的形式写入文件==================

import csv
def write_data2():
    # 1.打开文件
    with open('files/data2.csv', 'w', newline='')as f:
        # 2.创建writer
        # csv.DictWriter(文件对象, 表头列表)
        # 表头列表必须是要写入的字典的所有的key
        writer = csv.DictWriter(f, ['name', 'sex', 'age', 'tel'])
        # 将表头列表中的元素作为文件的第一行内容
        writer.writeheader()
        # 一行一行的写
        writer.writerow({
            'name': '张三',
            'sex': '男',
            'age': 30,
            'tel': '110'
        })
        # 一次写多行
        writer.writerows(
            [
                {'name': '小明', 'sex': '男', 'age': 25, 'tel': '135'},
                {'name': '小红', 'sex': '女', 'age': 20, 'tel': '120'}
            ]
        )

write_data2()

五. csv文件读操作

================以列表的形式去读===============

import csv
def reader_list():
    # 1.打开文件
    with open('files/数据分析.csv', encoding='utf-8', newline='')as f:
        # 2.创建reader
        reader = csv.reader(f)
        # 3.一行一行的获取数据
        # 获取每一行的内容和迭代器获取元素的方法一样
        print(next(reader))
        print(next(reader))

reader_list()

================以字典的形式去读===============

import csv
def reader_dict():
    # 1.打开文件
    with open('files/data1.csv', newline='')as f:
        # 2.创建reader
        # csv.DictReader(文件对象, 字典的key列表)
        # 字典的key列表  -   不赋值的时候会把第一行的内容作为字典的key
        reader = csv.DictReader(f, ['name', 'sex', 'age', 'tel'])
        # 3.读数据
        next(reader)
        print(dict(next(reader)))

reader_dict()

bbbbbya

关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
小白学习爬虫的第四天之数据解析xml与csv文件的读写操作

一. xPath解析原理通过需要的标签在html/xml结构中的标签路径去获取指定标签二. xml数据格式# xml数据格式# xml和json一样是一种通用的数据格式，用于多语言程序之间的数据传输。# xml和json的比较：xml更加安全（方便加密）、json更轻量级（传输的时候更快）# xml和html一样是以节点（标签）为基本单位来提供数据的，例如：数据：<bookStore> <name>新华书店</name> <book
复制链接

扫一扫