2020-11-02-xPathAndCsv

day6-xPathAndCsv

一、xPath解析和xml数据格式

1.xPath解析原理

通过在html或xml网页结构的标签路径去获取指定标签

2.xml数据格式（和json数据格式相比安全性高） - 整个内容只用一个节点

xml和json一样是一中通用的数据格式，用于多种语言程序之间的数据传输

xml和json的比较：xml更安全(方便加密)；json更轻量级(传输的时候更快)

xml和html一样是以节点（标签）为基本单位拟来提供数据的；例如：

# 保存一个商店中书的信息：
<bookStore>
    <name>新华书店</name>
    <books>
        <book>
            <name flag="hot">流程的Python</name>
            <author>张三</author>
            <price>120</price>
            <num>20</num>
        </book>
        <book>
            <name>代码整洁之道</name>
            <author>小明</author>
            <price>89</price>
            <num>12</num>
        </book>
        <book>
            <name>程序员修养之道- 从小工到专家</name>
            <author>Bob</author>
            <price>78</price>
            <num>23</num>
        </book>
        <book>
            <name>Unix编程艺术</name>
            <author>小花</author>
            <price>102</price>
            <num>9</num>
        </book>
    </books>
</bookStore>

二、xml数据解析

以上面的书店节点信息为例： 做xml数据解析：

from lxml import etree

# 这里是上面的数据保存在文件中 然后从文件中读取出来
with open('data.xml',encoding='utf-8') as f:
    data = f.read()

1.获取树对应的根节点 树 - 整个xml或者HTML 根节点 - - xml或者HTML 数据中最外层的标签/节点

bookStore = etree.XML(data)

2.通过xpath解析数据：

语法：节点对象.xpath（路径）

获取标签

# ========================路径======================
# 1)/ - 从根节点开始的绝对路径(查找的时候跟前面的节点对象没有任何关系)
result = bookStore.xpath('/bookStore/books/book/author')
print(result)
books_list = result[0].xpath('/bookStore/books/book')
print(books_list)
# [<Element book at 0x1c93030>, <Element book at 0x1c8efd0>, <Element book at 0x1c8ed00>, <Element book at 0x1c8eb20>]

# 2）// - 从任意位置开始按路径查找
# //A/B - (在整个xml/html 下面找A节点下面的B节点 )
# //B - (在整个xml/html 下面找B节点 )
name_list = bookStore.xpath('//name')
print(name_list)

# 3）./  - 从当前位置开始找
# 节点名称 - 从当前位置开始找
name_list = bookStore.xpath('./name')
print(name_list)

# 4) ../  - 从当前节点的父节点开始查找
name_list = bookStore.xpath('//name')
name_1 = name_list[0]
result = name_1.xpath('..')
print(result)
# [<Element bookStore at 0x39f3148>]

获取标签内容和属性

# 1）text()  - 获取标签内容
store_name = bookStore.xpath('/bookStore/name/text()')
print(store_name)   # ['新华书店']

# 2)@属性名 - 获取指定属性值
flag = bookStore.xpath('//book/name')[0].xpath('./@flag')
print(flag) # ['hot']
ids = bookStore.xpath('//book/@id')
print(ids)  # ['b1', 'b2', 'b3', 'b4']

谓词 —> 路径[谓词] - 按照谓词对应的条件通过指定路径获取标签

# 1）[N]  - 获取第N个标签，从1开始
# //book[1]/name  - 第一本书下面的name
# //book/name[1]  - 所有的书后面的第一个name
name = bookStore.xpath('//book[1]/name/text()')
print(name)  # ['流程的Python']

# 2）[last()]   - 获取最后一个标签
#    [last()-N]   - 获取最后一个的前N个标签
name = bookStore.xpath('//book[last()]/name/text()')
print(name) # ['Unix编程艺术']
name = bookStore.xpath('//book[last()-1]/name/text()')
print(name) # ['程序员修养之道- 从小工到专家']

# 3）[position()<N] - 获取前N-1个标签
# 3）[position()>N] - 获取第N个以后的标签
author_2 = bookStore.xpath('//book[position()<3]/author/text()')
print(author_2) # ['张三', '小明']

# 4）[@属性名]  - 获取拥有指定属性的标签
flags = bookStore.xpath('//name[@flag]/text()')
print(flags)  # ['流程的Python']

# 5)[@属性名=值]  = 获取指定属性是指定值的标签
flags = bookStore.xpath('//name[@flag="hot"]/text()')
print(flags) # ['流程的Python']

# 6）[标签名=值]、[标签名>数值]、[标签名<数值]、[标签名>=数值]、[标签名<=数值]
books_list = bookStore.xpath('//book[name="流程的Python"]')
print(books_list)
books_list = bookStore.xpath('//book[price>100]/name/text()')
print(books_list) # ['流程的Python', 'Unix编程艺术']

通配符

result = bookStore.xpath('//book[1]/*')
print(result)

# //*[@id] - 设置了id属性的任意节点
result = bookStore.xpath('//*[@id]')
print(result)

# //*[@*]  - 获取所有设置了属性的节点
result = bookStore.xpath('//*[@*]')
print(result)

分支

result = bookStore.xpath('//book/name/text()|//book/price/text()')
print(result)  # ['流程的Python', '120', '代码整洁之道', '89', '程序员修养之道- 从小工到专家', '78', 'Unix编程艺术', '102']


print('===========================================================')
result = bookStore.xpath('//book[position()<3]/name')
print(result)

三、csv文件写操作

首先要导入一个模块csv

import csv

写 – 列表数据

# 1.打开文件
with open('files/data1.csv','a',encoding='utf-8',newline='') as f:
    # 2.创建writer对象
    writer = csv.writer(f)
    # 3.写数据
    # 一次一行的写数据
    writer.writerow(['姓名','性别','年龄','电话'])
    # 一次写多行的数据
    writer.writerows([
        	['张三','男','30','12536231'],
            ['李四','男','32','12536231'],
            ['小红','女','24','12535231'],
            ['小明','男','18','12553231'],
    ])
    

写 – 字典数据

# 1.打开文件
with open('files/data2.csv','w',encoding='utf-8',newline='') as f:
    # 2.创建writer
    # csv.DictWriter(文件对象，表头列表)
    # 表头列表必须是要写入的字典的所有key
    writer = csv.DictWriter(f,['name','sex','age','tel'])
    #将表头的列表元素作为第一行
    writer.writeheader()
    
    # 3.写数据
    # 写一行
    writer.writerow({'name':'张三','sex':'男','age':'18','tel':'1526352'})
    # 写多行
    writer.writerows([
        {'name': '小红', 'sex': '女', 'age': '20', 'tel': '1526352', },
        {'name': '小明', 'sex': '男', 'age': '12', 'tel': '1526352', },
        {'name': '李四', 'sex': '男', 'age': '33', 'tel': '1526352', },
    ])

四、csv文件读操作

读 - - 列表数据

# 1.打开文件
with open('files/数据分析.csv',encoding='utf-8',newline='') as f:
    # 2.创建reader
    reader = csv.reader(f)
    # 3.一行一行的获取数据
    print(next(reader))
    for x in reader:
        print(x)
        

读 – 字典数据

# 1.打开文件
with open('files/数据分析.csv',encoding='utf-8',newline='') as f:
    # 2.创建reader
    reader = csv.DictReader(f)
    # 3.读数据
    print(next(reader))
    for x in reader:
        print(x)