《干净的数据——数据清洗入门与实践》（五）

收集并采集来自网络的数据

待解决：python移除列表中最后两行的数据

HTML页面结构

两类心智/结构化模型
行分割模型
将HTML元素当成分隔符，结构化标签将内容分隔成不同的部分

树形结构模型
文本页面可以看成一个由HTML元素/标签组成的树形结构，其中每个元素/标签都与页面上的其他一些标签相关。每个标签都是一个节点，整棵树是由页面中的所有节点组成的。

三种方法

方法一
正则表达式re.compile()的使用

#python和正则表达式
'''
基于识别文件中的分隔符的概念
观察每一行具有相同特点的内容，从聊天记录中找到我们需要的内容

正则表达式局限于具体项目的实现细节
·需要花费大量时间精力来调试样式、编写冗长的说明文档->使用相应语言的测试工具
·正则表达式完全依赖于网页结构，也就是说网页结构一旦改变，正则表达式则会失效
·很多情况下无法使用正则表达式来精确匹配网页结构
'''
#编写python程序把数据保存在CSV文件中
'''
在这个页面中，我将提取每个channel中的id
'''

import re
import io

row = []

infile = io.open('F:/data/clean_data/clean_data05_1.html'