爬虫——结构化数据和非机构化数据的区别

一般来讲对我们而言，需要抓取的是某个网站或者某个应用的内容，提取有用的价值。内容一般分为两部分，非结构化的数据和结构化的数据。

一类信息能够用数据或统一的结构加以表示，我们称之为结构化数据，如数字、符号；而另一类信息无法用数字或统一的结构表示，如文本、图像、声音、网页等，我们称之为非结构化数据。 结构化数据属于非结构化数据，是非结构化数据的特例。 定义： 结构化数据：即行数据,存储在数据库里,可以用二维表结构来逻辑表达实现的数据。（转载）

不同的数据需要用不同的方式来处理：

对于非结构化数据

1. 例如电话，邮箱，文本，则可以用到正则表达式来匹配；
2. html文件：正则表达式、XPath、BeautifulSoup、CSS选择器

对于机构化数据

1. json文件：JSON Path、使用json库转化成Python类型进行操作（json类）

2. XML 文件：转化成Python类型（xmltodict）、正则表达式、XPath、BeautifulSoup、CSS选择器

参考文章：

https://blog.csdn.net/hujutaoseu/article/details/71189407