爬虫核心思想

页面解析与数据提取
实际上爬虫一共就四个主要步骤：

• 定（要知道你准备在哪个范围或者网站去搜索）
• 爬（将所有的网站的内容全部爬下来）
• 取（分析数据，去掉对我们没用处的数据）
• 存（按照我们想要的方式存储和使用）
• 表（可以根据数据的类型通过一些图标展示）

以前学的就是如何从网站去爬数据，而爬下来的数据却没做分析，现在，就开始对数据做一些分析。

数据，可分为非结构化数据和结构化数据

结构化数据：（先有结构，再有数据）：

•  JSON 格式
   XML文件
   （结构化的数据是指可以使用关系型数据库表示和存储，表现为二维形式的数据。
  

非结构化数据：（先有数据，再有结构）

• 常用

   文本、电话号码、邮箱地址
   HTML文件