数据预处理与实践（第二期）

数据采集与存储（上篇）

随着网络和信息技术的不断普及，人类产生的数据量正在呈指数级增长，数据的形式也更加丰富，主要有结构化数据、半结构化数据、非结构化数据。面对各种形式的数据应当采用什么样的数据采集策略，如何实现网络爬虫爬取网页信息，如何对抓取到的网页信息进行本地化存储，都是数据预处理过程中经常会遇到的问题。本章从数据的分类入手，分别介绍数据采集和存储的常用方法与技术。

1.数据与数据采集

人工智能领域中的数据主要有3类：

1️⃣：结构化数据

2️⃣：半结构化数据

3️⃣：非结构化数据

世界上每时每刻都在产生大量的数据，包括物联网传感器数据、社交网络数据、商品交易数据等。为了挖掘这些数据背后的价值，首先需要采集数据，因面对的场景的不同，采集数据的策略也会有差异。比如，针对关系型数据库中的数据、本地存储的文件、图片、音视频数据，直接拷贝即可；如果面对的是庞杂无序的网络数据，则需要采用网络爬虫技术进行处理了。接下来我们将从不同层面对数据的采集和存储方法进行介绍。

2.数据类型与采集方法

2.1结构化数据

特点： 1️⃣：数据以行为单位 2️⃣：一行数据表示一个实体的信息 3️⃣：每一行数据的属性是相同的