第八讲 数据的采集

数据采集是数据挖掘的基础。一个数据的走势，是由多个维度影响的，需要通过多源的数据采集，收集尽可能多的数据维度，同时保证数据质量。
数据源分为以下四类：

1. 开放数据源：针对行业的数据库。
2. 爬虫抓取：针对特定的网站和APP
3. 日志采集：统计用户的操作。在前端进行埋点，后端进行脚本收集和统计，进而分析网站的访问情况，以及使用瓶颈等。
4. 传感器：采集物理信息。

采集方法

1、开放数据源
从两个维度考虑，一是单位的维度，如政府、高校；另一个是行业维度，如金融、交通领域。下图为单位维度的数据源。

2、爬虫抓取数据
最直接的方法是使用Python编写爬虫代码。会经历三个过程：
（1）使用Requests爬取内容。Requests库是Python的HTTP库，方便快捷。
（2）使用XPath（XML Path ，XML路径语言）解析内容。可以通过元素和属性进行位置索引。
（3）使用Pandas保存数据。最后通过Pandas再写入到XLS或MySQL等数据库中。

另外，还可以不通过编程就抓取到网页信息，常用的抓取工具有:火车采集器、八爪鱼、搜集客。
自动化采集的关键是：自动切换IP以及云采集。
3、日志采集工具
日志采集的最大作用，就是通过分析用户的访问情况，提升系统的性能，从而提高系统的承载量。日志记录了用户访问网站的全过程，日志数据被写在日志文件中。日志采集可分为两种形式：
（1）通过Web服务器采集，一般Web服务器自带日志功能。
（2）自定义采集用户行为
埋点是日志采集的关键步骤，就是在有需要的位置采集相应信息，进行上报。方法是，在需要统计数据的地方植入统计代码，可以自己写，也可以使用第三方工具，如：友盟、Google Analysis等