数据采集：如何自动化采集数据

数据采集：如何自动化采集数据

一个数据的走势，是由多个维度影响的，收集到尽可能多的数据维度，同时保证数据的质量，才能得到高质量的数据挖掘结构

数据源分四类：开放数据源（政府、企业、高校）、爬虫抓取（网页、APP）、日志采集（前端采集、后端脚本）、传感器（图像、测速、热敏）

如何使用开放数据源

开放数据源可以从两个维度来考虑，一个是单位的维度，比如政府、企业、高校；一个是行业维度，比如交通、金融、能源等领域，如果想找某个领域的数据源，比如金融领域，可以直接搜索金融开放数据源

如何使用爬虫做抓取

使用Python编写爬虫代码

• 使用Requests爬取内容，使用Requests库来抓取网页信息，Requests库就是Python的HTTP库，通过这个库来爬取网页中的数据
• 使用XPath解析内容，XPath是XML Path缩写，就是XML路径语言，一种用来确定XML文档中某部分位置的语言，XPath可以通过元素和属性进行位置索引
• 使用Pandas保存数据，用Pandas来保存爬取的数据，再写入到XLS或者MYSQL数据库中

当然也可以不编程就抓取到网页信息，比如：火车采集器、八爪鱼、集搜客

如何使用日志采集工具

传感器采集基本基于特定的设备，将设备采集的信息进行收集即可

为什么进行日志采集？通过分析用户访问情况，提升系统性