08 数据采集：如何自动化采集数据？

如何使用爬虫做抓取

（1）Python爬虫，大致经过三个过程：使用Requests爬取内容、使用XPath解析内容、使用Pandas保存数据。

（2）抓取工具：火车采集客、八爪鱼、集搜客

 

如何使用日志采集工具

日志采集通过分析用户访问情况，提升系统性能，从而提高系统承载量。

日志采集分为两种：

（1）通过Web服务器采集

（2）自定义采集用户行为

 

埋点是在有需要的位置采集相应的信息，进行上报，是日志采集的关键步骤。埋点就是在需要采集的地方植入统计代码，采集用户行为数据，将数据进行多维度交叉分析。

总结：我们要根据特定的业务场景，选择合适的采集工具。不要重复造轮子！