数据获取手段

数据获取手段包括：

• 数据仓库
• 监测与抓取
• 填写、日志、埋点
• 计算

1.数据仓库

含义：将所有业务数据经汇总处理，构成数据仓库（DW）。包括：全部事实的记录，部分维度与数据的整理（数据集市-DM）

经过一个例子来通俗理解：比如，我们建立了一个卖书的网站，需要建立一个包含用户信息、书籍信息数据库，并且根据用户的购买行为来调整数据库的结构。而当业务不断扩大，比如该面向哪一类人群卖什么样的书，这样的话就需要根据数据进行分析，然而只靠目前现有的数据库是不够的。因为它涉及到数据库的更改和减少冗余，而减少冗余的过程就会丢失很多信息，这样得到的数据是不准确的。所以就需要把每次用户交互都记录下来，专门用数据载体来对每一个用户购买书的事件和浏览页面等完整信息都要记录下来，并且可方便查取。

2.监测与抓取

直接解析网页、接口、文件的信息。

Python常用工具：urllib、urllib2、requests、scrapy、渲染数据（PhantomJS）、解析路径（beautifulSoup、Xpath(lxml)）

3.填写、埋点、日志

填写：用户填写信息

埋点：APP或网页埋点（特定流程的信息记录点），比较常见的记录项包括访问、访客、停留时间、页面查看等，总的来说分为统计页面和统计操作行为。对于互联网公司来说，埋点记录了用户与互联网产品交互的过程，几乎可以复现用户和产品交互的过程。

日志：操作日志（前端日志、后端日志）

4.计算

通过已有数据计算生成衍生数据，例如统计报表某些项目。

 

学习网站：

• kaggle:https://www.kaggle.com/
• 天池：https://tianchi.aliyun.com/

数据集网站：

• 公共图片数据集：https://image-net.org/index
• 含有人工标注的Google开放的图片数据集：https://openimage.com.au/
• 各领域统计数据（统计局、政府机构、公司财报等）