数据分析（01）-数据分析基础

 

 

一、数据收集/采集

自有产品：埋点pingback;UGC/PGC

采集数据：抓取数据（爬虫）；第三方提供数据接口；人工自主采集（复制、粘贴、线下、实路采集）

二、数据存储

存到数据库里（MySQL、Oracle  <甲骨文，已撤出中国>）

三、数据整理/处理

Hadoop  spark;分类整理：Mapreduce、HDFS、Hive（蜂巢）

四、数据分析

（1）机器数据分析

       建立数据模型、算法、C++、Python、R语言等

（2）人工数据分析

       ①数据准确

         eg：一加