超级会员免费看
本文探讨了构建数据分析平台的流程，重点关注数据采集、存储、处理和展示。数据源包括文件、数据库、服务器和爬虫数据，常用工具有flume、sqoop、kafka等。数据存储涉及HDFS、HBase、Redis等，处理环节涵盖了离线（MapReduce、Spark）和实时（Storm、Spark Streaming）方案。数据应用主要在用户画像和机器学习方面。电商需求分析了购买率、复购率等指标。常见维度包括时间、地域、客户端和平台。ETL过程涉及IP解析和数据写入HBase，以优化查询和存储效率。
数据分析平台架构从以下四个方面着手：
1.数据分析流程（重点）
(1)数据采集
- 数据源：
文件：csv,tsv 格式文件
数据库：用户表，订单表，商品表
数据流
- 来源：
服务器数据：日志服务器（用户行为数据），应用服务器（用户访问）
业务数据：用户信息表、订单表、商品表
爬虫数据：招聘网站、视频网站、论坛、豆瓣等
- 实现工具：
flume、
sqoop
kafka、
kettle、
logstash(ETK):
E:ElasticSearch(存储，分析)
L：Logstash(数据采集)
K：Kibana(展示)
(2)数据存储
HDFS、HIVE 、HBase、Redis
(3)数据处理
- 离线ÿ
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
