大数据入门(Hadoop简介、Hadoop伪分布式安装、HDFS相关概念及shell操作和Java API操作)
一、HADOOP简介
1、为什么需要Hadoop?
从一个例子开始,现在我们业务系统通过nginx转发tomcat,所有用户都通过访问Nginx访问我们的功能,Nginx为我们记录了accessLog,我们可以分析这些日志来挖掘一些用户行为。为网站运营提供统计支持。
Flume Agent:做日志收集
HDFS:类似于fastDFS一样的文件管理系统(这里是存储上面收集的日志信息)
MAPRE...
原创
2019-02-27 22:05:54 ·
790 阅读 ·
0 评论