![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HADOOP
LYJ_er
好好学习,天天向上
展开
-
HDFS安装和使用
HDFS安装步骤:jdk安装 解压:tar -zxvf jdk-8u80-linux-x64.tar.gz -C ~/app 添加到系统环境变量:~/.bash_profile export JAVA_HOME=/home/hadoop/app/jdk1.8.0_80 export PATH=$JAVA_HOME/bin:$PATH 使得环境变量生效: so...原创 2019-03-25 16:51:29 · 11026 阅读 · 0 评论 -
资源调度框架YARN
MapReduce1.x存在的问题:单点故障、节点压力大不易扩展、不能支持处理MapReduce1之外的计算框架MapReduce:Master/Slave架构,1个JobTracker带多个TaskTrackerJobTracker:负责资源管理和作业调度TaskTracker: 定期向JobTracker汇报节点的健康、资源使用情况、作业执...原创 2019-03-26 19:52:41 · 189 阅读 · 0 评论 -
分布式计算框架MapReduce
MapReduce优点:海量数量离线处理、易开发、易运行MapReduce缺点:实时流式计算wordcount入门:统计文件中每个单词出现的次数需求:求wc文件内容小:shell 文件内容很大:TB GB ??? 如何解决大数据量的统计分析借助于分布式计算框架:MapReduce分而治之(input)<k1, v1> ->map-...原创 2019-04-09 20:14:34 · 196 阅读 · 0 评论 -
用户行为日志概述
用户行为日志:用户每次访问网站时所有的行为数据(访问、浏览、搜索、点击。。。)为什么要记录用户访问行为日志网站页面的访问量 网站的黏性 推荐用户行为日志生成渠道Nginx Ajax用户行为日志内容IP 账号 时间区域 所使用的客户端 模块 appId 跳转的链接地址日志数据内容:访问的系统属性:操作系统、浏览器等等 访问特征:点击的url、从哪个url跳...原创 2019-08-05 19:50:46 · 2978 阅读 · 0 评论