![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Yarn
RayBreslin
大数据开发、设计企业应用
展开
-
错误(为解决):yarn的wordcount任务卡在INFO mapreduce.Job: Running job: job_1541084101495_0003
1.问题描述:配置好,yarn的日志聚合功能。运行yarn的wordcount任务,发生错误。一直卡在INFO mapreduce.Job,无法运行。2.现象[hadoop@hadoop hadoop-2.6.0-cdh5.15.0]yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.15.0.ja...原创 2018-11-01 23:59:51 · 1426 阅读 · 2 评论 -
HBase(7):hbase与MapReduce集成
一、实现功能1、从hbase里读数据将hbase里的数据作为map的输入2、将数据写入hbase将hbase作为reduce的输出3、从hbase里读数据,再写入hbase数据迁移,比如有张表:tb01有20列数据,将其中的10列数据读出来,写入另一张表tb02二、集成步骤1.hadoop的添加缺少hbase相关jar包(1)方法一:可以在hadoop的运行环境...原创 2018-12-01 19:12:58 · 274 阅读 · 0 评论 -
HBase(8):hbase与MapReduce集成案例
一、实现功能1.importtsv将tsv导入hbase2.importtsv将csv导入hbase3.importtsv通过completebulkload导入hfile的文件数据二、实例准备1.需求stu_info有20列数据,将info下name这列数据读出来,然后写入另一张表tb02。2.hbase新建两张表create 'stu_info','info'...原创 2018-12-01 19:40:11 · 835 阅读 · 0 评论 -
Hadoop(2):MR日志聚合以及服务开启
一、日志服务:1、历史服务器作用: 查看已经运行完成的应用记录。需要指定historyserver的地址,内部和外部通信端口号,如果不指定默认是本机。historyserver是一个轻量级的服务,可以部署在任意一台节点上。必须开启日志服务才可以看聚合(保存)下来的日志。2、配置(在mapred-site.xml中): 注意:这里的端口号不能随便修改<pr...原创 2019-04-12 00:35:09 · 607 阅读 · 0 评论 -
Hadoop(1):JDK/HADOOP/YARN的安装配置
一、JDK安装和配置1、先卸载原先系统的java2、先修改权限chown -R hadoop01:hadoop01 /opt/3、解压JDK到指定的目录下,目录任意,建议不要装在某个用户主目录下tar -zxvf jdk-7u67-linux-x64.tar.gz -C /opt/modules/4、添加环境变量 (1)修改vi /etc/profile文件,配置...原创 2019-04-09 00:18:27 · 1642 阅读 · 0 评论 -
Hadoop(5):MapReduce编程统计PV
一、目的对于用户访问日志,使用MapReduce进行编程分析,获得每个城市的访问量。二、实现环境1.CDH 5.7.02.CentOS 7.43.集群外部Hadoop开发环境部署参考博客:https://blog.csdn.net/u010886217/article/details/89278390三、实现代码1.研究日志格式2.MapReduce实现统计...原创 2019-04-15 23:28:46 · 483 阅读 · 0 评论 -
Hadoop(4):MapReduce on Yarn工作流程
一、关键概念1.Client客户端作用:提交mapreduce任务的电脑。2.Resource manager作用:用于管理整个集群资源调度分配,包含Applications manager和Resource Scheduler。(1)Applications manager:管理每个提交任务,创建每个任务的Application master。(2)Resource Sc...原创 2019-04-14 18:23:27 · 981 阅读 · 0 评论