![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
yarn
Deng_huakai
花开自会落
展开
-
MapReduce job提交到Yarn的工作流程
MR JOB提交到Yarn的工作流程Yarn的架构设计Yarn的工作流程(属于同种说法)工作流程图:用户向Yarn的RM提交应用程序,其中包括ApplicationMaster程序(应用程序的主程序),启动ApplicationMaster命令等RM首先为该app程序分配第一个container容器,并与对应的NM通信,要求NM在这个Container中启动应用程序的applicatio...原创 2018-11-12 20:55:27 · 1131 阅读 · 1 评论 -
yarn的常用命令
一般都用yarn 或者hadoop 很少用mapred[hadoop@hadoop001 hadoop-2.6.0-cdh5.7.0]$ yarn (查看yarn的命令帮助)[hadoop@hadoop001 hadoop-2.6.0-cdh5.7.0]$ find ./ -name “example.jar” (在当前目录下搜索jar的案例程序)[hadoop@hadoop001 ha...原创 2018-11-12 21:29:16 · 583 阅读 · 0 评论 -
yarn的调优
yarn的架构设计yarn采用的是主从结构设计,hdfs也是一样容器(container)的概念Container(容器)是Yarn的资源的抽象(是一种虚拟的概念),封装了某个节点的多维度资源,如内存 cpu,磁盘,网络。1014 需要再看一遍视频...原创 2018-11-20 20:47:25 · 164 阅读 · 0 评论 -
Hadoop 集群之HDFS HA、Yarn HA
部署集群的原因如果我们采用单点的伪分布式部署,那么NN节点挂了,就不能对外提供服务。集群的话,存在两个NN节点,一个挂了,另外一个从standby模式直接切换到active状态,实时对外提供服务(读写)。在生产上,避免出现对外服务中断的情况,所以会考虑采用集群部署。HDFS HA (High availability)单点式伪分布:NNSNN secondary 1小时checkpoin...原创 2018-11-25 16:32:37 · 333 阅读 · 0 评论 -
spark on yarn-消除警告
spark on yarnlog-yarn.sh脚本export HADOOP_ROOT_LOGGER=DEBUG,consoleexport HADOOP_CONF_DIR=/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop$SPARK_HOME/bin/spark-submit \--master yarn \--class www....原创 2018-12-28 01:18:17 · 389 阅读 · 0 评论 -
spark on yarn
shell脚本log-yarn.sh如下:export HADOOP_CONF_DIR=/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop$SPARK_HOME/bin/spark-submit \--master yarn \--class www.ruozedata.bigdata.SparkCore02.LocalServeApp \...原创 2018-12-24 22:38:56 · 314 阅读 · 0 评论 -
spark on yarn cluster查看日志
spark on yarn cluster查看日志[hadoop@hadoop001 shell]$ yarn logs -applicationId application_1420997455428_000515/01/12 04:34:51 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032/tmp/l...原创 2018-12-25 18:21:23 · 2165 阅读 · 0 评论 -
Yarn
配置文件按照官网配置文件mapred-site.xml文件:[hadoop@hadoop002 hadoop]$ cp mapred-site.xml.template mapred-site.xml (因为mapred-site.xml 文件没有,所以复制一个模板文件并重新命名按照官网上面改)(参照txt中的内容进行修改)修改etc/hadoop/yarn-site.xml文件(yarn-...原创 2018-10-30 15:17:35 · 293 阅读 · 0 评论 -
hdfs学习进程1
block块与副本数的概念块:dfs.blocksize :134217728 / 128M副本数:dfs.replication 1 / 3 (学习过程设置为1,正常生产中设置为3),副本数指的是一个块的复制数。面试:一个文件160m,副本数2,块大小128m,实际存储空间多少?块数量多少? 答案:块的数量为22=4,实际存储空间为1602HDFS架构设计NN 主 名称节点 ...原创 2018-11-05 22:07:34 · 197 阅读 · 0 评论