hadoop总结
总结hadoop
Adobee Chen
这个作者很懒,什么都没留下…
展开
-
yarn 错误总结
resourceManager HA配置,界面YARN NodeManager 8042 yarn.nodemanager.webapp.address http服务端口为localhost解决:yarn-site.xml中<property> <name>yarn.nodemanager.webapp.address</name> <value>henghe-053:8042</value></pr.原创 2021-08-02 17:36:48 · 1164 阅读 · 0 评论 -
YARN RPC
一: RPC理解基本概念:RPC(Remote Procedure Call)远程过程调用,简单的理解是一个节点请求另一个节点提供的服务二: HADOOPRPC架构实现原创 2021-08-03 16:06:45 · 232 阅读 · 0 评论 -
Yarn架构
Hadoop-2.x以前MapReduce的架构设计在hadoop-2.x将资源管理和调度独立出来了,叫做Yarn解释:Application Manager管理应用程序状态Resource Scheduler 进行资源的调度NodeManager jvm进程NodeManager提供container,在container里面运行Task/AppMaster当任务提交到yarn上,ResourceManager会找一个有空余的NodeManager启动AppMaste.原创 2021-08-03 15:02:54 · 137 阅读 · 0 评论 -
Yarn 状态转换源码流程
wordcount提交代码 boolean b = job.waitForCompletion(true);Job.class /** * Submit the job to the cluster and wait for it to finish. * @param verbose print the progress to the user * @return true if the job succeeded * @throws IOException th原创 2021-08-04 17:54:56 · 86 阅读 · 0 评论 -
Yarn调度器总结
总结调度器种类Yarn调度器分三种FIFO Capacity Scheduler (容量调度器) Fair Scheduler (公平调度器)Apache 默认的资源调度器是容量调度器CDH默认的资源调度器是公平调度器区别FIFO调度器:支持单队列、先进先出 生产环境不会用容量调度器: 支持多队列,保证先进入的任务优先执行公平调度器:支持多队列,保证每个任务享有队列资源生产环境选择服务器性能充足,选择公平集群服务器资源不充裕选择容量生产环境下怎么创建..原创 2021-08-27 18:51:33 · 126 阅读 · 0 评论 -
hadoop 总结
目录namenodeNamenode中元数据存储在哪里?namenode HAActive NamenodeStandby NamenodeJournalNode ClusterZKFailoverController(ZKFC)namenode存储: 整个文件系统的命名空间和文件快的地址映射(Blockmap)负责:文件元信息的操作以及处理客户端的请求管理:Hdfs文件系统的命名空间NameSpace维护:文件系统树(FileSystem)以及文件树中所有原创 2021-09-15 10:34:57 · 131 阅读 · 0 评论 -
hadoop格式化
stop集群 sbin/stop-all.sh删除 tmp,记录了clusteridrm -rf tmp格式化hadoop namenode -format查看datanode有没有起来首先jps查看进程起来了吗然后测试一下[root@henghe-051 hadoop-3.1.3]# hadoop fs -mkdir /test[root@henghe-051 hadoop-3.1.3]# hadoop fs -put tmp/ /test成功...原创 2021-04-16 14:49:42 · 201 阅读 · 0 评论 -
hadoop遇错总结
start-dfs.sh后,jps namenode server起来了,但是界面没有查看log日志发现是ip,host没有配对,导致访问127.0.0.1:50070vim /etc/hosts 加上映射ip host映射后,source一下。 再次启动查看界面已经有了,log里面也连接到host了2021-01-28 09:55:25,985 INFO org.apache.hadoop.hdfs.DFSUtil: Starting Web-server for hdfs at: htt原创 2021-01-28 15:14:31 · 131 阅读 · 0 评论