![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 58
根根和他的朋友们
这个作者很懒,什么都没留下…
展开
-
非root账户ssh互通配置,用户hadoop集群搭建等需要ssh的场景
测试环境:ubuntu 10.04测试机器:192.168.28.144 search1 192.168.28.145 search21.root账户登录,修改hosts以及hostname 首先登录search1,在/etc/hosts文件中添加 192.168.28.144 search1原创 2013-08-28 22:20:18 · 1727 阅读 · 0 评论 -
Hadoop 1.x(单namenode)版本中默认端口介绍
在单namenode的Hadoop1.x版本中,默认端口有9个,具体如下表所示:角色名称端口位置描述namenodefs.default.name9000core-site.xmlnamenode RPC交互端口namenodedfs.http.address50070hdfs-site.xml原创 2013-09-05 22:24:23 · 1482 阅读 · 0 评论 -
Hadoop 1.x 启动脚本学习(2)
接上(1)中所描述的启动脚本进行逐一分析:hadoop的启动脚本,基本思路是先进行初始化操作,调用hadoop-config.sh,然后针对各自不同的业务逻辑,进行不同的操作。1. start-all.sh该启动脚本启动hadoop集群,顺序执行start-dfs.sh和start-mapred.sh脚本。该脚本需要运行在hadoop的master节点,如果nameno原创 2013-09-12 00:16:34 · 1256 阅读 · 0 评论 -
Hadoop 1.x 启动脚本学习(3)
1. Hadoop中最重要的脚本是bin目录下的hadoop命令,其可以完成的功能如下图所示:可以看出,其通过不同的参数传递,执行不同的操作。正好可以和之前的脚本介绍想对应。接下来针对几个命令进行详细介绍。hadoop的heap_size默认为1000MB。2. hadoop通过对参数的判断,设置所要启动的类(hadoop类)以及相应的参数,如下图所示:3. 参数配置完毕,原创 2013-09-12 00:46:24 · 1074 阅读 · 0 评论 -
Hadoop 1.x 启动脚本学习(1)
Hadoop 1.x 的启动脚本位于bin目录下,主要包括:start-all.shstart-dfs.shstart-mapred.shstart-daemon.shstart-daemons.shstart-balancer.shstart-jobhistoryserver.shslaves.sh启动及调用过程如下图所示:原创 2013-09-09 23:39:56 · 654 阅读 · 0 评论 -
HDFS集群balance(1)-- 简介
转载请注明博客地址:http://blog.csdn.net/suileislHDFS集群balance,对应版本balance design 6如需word版本,请QQ522173163联系索要,谢谢。作者简介 昵称:根根姓名:隋磊QQ:522173163email:rsuilei@163.com 本文的翻译,离不开《至高天》系统架构师团队的支翻译 2013-09-30 00:35:48 · 1398 阅读 · 0 评论 -
HDFS集群balance(2)-- 架构概览
转载请注明博客地址:http://blog.csdn.net/suileislHDFS集群balance,对应版本balance design 6如需word版本,请QQ522173163联系索要,谢谢。对接(1)中的图文作者简介 昵称:根根姓名:隋磊QQ:522173163email:rsuilei@163.翻译 2013-09-30 00:49:29 · 1236 阅读 · 0 评论 -
HDFS集群balance(4)-- 测试计划
转载请注明博客地址:http://blog.csdn.net/suileislHDFS集群balance,对应版本balance design 6如需word版本,请QQ522173163联系索要,谢谢。对接(3)中的图文。作者简介 昵称:根根姓名:隋磊QQ:522173163email:rsuil翻译 2013-09-30 00:56:29 · 974 阅读 · 0 评论 -
HDFS集群balance(3)-- 架构细节
转载请注明博客地址:http://blog.csdn.net/suileislHDFS集群balance,对应版本balance design 6如需word版本,请QQ522173163联系索要,谢谢。对接(2)中的图文作者简介 昵称:根根姓名:隋磊QQ:522173163email:rsuilei@163.co翻译 2013-09-30 00:53:54 · 943 阅读 · 0 评论 -
Hadoop 2.x 启动脚本学习(1)
转载请注明博客地址:http://blog.csdn.net/suileislHadoop 2.x 采用yarn框架,其启动脚本也和1.x中大为不同,其将启动脚本放在sbin目录下,将执行脚本放在bin目录下,将配置脚本放在libexec下。下面针对启动脚本进行介绍学习,sbin目录下的启动脚本主要有:1. start-all.sh2. start-dfs.sh3. start-y原创 2013-09-16 01:29:59 · 1384 阅读 · 1 评论