hadoop
文章平均质量分 54
coolwyh1981
这个作者很懒,什么都没留下…
展开
-
CentOs6搭建hadoop2.4集群
上次搭建hadoop1.2.1分布式集群,这次搭建hadoop2.4分布式集群,由于是在自己的笔记本上搭建集群,所以必须在虚拟机下安装多linux系统来模拟真实的分布式集群环境,我们用的虚拟机是VmWare10,选择的是linux发行版CentOs6.0,虚拟了三个CentOs系统(安装CentOs的步骤省略,这里不是我们这次学习的重点),一台master 两台slave,用户名全部为had...原创 2014-05-02 21:21:48 · 138 阅读 · 0 评论 -
Hadoop1.2.1 SecondNameNode与NameNode分离部署
环境如下(停止所有服务stop-all.sh):master:master 192.168.1.106slave:slave1 192.168.1.107 slave2 192.168.1.1081、修改master(改为slave其中的一个)slave1 2、修改core-site.xml<property>&l...原创 2014-05-11 17:16:56 · 241 阅读 · 0 评论 -
hadoop1.2.1 web监控页面加上安全机制(特定用户才能登陆)
1、首先停止所有hadoop进程,修改core-site.xml文件,新增如下内容 2、在hadoop安装的根目录下新建hadoop-http-auth-signature-secret文件,文件内容如下:hadoopgrid 3、将修改的文件复制到其他两个节点4、启动hadoop所有进程,查看web监控页面,首先使用匿名的方式访问,如下 5、再使用创建文件中...原创 2014-05-12 09:06:59 · 481 阅读 · 1 评论 -
hadoop1.2.1控制namenode检查点发生的频率
1、停止所有hadoop进程,修改core-site.xml文件,改为2分钟检查一次,增加如下内容 2、复制文件到其他两个slave节点3、启动hadoop所有进程,进入fs.checkpoint.dir设置的目录下,可以看见current每隔两分钟检查更新一次 4、停止所有hadoop服务,更改core-site.xml文件,改为1分钟检查一次,如下图 ...原创 2014-05-12 09:08:08 · 109 阅读 · 0 评论 -
CentOs6搭建Hadoop1.2.1分布式集群
系统:CentOs6 64位环境:1台namenode 2台datanode 用户名全是girdmaster 192.168.1.103slave1 192.168.1.104slave2 192.168.1.107 具体的安装步骤如下:1、下载jdk1.6以及hadoop1.2.1(去官网下载即可,...原创 2014-04-27 17:00:55 · 107 阅读 · 0 评论