Hadoop安装配置
安装步骤
老菜啦
这个作者很懒,什么都没留下…
展开
-
Hadoop集群搭建之环境变量配置
关于hadoop和jdk安装好之后环境变量配置问题jdk环境变量配置编辑/etc/profile[hadoop@hadoop102 hadoop-2.7.2]$ vim /etc/profile在最后添加(把JAVA_HOME的路径改成你自己jdk安装的路径)##JAVA_HOMEexport JAVA_HOME=/opt/module/jdk1.8.0_144export PAT...原创 2020-02-25 20:24:14 · 1327 阅读 · 1 评论 -
Hadoop完全分布式运行模式(八)集群时间同步
时间同步的方式:找一个机器,作为时间服务器,所有的机器与这台集群时间进行定时的同步,比如,每隔十分钟,同步一次时间。1. 时间服务器配置(必须root用户)(1)检查ntp是否安装(没有的话需要安装)[root@hadoop102 桌面]# rpm -qa|grep ntpntp-4.2.6p5-10.el6.centos.x86_64fontpackages-filesystem-1....原创 2020-02-24 23:24:16 · 187 阅读 · 0 评论 -
Hadoop完全分布式运行模式(七)集群启动/停止方法总结
1. 各个服务组件逐一启动/停止(1)分别启动/停止HDFS组件hadoop-daemon.sh start / stop namenode / datanode / secondarynamenode(2)启动/停止YARNyarn-daemon.sh start / stop resourcemanager / nodemanager2. 各个模块分开启动/停止(配置ss...原创 2020-02-24 23:16:43 · 202 阅读 · 0 评论 -
Hadoop完全分布式运行模式(六)群起集群
1. 配置slaves[hadoop@hadoop102 hadoop]$ vi /opt/module/hadoop-2.7.2/etc/hadoop/slavesslaves在该文件中增加如下内容:hadoop102hadoop103hadoop104注意:该文件中添加的内容结尾不允许有空格,文件中不允许有空行。同步所有节点配置文件[hadoop@hadoop102 ~]$...原创 2020-02-24 23:12:58 · 278 阅读 · 0 评论 -
Hadoop完全分布式运行模式(五)SSH无密登录配置
1. 配置ssh(1)基本语法ssh另一台电脑的ip地址如:[hadoop@hadoop102 hadoop-2.7.2]$ ssh hadoop103(2)ssh连接时出现Host key verification failed的解决方法[hadoop@hadoop102 opt] $ ssh 192.168.186.103The authenticity of host '19...原创 2020-02-24 22:44:04 · 228 阅读 · 0 评论 -
Hadoop完全分布式运行模式(四)集群单节点启动
1.如果集群是第一次启动,需要格式化NameNode[hadoop@hadoop102 hadoop-2.7.2]$ hadoop namenode -format2.在hadoop102上启动NameNode[hadoop@hadoop102 hadoop-2.7.2]$ hadoop-daemon.sh start namenode[hadoop@hadoop102 hadoop-...原创 2020-02-24 22:18:45 · 376 阅读 · 0 评论 -
Hadoop完全分布式运行模式(三)集群配置
1. 集群部署规划hadoop102hadoop103hadoop104HDFSNameNodeSecondaryNameNodeDataNodeDataNodeDataNodeYARNResourceManagerNodeManagerNodeManagerNodeManager2. 配置集群(1)核心配置文件配置co...原创 2020-02-24 22:15:24 · 214 阅读 · 1 评论 -
Hadoop完全分布式运行模式(二)编写集群分发脚本xsync
rsync 远程同步工具rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。rsync和scp区别:用rsync做文件的复制要比scp的速度快,rsync只对差异文件做更新。scp是把所有文件都复制过去。(1)基本语法rsync -rvl $pdir/$fname $user@hadoop$host:$pdir/$fn...原创 2020-02-24 22:01:36 · 333 阅读 · 0 评论 -
Hadoop完全分布式运行模式(一)虚拟机准备
1.克隆虚拟机注意:这里最小需要三台虚拟机2.修改克隆虚拟机的静态IP将第一个红框的内容删除,将第二个红框中的eth1改为eth0,并将第二个红框中的ATTR复制,后面备用3. 修改主机名修改为你自己的主机名写入你其他主机的主机名和ip地址4.关闭防护墙1)关闭防火墙service iptables stop2)永久关闭防火墙chkconfig i...原创 2020-02-24 21:50:55 · 396 阅读 · 1 评论 -
Hadoop配置文件说明
Hadoop配置文件分两类:默认配置文件和自定义配置文件,只有用户想修改某一默认配置值时,才需要修改自定义配置文件,更改相应属性值。1.默认配置文件要获取的默认文件文件存放在Hadoop的jar包中的位置[core-default.xml]hadoop-common-2.7.2.jar/ core-default.xml[hdfs-default.xml]hado...原创 2020-02-24 14:40:54 · 119 阅读 · 0 评论 -
配置Hadoop历史服务器
为了查看程序的历史运行情况,需要配置一下历史服务器。具体配置步骤如下:1. 配置mapred-site.xml编辑hadoop下载地址下的etc/hadoop/mapred-site.xml文件在文件中添加下图红框内容2. 启动历史服务器3.查看历史服务器是否启动![在这里插入图片描述](https://img-...原创 2020-02-24 14:14:44 · 417 阅读 · 0 评论 -
关于hadoop在Linux下启动节点后Linux下能访问50070,而Windows下不能访问的解决方法
造成该问题的主要原因是linux的防火墙未关闭。须在linux的终端执行一下命令:1)关闭防火墙service iptables stop2)永久关闭防火墙chkconfig iptables off3)查看防火墙此时状态是否为【未运行】service iptables status...原创 2020-02-24 10:56:14 · 584 阅读 · 0 评论