基于VM虚拟机的hadoop集群搭建
充了1块钱
这个作者很懒,什么都没留下…
展开
-
HADOOP集群搭建 - 8 - 集群时间同步
1、检查是否安装ntprpm -qa | grep ntp安装ntpyum install -y ntp安装成功截图2、修改ntp配置文件(修改3处)修改1:授权其他客户机从时间服务器这台机器查询和同步时间restrict 192.168.183.0 mask 255.255.255.0 nomodify notrap修改2:集群在局域网中,不使用其他互联网上的时间#server 0.centos.pool.ntp.org iburst#server 1.centos...原创 2020-12-11 00:09:23 · 201 阅读 · 0 评论 -
HADOOP集群搭建 - 7 - 集群启动
1、首次启动,需要在NameNode服务器格式化检查hdfs配置目录应该都是没有的(前面因为报错,手动创建过,没找到原因),格式化会自动创建相关目录格式化命令:hadoop namenode -format或 bin/hdfsnamenode -format2、启动集群全启动start-all.sh模块启动start-dfs.shstart-yarn.sh单点启动hadoop-daemon.sh start/stop namenodehadoop-daemo.原创 2020-12-09 23:21:14 · 312 阅读 · 0 评论 -
HADOOP集群搭建 - 6 - 集群配置
1、配置文件目录hadoop根目录下的/etc/hadoop下2、配置相关文件的JAVA环境变量(hadoop,yarn,mapred)hadoop-env.shmapred-env.shyarn-env.sh3、配置hdfscore-site.xml<!--配置hdfs文件系统命名空间,value值对应NameNode节点--><property> <name>fs.defaultFS</name> &...原创 2020-12-07 23:05:34 · 182 阅读 · 0 评论 -
HADOOP集群搭建 - 5 - 集群文件分发
说明:这次集群配置都是在root用户下进行1、配置SSH进入家目录的.ssh目录cd .ssh/生成秘钥文件(公钥和私钥)ssh-keygen -t rsa把公钥传给其他客户机ssh-copy-id hostname(hostname是主机名),.ssh/目录下生成authorized_keys文件2、scp 安全拷贝基础命令格式 scp -r localfile username@hostname:folder-r 递归,localfile本地文件 或文件夹,us.原创 2020-12-07 23:05:04 · 329 阅读 · 0 评论 -
HADOOP集群搭建 - 4 - 克隆虚拟机
1、克隆虚拟机(克隆前关闭客户机)2、克隆完成后启动并配置虚拟机修改网卡信息vim /etc/udev/rules.d/70-persistent-net.rules删除网卡eth0,把网卡eth1修改为eth0设置IPvim /etc/sysconfig/network-scripts/ifcfg-eth0修改三处位置MAC地址和网卡MAC地址保持一致,也可以通过VM虚拟机查看UUID 随便修改一个十六进制的数即可设置主机名vim /etc/sys原创 2020-12-07 23:04:18 · 347 阅读 · 0 评论 -
HADOOP集群搭建 - 3 - 安装HADOOP
1、解压文件(hadoop2.7.1,安装到 /usr/local/)tar -zxvf /home/hadoop-2.7.1.tar.gz -C /usr/local/2、配置环境变量vim /etc/profile3、配置hadoop的安装目录下的/etc/hadoop/hadoop-env.sh,指出JDK位置vim /usr/local/hadoop-2.7.1/etc/hadoop/hadoop-env.sh检查HADOOP是否安装成功hadoop versi原创 2020-12-07 23:03:04 · 88 阅读 · 0 评论 -
HADOOP集群搭建 - 2 - 安装JDK
1、检查客户机是否安装了JDK(使用以下方法一种或几种)检查环境变量 echo $JAVA_HOME检查JAVA版本 java -version查看JAVA进程ps -ef|grep javaRPM软件包管理工具检查 rpm -qa|grep java2、解压安装包(JDK1.8)这里是解压到 /usr/localtar zxvf jdk-8u271-linux-x64.tar.gz -C /usr/local/3、配置环境变量vim /etc/profile..原创 2020-12-07 22:59:29 · 106 阅读 · 0 评论 -
HADOOP集群搭建 - 1 - 客户机准备
1、客户机安装(CentOS6.5,BASE安装)2、设置静态IP原创 2020-12-07 22:56:24 · 106 阅读 · 0 评论