大数据集群VM搭建步骤

最新推荐文章于 2024-06-24 05:09:20 发布
最新推荐文章于 2024-06-24 05:09:20 发布
阅读量587 收藏
点赞数
分类专栏： 大数据 文章标签： 大数据环境搭建
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Kente_K/article/details/84841827
版权

大数据集群VM搭建步骤

Shell 脚本

vim sh1
cd /usr
ls


chmod +x sh1
./sh1

##基本环境配置

配置网络和主机名**(master,slave1,slave2)**

vi /etc/hosts

NETWORKING=yes
HOSTNAME=master

hostnamectl set-hostname master
cd /etc/sysconfig/network-scripts/
ls

vi ifcfg-ens33

#set ONBOOT=yes

reboot -f

设置主机与地址的映射**(master,slave1,slave2**)

ip addr    #查看ip地址

vim /etc/hosts

192.168.61.134 master master.root
192.168.61.135 slave1 slave1.root
182.168,61,136 slave2 slave2.root

下载相关软件**(master,slave1,slave2**)

yum install -y vim
yum install -y net-tools
yum install -y wget
yum install -y ntp

关闭防火墙**(master,slave1,slave2)**

systemctl stop firewalld

systemctl status firewalld

vim /etc/profile

#set java environment
export JAVA_HOME=/usr/java/jdk1.8.0_171
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin
#set zookeeper environment
export ZOOKEEPER_HOME=/usr/zookeeper/zookeeper-3.4.10
export PATH=$PATH:$ZOOKEEPER_HOME/bin
#set hadoop environment
export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
export CLASS_PATH=$HADOOP_HOME:$HADOOP_HOME/lib
export PATH=$PATH:$HADOOP_HOME/bin
#set hbase environment
export HBASE_HOME=/usr/hbase/hbase-1.2.4
export PATH=$PATH:$HBASE_HOME/bin
#set hive environment
export HIVE_HOME=/usr/hive/apache-hive-2.1.1-bin
export PATH=$PATH:$HIVE_HOME/bin

source /etc/profile

时间同步**(master)**

tzselect

5
9
1
1

vim /etc/ntp.conf

server 127.127.1.0
fudge 127.127.1.0 stratum 10

systemctl restart ntpd.service

其他机器同步**(slave1,slave2)**

ntpdate master

配置ssh免密

产生私密钥**(master,slave1,slave2)**

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

配置公钥**(master)**

cd ~/.ssh/
cat id_dsa.pub >> authorized_keys
ssh master

yes

主节点免密登陆子节点**(slave1,slave2)**

cd ~/.ssh
scp master:~/.ssh/id_dsa.pub ./master_das.pub

yes

cat master_das.pub >> authorized_keys

测试**(master)**

ssh slave1

ssh slave2

安装JAVA jdk

安装并配置环境**(master)**

mkdir -p /usr/java
tar -zxvf /opt/soft/jdk-8u171-linux-x64.tar.gz -C /usr/java

分发java**(master)**

scp -r /usr/java root@slave1:/usr/
scp -r /usr/java root@slave2:/usr/

安装Zookeeper

安装并配置zookeeper**(master)**

mkdir -p /usr/zookeeper
tar -zxvf /opt/soft/zookeeper-3.4.10.tar.gz -C /usr/zookeeper

配置conf/zoo.cfg**(master)**

cd /usr/zookeeper/zookeeper-3.4.10/conf
scp zoo_sample.cfg zoo.cfg
vim zoo.cfg

dataDir=/usr/zookeeper/zookeeper-3.4.10/zkdata
dataLogDir=/usr/zookeeper/zookeeper-3.4.10/zkdatalog
server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888

cd ..
mkdir zkdata
mkdir zkdatalog
cd zkdata
vim myid

1

分发到其他主机**(master)**

scp -r /usr/zookeeper root@slave1:/usr/
scp -r /usr/zookeeper root@slave2:/usr/

设置myid**(slave1)**

vim /usr/zookeeper/zookeeper-3.4.10/zkdata/myid

2

设置myid**(slave2)**

vim /usr/zookeeper/zookeeper-3.4.10/zkdata/myid

3

配置环境变量**(master,slave1,slave2)**

vim /etc/profile

#set zookeeper environment
export ZOOKEEPER_HOME=/usr/zookeeper/zookeeper-3.4.10
export PATH=$PATH:$ZOOKEEPER_HOME/bin

source /etc/profile

启动zookeeper集群**(master,slave1,slave2)**

$ZOOKEEPER_HOME/bin/zkServer.sh start

查看zookeeper状态**(master,slave1,slave2)**

$ZOOKEEPER_HOME/bin/zkServer.sh status

安装Hadoop

安装并配置Hadoop**(master)**

mkdir -p /usr/hadoop
tar -zxvf /opt/soft/hadoop-2.7.3.tar.gz -C /usr/hadoop

编辑hadoop-env.sh文件**(master)**

vim /usr/hadoop/hadoop-2.7.3/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_171

编辑core-site.xml文件**(master)**

vim /usr/hadoop/hadoop-2.7.3/etc/hadoop/core-site.xml

<property>
  <name>fs.default.name</name>
  <value>hdfs://master:9000</value>
</property>
<property>
  <name>hadoop.tmp.dir</name>
  <value>/usr/hadoop/hadoop-2.7.3/hdfs/tmp</value>
</property>
<property>
  <name>io.file.buffer.size</name>
  <value>131072</value>
</property>
<property>
  <name>fs.checkpoint.period</name>
  <value>60</value>
</property>
<property>
  <name>fs.checkpoint.size</name>
  <value>67108864</value>
</property>

编辑yarn-site.xml文件**(master)**

vim /usr/hadoop/hadoop-2.7.3/etc/hadoop/yarn-site.xml

<property>
  <name>yarn.resourcemanager.address</name>
  <value>master:18040</value>
</property>
<property>
  <name>yarn.resourcemanager.scheduler.address</name>
  <value>master:18030</value>
</property>
<property>
  <name>yarn.resourcemanager.webapp.address</name>
  <value>master:18088</value>
</property>
<property>
  <name>yarn.resourcemanager.resource-tracker.address</name>
  <value>master:18025</value>
</property>
<property>
  <name>yarn.resourcemanager.admin.address</name>
  <value>master:18141</value>
</property>
<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>
<property>
  <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
  <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

编辑slaves文件**(master)**

vim /usr/hadoop/hadoop-2.7.3/etc/hadoop/slaves

slave1
slave2

编辑master文件**(master)**

vim /usr/hadoop/hadoop-2.7.3/etc/hadoop/master

master

编辑hdfs-site.xml文件**(master)**

vim /usr/hadoop/hadoop-2.7.3/etc/hadoop/hdfs-site.xml

<property>
  <name>dfs.replication</name>
  <value>2</value>
</property>
<property>
  <name>dfs.namenode.name.dir</name>
  <value>file:/usr/hadoop/hadoop-2.7.3/hdfs/name</value>
  <final>true</final>
</property>
<property>
  <name>dfs.datanode.data.dir</name>
  <value>file:/usr/hadoop/hadoop-2.7.3/hdfs/data</value>
  <final>true</final>
</property>
<property>
  <name>dfs.namenode.secondary.http-address</name>
  <value>master:9001</value>
</property>
<property>
  <name>dfs.webhdfs.enabled</name>
  <value>true</value>
</property>
<property>
  <name>dfs.permissions</name>
  <value>false</value>
</property>

编辑mapred-site.xml文件**(master)**

cd /usr/hadoop/hadoop-2.7.3/etc/hadoop/
cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml

<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>

分发hadoop**(master)**

scp -r /usr/hadoop root@slave1:/usr/
scp -r /usr/hadoop root@slave2:/usr/

配置环境变量**(master,slave1,slave2)**

vim /etc/profile

#set hadoop environment
export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
export CLASS_PATH=$HADOOP_HOME:$HADOOP_HOME/lib
export PATH=$PATH:$HADOOP_HOME/bin

source /etc/profile

格式化hadoop**(master)**

hadoop namenode -format

启动hadoop集群**(master)**

$HADOOP_HOME/sbin/start-all.sh

jps(master)
namenode
secondarNamenode
ResourceManager

jps(slave)
DataNode
NodeManager

Hbase 安装

安装并配置hbase**(master)**

mkdir -p /usr/hbase
tar -zxvf /opt/soft/hbase-1.2.4-bin.tar.gz -C /usr/hbase

编辑conf/hbase-env.sh文件**(master)**

vim /usr/hbase/hbase-1.2.4/conf/hbase-env.sh

#BIGDATA environment set
export HBASE_MANAGES_ZK=false
export JAVA_HOME=/usr/java/jdk1.8.0_171
export HBASE_CLASSPATH=/usr/hadoop/hadoop-2.7.3/etc/Hadoop

编辑conf/hbase-site.xml文件**(master)**

vim /usr/hbase/hbase-1.2.4/conf/hbase-site.xml

<property>
  <name>hbase.rootdir</name>
  <value>hdfs://master:9000/hbase</value>
</property>
<property>
  <name>hbase.cluster.distributed</name>
  <value>true</value>
</property>
<property>
  <name>hbase.master</name>
  <value>hdfs://master:6000</value>
</property>
<property>
  <name>hbase.zookeeper.quorum</name>
  <value>master,slave1,slave2</value>
</property>
<property>
  <name>hbase.zookeeper.property.dataDir</name>
  <value>/usr/zookeeper/zookeeper-3.4.10</value>
</property>

编辑conf/regionservers文件**(master)**

vim /usr/hbase/hbase-1.2.4/conf/regionservers

slave1
slave2

hadoop配置文件导入hbase的conf下**(master)**

cp /usr/hadoop/hadoop-2.7.3/etc/hadoop/hdfs-site.xml .
cp /usr/hadoop/hadoop-2.7.3/etc/hadoop/core-site.xml .

分发hbase**(master)**

scp -r /usr/hbase root@slave1:/usr/
scp -r /usr/hbase root@slave2:/usr/

配置环境变量**(master,slave1,slave2)**

vim /etc/profile

#set hbase environment
export HBASE_HOME=/usr/hbase/hbase-1.2.4
export PATH=$PATH:$HBASE_HOME/bin

source /etc/profile

运行hbase(保证hadoop和zookeeper已开启)(master)

$HBASE_HOME/bin/start-hbase.sh

jps(master)
HMaster

jps(slave)
HRegionServer

安装Mysql server

安装epel源**(slave2)**

yum -y install epel-release
wget http://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpm
rpm -ivh mysql57-community-release-el7-8.noarch.rpm
yum -y install mysql-community-server
systemctl daemon-reload
systemctl start mysqld

登陆服务端**(slave2)**

grep password /var/log/mysqld.log
mysql -uroot -p

设置mysql密码安全策略**(slave2)**

set global validate_password_policy=0;
set global validate_password_length=4;
alter user 'root'@'localhost' identified by '123456';
\q

设置远程登陆**(slave2)**

mysql -uroot -p123456
create user 'root'@'%' identified by '123456';
grant all privileges on *.* to 'root'@'%' with grant option;
flush privileges;

安装Hive

解压hive**(master)**

mkdir -p /usr/hive
tar -zxvf /opt/soft/apache-hive-2.1.1-bin.tar.gz -C /usr/hive
scp -r /usr/hive root@slave1:/usr/

复制mysql.jar到slave1中**(connector所在主机)**

scp /opt/soft/mysql-connector-java-5.1.5-bin.jar root@slave1:/usr/hive/apache-hive-2.1.1-bin/lib

编辑hive-env.sh文件**(master,slave1)**

cd /usr/hive/apache-hive-2.1.1-bin/conf/
cp hive-env.sh.template hive-env.sh
vim hive-env.sh

HADOOP_HOME=/usr/hadoop/hadoop-2.7.3

编辑hive-site.xml**(slave1)**

vim /usr/hive/apache-hive-2.1.1-bin/conf/hive-site.xml

<configuration>
<property>
  <name>hive.metastore.warehouse.dir</name>
  <value>/user/hive_remote/warehouse</value>
</property>
<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://slave2:3306/hive?createDatabaseIfNotExist=true</value>
</property>
<property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>com.mysql.jdbc.Driver</value>
</property>
<property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>root</value>
</property>
<property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>123456</value>
</property>
<property>
  <name>hive.metastore.schema.verification</name>
  <value>false</value>
</property>
<property>
  <name>datanucleus.schema.autoCreateAll</name>
  <value>true</value>
</property>
</configuration>

从hive的lib包中拷贝jline到hadoop的lib中**(master)**

cp /usr/hive/apache-hive-2.1.1-bin/lib/jline-2.12.jar /usr/hadoop/hadoop-2.7.3/share/hadoop/yarn/lib

编辑hive-site.xml**(master)**

vim /usr/hive/apache-hive-2.1.1-bin/conf/hive-site.xml

<configuration>
<property>
  <name>hive.metastore.warehouse.dir</name>
  <value>/user/hive_remote/warehouse</value>
</property>
<property>
  <name>hive.metastore.local</name>
  <value>false</value>
</property>
<property>
  <name>hive.metastore.uris</name>
  <value>thrift://slave1:9083</value>
</property>
</configuration>

配置环境变量**(master,slave1)**

vim /etc/profile

#set hive environment
export HIVE_HOME=/usr/hive/apache-hive-2.1.1-bin
export PATH=$PATH:$HIVE_HOME/bin

source /etc/profile

启动hive**(slave1)**

$HIVE_HOME/bin/hive --service metastore

启动hive**(master)**

$HIVE_HOME/bin/hive
__Simon_
关注
专栏目录
虚拟机集群搭建大数据环境
08-08
虚拟机集群搭建大数据环境，大数据实时计算开发storm开发
一.大数据集群搭建之VMware安装
weixin_43190986的博客
07-14 261
VMware 12 专业版永久许可证密钥：5A02H-AU243-TZJ49-GTC7K-3C61N 安装成功！
VMware Workstation Pro 16搭建CentOS8虚拟机集群
最新发布
2401_85112250的博客
06-24 1062
由于文案过于长，在此就不一一介绍了，这份Java后端架构进阶笔记内容包括：Java集合，JVM、Java并发、微服务、SpringNetty与 RPC 、网络、日志 、Zookeeper 、Kafka 、RabbitMQ 、Hbase 、MongoDB、Cassandra 、Java基础、负载均衡、数据库、一致性算法、Java算法、数据结构、分布式缓存等等知识详解。本知识体系适合于所有Java程序员学习，关于以上目录中的知识点都有详细的讲解及介绍，掌握该知识点的所有内容对你会有一个质的提升，
大数据集群环境搭建
02-06 522
安装可以参考这个老哥 http://blog.csdn.net/u012185296 也可以参考下面的安装cmd, 下载安装包 wget http://archive.cloudera.com/cdh5/parcels/5.12.1.3/CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel wget http://archive.cloudera.com/cdh5/
VMware搭建Hadoop集群 for Windows（完整详细，实测可用）
07-29 9217
hadoop集群搭建，完整详细。
从零开始的Hadoop大数据集群（伪）搭建，全免费VirtualBox虚拟机Ubuntu版，学习向，超详细---（三）
u014449560的博客
11-25 340
一、搭建hadoop集群     这节搭建hadoop，首先去hadoop官网下载hadoop-2.8.5的包。然后启动虚拟机，打开xshell，上传到hadoop01服务器上。     如图：         接着将其拷贝到/opt下。然后执行解压命令：     mv hadoop-2.8.5.tar.gz /opt     cd /opt     tar zxvf hadoop...
Linux大数据集群环境搭建步骤
我还起舞了的博客
04-09 1016
*Mac传送文件到虚拟机方法: 连接主机如下： 传输文件： scp 文件位置及文件名 root@IP地址：需要存储文件的位置 1.配置NAT网络 注意：将vm的网络适配器改成NAT模式 编辑 /etc/sysconfig/network-scripts/ifcfg-ens33 文件 修改为： BOOTPROTO=static ​ ONBOOT=yes ( 以下配置为自己电脑的IP或网关之类) 在末尾加入： IPADDR=192.168.46.101 （最后10
大数据集群的搭建以及开发
chenangle56的专栏
06-06 3257
大数据集群的搭建以及开发 目录 一． 搭建环境准备.......................................................................................................... 2 1.1 操作系统版本支持................................................
「大数据-0」虚拟机VMware安装、配置、使用、创建大数据集群教程_vmware搭建虚拟机集群
2401_84159688的博客
05-03 474
第一次开机需要安装虚拟机，这个过程大概要10分钟左右，开机成功后选择之前创建的账户，填写好密码就能成功进入虚拟机的操作系统界面中了。
从零开始的Hadoop大数据集群（伪）搭建，全免费VirtualBox虚拟机Ubuntu版，学习向，超详细---（一）
u014449560的博客
11-18 576
     在公司工作了一段时间了，大数据平台都是公司的运维人员搭建维护的，自己也想亲自搭建一套，纯粹为了学习和提高自己，也为了以后自己研究用。公司的环境不太适合乱来，自己的就可以随意玩了。     写这个也是为了记录自己学习的过程，同时给大家提供一个参考，想要学习大数据的也可以尝试。     本文所有内容均为原创，都是自己亲自尝试成功才敢发出来的，真实有效。     先说说环境吧：    ...
纯手动搭建大数据集群架构_记录013_搭建ElasticSearch7.8.0集群_安装kibana7.8.0_安装部署_搭建集群---大数据之Hadoop3.x工作笔记0174
添柴程序猿的专栏
03-14 276
去chown -R es:es /opt/module/es-cluster 进行把对应的es-cluster,给es用户。然后修改es-cluster文件夹的所有者是es用户,这里要注意,不知道为啥hadoop-3.1.3文件夹,也是属于。我们新搭建的是不需要data文件夹的,然后这个logs文件夹不要删除,但是去删除里面的所有的文件就可以了。然后我们每个节点,现在我们是120,121,122 这三台机器,这三台机器都需要解压去。
大数据集群安装与开发配置步骤详解
11-15
专业大数据集群安装配置步骤，涉及linux、spart,hadoop等
vmware 搭建虚拟机集群.docx
04-25
使用vm2012 + centos搭建台虚拟机集群，使用NAT模式，最终主机和虚拟机可以互相ping通，虚拟机也可以上外网.
VMware搭建集群环境
逃离人海的博客
10-22 1530
虚拟机搭建k8s环境
VM+CentOS+hadoop2.7搭建hadoop完全分布式集群
weixin_34357267的博客
07-25 351
写在前边的话： 最近找了一个云计算开发的工作，本以为来了会直接做一些敲代码，处理数据的活，没想到师父给了我一个课题“基于质量数据的大数据分析”，那么问题来了首先要做的就是搭建这样一个平台，毫无疑问，底层采用hadoop集群，在此之上，进行一些其他组件的安装和二次开发 hadoop伪分布部署参考：点击打开链接 hadoop单机版部署参考：点...
利用虚拟机快速搭建大数据学习平台
坚持才会胜利
11-16 1646
1.环境准备 win7、wmware、centos镜像 2.虚拟机镜像配置及其选择 3.安装centos
创建VMware集群
weixin_54051652的博客
07-04 2711
创建VMware集群
大数据虚机配置步骤
qust_gosuccess的博客
01-07 154
1.打开VM，设置 2．选择NAT模式并编辑IP地址 3．打开centOS 4 . 登录账户是root，密码是6个1，依次输入指令 5.重启后，再次输入账户密码登录，然后ifconfig ,然后再输入以下指令 6.效果入下图 完成啦！！！！！------------------------------------------------------------------...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值