智警杯&大数据技能竞赛决赛多人环境搭建万能脚本

最新推荐文章于 2023-06-15 11:33:15 发布
最新推荐文章于 2023-06-15 11:33:15 发布
阅读量2k 收藏 25
点赞数 3
分类专栏： 大数据 文章标签： hdfs mapreduce hadoop zookeeper 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46003360/article/details/117920261
版权

脚本执行步骤：

A : master, B : salve1, C : slave2, D : slave3
大数据脚本步骤

master

第一步：

mkdir /opt/soft

再传所有文件

0.sh >改yum的url

cd /etc/yum.repos.d/
rm -rf  *
wget http://172.16.47.240/bigdata/repofile/bigdata.repo
yum clean all
yum makecache

1.sh >改3行

systemctl stop firewalld

hostnamectl set-hostname master

echo '192.168.223.129 master master.root
192.168.223.130 slave1 slave1.root
192.168.223.131 slave2 slave2.root
192.168.223.132 slave3 slave3.root'>>/etc/hosts

echo 'NETWORK=yes
HOSTNAME=master'>/etc/sysconfig/network


timedatectl set-timezone Asia/Shanghai

ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
echo "TZ='Asia/Shanghai'; export TZ;">> /etc/profile
source /etc/profile

# cd /opt/soft
# rpm -ivh autogen-libopts-5.18-5.el7.x86_64.rpm
# rpm -ivh ntpdate-4.2.6p5-18.el7.centos.x86_64.rpm 
# rpm -ivh ntp-4.2.6p5-18.el7.centos.x86_64.rpm 
yum install -y ntp
echo 'SYNC_HWCLOCK=yes'>>/etc/sysconfig/ntpd

sed -i 's/^server/#&/'  /etc/ntp.conf
echo 'server  127.127.0.1
fudge   127.127.0.1   stratum 10'>>/etc/ntp.conf
/bin/systemctl restart ntpd.service


ssh-keygen -R slave1
ssh-keygen -R slave2
ssh-keygen -R slave3
/usr/sbin/sshd
ssh-keygen -t dsa -P '' -f /root/.ssh/id_dsa
cat /root/.ssh/id_dsa.pub >> /root/.ssh/authorized_keys
ssh-copy-id slave1

ssh-copy-id slave2

ssh-copy-id slave3



3.sh >

source /etc/profile
/usr/zookeeper/zookeeper-3.4.10/bin/zkServer.sh start
/usr/zookeeper/zookeeper-3.4.10/bin/zkServer.sh status



4h.sh >

mkdir -p /usr/hadoop
tar -zxvf /opt/soft/hadoop-2.7.3.tar.gz -C /usr/hadoop
cd /usr/hadoop/hadoop-2.7.3/etc/hadoop
echo 'export JAVA_HOME=/usr/java/jdk1.8.0_171'>>hadoop-env.sh
echo '<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
    <name>fs.default.name</name>
    <value>hdfs://master:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/hadoop/hadoop-2.7.3/hdfs/tmp</value>
<description>A base for other temporary directories.</description>
</property>
<property>
    <name>io.file.buffer.size</name>
    <value>131072</value>
</property>
<property>
    <name>fs.checkpoint.period</name>
    <value>60</value>
</property>
<property>
    <name>fs.checkpoint.size</name>
    <value>67108864</value>
</property>
</configuration>'>core-site.xml
echo '<?xml version="1.0"?>
<configuration>
<property>
    <name>yarn.resourcemanager.address</name>
    <value>master:18040</value>
</property>
<property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>master:18030</value>
</property>
<property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>master:18088</value>
</property>
<property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>master:18025</value>
</property>
<property>
    <name>yarn.resourcemanager.admin.address</name>
    <value>master:18141</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<!-- Site specific YARN configuration properties -->
</configuration>'>yarn-site.xml
echo 'slave1
slave2
slave3'>slaves
echo 'master'>master
echo '<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
    <name>dfs.replication</name>
    <value>2</value>
</property>
<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/usr/hadoop/hadoop-2.7.3/hdfs/name</value>
    <final>true</final>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/usr/hadoop/hadoop-2.7.3/hdfs/data</value>
    <final>true</final>
</property>
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>master:9001</value>
</property>
<property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
</property>
<property>
    <name>dfs.permissions</name>
    <value>false</value>
</property>
</configuration>'>hdfs-site.xml
cp mapred-site.xml.template mapred-site.xml
echo '<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
</configuration>'>mapred-site.xml



6h.sh >

hadoop namenode -format
/usr/hadoop/hadoop-2.7.3/sbin/start-all.sh
# /usr/hadoop/hadoop-2.7.3/sbin/start-dfs.sh

# /usr/hadoop/hadoop-2.7.3/sbin/start-yarn.sh




7hi.sh >

mkdir -p /usr/hive
tar -zxvf /opt/soft/apache-hive-2.1.1-bin.tar.gz -C /usr/hive/
echo 'export HIVE_HOME=/usr/hive/apache-hive-2.1.1-bin
export PATH=$PATH:$HIVE_HOME/bin'>>/etc/profile
source /etc/profile
#需要手动改url,把#去掉
#wget -P /usr/hive/apache-hive-2.1.1-bin/lib http://172.16.47.240/bigdata/bigdata_tar/mysql-connector-java-5.1.47-bin.jar

cd /usr/hive/apache-hive-2.1.1-bin/conf
cp hive-default.xml.template hive-site.xml
echo '<configuration>
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive_remote/warehouse</value>
</property>
<property>
<name>hive.metastore.local</name>
<value>false</value>
</property>
<property>
<name>javax.jdo.option.ConnwectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
</property>
<property>
<name>hive.metastore.schema.verification</name>
<value>false</value>
</property>
<property>
<name>datanucleus.schema.autoCreateAll</name>
<value>true</value>
</property>
<property>
<name>hive.metastore.uris</name>
<value>thrift://slave1:9083</value>
</property>
</configuration>'>hive-site.xml
cp hive-env.sh.template hive-env.sh
echo '#Set HADOOP_HOME to point to a specific hadoop install directory
HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
# Hive Configuration Directory can be controlled by:
export HIVE_CONF_DIR=/usr/hive/apache-hive-2.1.1-bin/conf' > hive-env.sh



cp /usr/hive/apache-hive-2.1.1-bin/lib/jline-2.12.jar /usr/hadoop/hadoop-2.7.3/share/hadoop/yarn/lib/
cp /opt/soft/mysql-connector-java-5.1.47-bin.jar /usr/hive/apache-hive-2.1.1-bin/lib

#打开slave1的metastore后启动hive:

hive





####HA

#1
cd /usr/hadoop/hadoop-2.7.3/sbin/
/usr/hadoop/hadoop-2.7.3/sbin/stop-all.sh

rm -rf /usr/hadoop



#2
mkdir -p /usr/hadoop
tar -zxvf /opt/soft/hadoop-2.7.3.tar.gz -C /usr/hadoop

echo 'export JAVA_HOME=/usr/java/jdk1.8.0_171'>>/usr/hadoop/hadoop-2.7.3/etc/hadoop/hadoop-env.sh

echo '<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
    <name>dfs.nameservices</name>
    <value>qingjiao</value>
</property>
<property>
    <name>fs.default.name</name>
    <value>hdfs://qingjiao</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/hadoop/hadoop-2.7.3/hdfs/tmp</value>
</property>
<property>
    <name>io.file.buffer.size</name>
    <value>131072</value>
</property>
<property>
    <name>fs.checkpoint.period</name>
    <value>60</value>
</property>
<property>
    <name>fs.checkpoint.size</name>
    <value>67108864</value>
</property>
<property>
	<name>ha.zookeeper.quorum</name>
	<value>master:2181,slave1:2181,slave2:2181,slave3:2181</value>
</property>
</configuration>'>/usr/hadoop/hadoop-2.7.3/etc/hadoop/core-site.xml

echo 'slave1
slave2
slave3'>/usr/hadoop/hadoop-2.7.3/etc/hadoop/slaves

echo '<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
	<name>dfs.nameservices</name>
	<value>qingjiao</value>
</property>
<property>
	<name>dfs.ha.namenodes.qingjiao</name>
	<value>nn1,nn2</value>
</property>
<property>
	<name>dfs.namenode.rpc-address.qingjiao.nn1</name>
	<value>master:8020</value>
</property>
<property>
	<name>dfs.namenode.rpc-address.qingjiao.nn2</name>
	<value>slave3:8020</value>
</property>
<property>
	<name>dfs.namenode.http-address.qingjiao.nn1</name>
	<value>master:50070</value>
</property>
<property>
	<name>dfs.namenode.http-address.qingjiao.nn2</name>
	<value>slave3:50070</value>
</property>
<property>
	<name>dfs.namenode.shared.edits.dir</name>
	<value>qjournal://master:8485;slave1:8485;slave2:8485;slave3:8485/qingjiao</value>
</property>
<property>
	<name>dfs.journalnode.edits.dir</name>
	<value>/opt/modules/hadoop-2.7.3/tmp/data/dfs/jn</value>
</property>
<property>
	<name>dfs.client.failover.proxy.provider.qingjiao</name>
	<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
	<name>dfs.ha.fencing.methods</name>
	<value>sshfence</value>
	<value>shell(/bin/true)</value>
</property>
<property>
	<name>dfs.ha.fencing.ssh.private-key-files</name>
	<value>/root/.ssh/id_dsa</value>
</property>
<property>
	<name>dfs.ha.automatic-failover.enabled</name>
	<value>true</value>
</property>
<property>
    <name>dfs.replication</name>
    <value>3</value>
</property>
<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/usr/hadoop/hadoop-2.7.3/hdfs/name</value>
    <final>true</final>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/usr/hadoop/hadoop-2.7.3/hdfs/data</value>
    <final>true</final>
</property>
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>master:9001</value>
</property>
<property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
</property>
<property>
    <name>dfs.permissions</name>
    <value>false</value>
</property>
</configuration>'>/usr/hadoop/hadoop-2.7.3/etc/hadoop/hdfs-site.xml

echo '<?xml version="1.0"?>
<configuration>
<property>
    <name>yarn.resourcemanager.ha.enabled</name>
    <value>true</value>
</property>
<property>
    <name>yarn.resourcemanager.cluster-id</name>
    <value>hongya</value>
</property>
<property>
    <name>yarn.resourcemanager.ha.rm-ids</name>
    <value>rm1,rm2</value>
</property>
<property> 
    <name>yarn.resourcemanager.ha.automatic-failover.enabled</name> 
    <value>true</value> 
</property>
<property>
    <name>yarn.resourcemanager.hostname.rm1</name>
    <value>slave1</value>
</property>
<property>
    <name>yarn.resourcemanager.hostname.rm2</name>
    <value>slave2</value>
</property>
<property>
    <name>yarn.resourcemanager.recovery.enabled</name> 
    <value>true</value> 
</property>
<property>
    <name>yarn.resourcemanager.zk-address</name>
    <value>master:2181,slave1:2181,slave2:2181,slave3:2181</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<!-- Site specific YARN configuration properties -->
</configuration>'>/usr/hadoop/hadoop-2.7.3/etc/hadoop/yarn-site.xml

cp /usr/hadoop/hadoop-2.7.3/etc/hadoop/mapred-site.xml.template /usr/hadoop/hadoop-2.7.3/etc/hadoop/mapred-site.xml
echo '<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
</configuration>'>/usr/hadoop/hadoop-2.7.3/etc/hadoop/mapred-site.xml

rm -rf /usr/hadoop/hadoop-2.7.3/share/docs



#4
cd /usr/hadoop/hadoop-2.7.3/sbin/
sh hadoop-daemon.sh start journalnode

#5
hadoop namenode -format
sh hadoop-daemon.sh start namenode

#7看要求：是要master还是slave3
#/usr/hadoop/hadoop-2.7.3/bin/hdfs zkfc -formatZK

#8
/usr/hadoop/hadoop-2.7.3/sbin/start-all.sh

salve1

第一步：

mkdir /opt/soft

mysql两个文件进/opt/soft

0.sh >改yum的url

cd /etc/yum.repos.d/
rm -rf  *
wget http://172.16.47.240/bigdata/repofile/bigdata.repo
yum clean all
yum makecache

s1.sh >改3行

systemctl stop firewalld

hostnamectl set-hostname slave1

echo '192.168.223.129 master master.root
192.168.223.130 slave1 slave1.root
192.168.223.131 slave2 slave2.root
192.168.223.132 slave3 slave3.root'>>/etc/hosts

echo 'NETWORK=yes
HOSTNAME=master'>>/etc/sysconfig/network


timedatectl set-timezone Asia/Shanghai

ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
echo "TZ='Asia/Shanghai'; export TZ;">> /etc/profile
source /etc/profile


#配置ssh

ssh-keygen -R slave1
ssh-keygen -R slave2
ssh-keygen -R slave3
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
ssh-copy-id master

ssh-copy-id slave2

ssh-copy-id slave3



1j.sh >改5行

echo '#set JAVA environment
export JAVA_HOME=/usr/java/jdk1.8.0_171
export CLASSPATH=$JAVA_HOME/lib/
export PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME CLASSPATH
#set zookeeper environment
export ZOOKEEPER_HOME=/usr/zookeeper/zookeeper-3.4.10
PATH=$PATH:$ZOOKEEPER_HOME／bin
#set hadoop enviroment
export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
export CLASSPATH=$CLASSPATH:$HADOOP_HOME/lib
export PATH=$PATH:$HADOOP_HOME/bin'>>/etc/profile
mkdir -p /usr/java
tar -zxvf /opt/soft/jdk-8u171-linux-x64.tar.gz -C /usr/java

2s1.sh >改1行

scp -r master:/usr/java /usr
scp master:/etc/profile /etc
scp -r master:/usr/zookeeper /usr
cd /usr/zookeeper/zookeeper-3.4.10/zkdata
echo '2'>myid
source /etc/profile

3s2.sh >

/usr/zookeeper/zookeeper-3.4.10/bin/zkServer.sh start
/usr/zookeeper/zookeeper-3.4.10/bin/zkServer.sh status



5s1.sh >

scp -r master:/usr/hadoop /usr



8his1.sh >改2行

scp -r master:/usr/hive /usr/
scp master:/etc/profile /etc
echo '<configuration>
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive_remote/warehouse</value>
</property>
<property>
<name>hive.metastore.local</name>
<value>false</value>
</property>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://slave2:3306/hive?
createDatabaseIfNotExist=true&amp;useSSL=false</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>qingjiao</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
</property>
<property>
<name>hive.metastore.schema.verification</name>
<value>false</value>
</property>
<property>
<name>datanucleus.schema.autoCreateAll</name>
<value>true</value>
</property>
<property>
<name>hive.exec.scratchdir</name>
<value>/usr/hive/hive_remote/tmp</value>
</property>
<property>
<name>hive.querylog.location</name>
<value>/usr/hive/hive_remote/logs</value>
</property>
</configuration>'>/usr/hive/apache-hive-2.1.1-bin/conf/hive-site.xml




cp /usr/hive/apache-hive-2.1.1-bin/lib/jline-2.12.jar /usr/hadoop/hadoop-2.7.3/share/hadoop/yarn/lib/
cp /opt/soft/mysql-connector-java-5.1.47-bin.jar /usr/hive/apache-hive-2.1.1-bin/lib



#启动
#!!!需要时再启动hive metastore(metastore启动后就不能再操作slave1了，退出按eixt;)
 >改1行
#按ctrl+z退出僵持加界面
/usr/hive/apache-hive-2.1.1-bin/bin/hive --service metastore





####HA

#1
rm -rf /usr/hadoop

#3
scp -r master:/usr/hadoop /usr

#4
cd /usr/hadoop/hadoop-2.7.3/sbin/
sh hadoop-daemon.sh start journalnode

#8
sh yarn-daemon.sh start resourcemanager

slave2

第一步：
传ntp三个文件，mysql两个文件进/opt/soft

mkdir /opt/soft

0.sh >改yum的url

cd /etc/yum.repos.d/
rm -rf  *
wget http://172.16.47.240/bigdata/repofile/bigdata.repo
yum clean all
yum makecache



s2.sh >改3行

systemctl stop firewalld

hostnamectl set-hostname slave2

echo '192.168.223.129 master master.root
192.168.223.130 slave1 slave1.root
192.168.223.131 slave2 slave2.root
192.168.223.132 slave3 slave3.root'>>/etc/hosts

echo 'NETWORK=yes
HOSTNAME=master'>>/etc/sysconfig/network

timedatectl set-timezone Asia/Shanghai

ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
echo "TZ='Asia/Shanghai'; export TZ;">> /etc/profile
source /etc/profile


ssh-keygen -R slave1
ssh-keygen -R slave2
ssh-keygen -R slave3
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
ssh-copy-id master

ssh-copy-id slave1

ssh-copy-id slave3




1z.sh >改4行

mkdir -p /usr/zookeeper
tar -zxvf /opt/soft/zookeeper-3.4.10.tar.gz -C /usr/zookeeper
cd /usr/zookeeper/zookeeper-3.4.10/conf
cp zoo_sample.cfg zoo.cfg
echo 'tick=2000
initLimit=10
syncLimit=5
dataDir=/usr/zookeeper/zookeeper-3.4.10/zkdata
clientPort=2181
dataLogDir=/usr/zookeeper/zookeeper-3.4.10/zkdatalog
peerType=observer
server.1=master:2888:3888:observer
server.2=slave1:2888:3888
server.3=slave2:2888:3888
server.4=slave3:2888:3888'>zoo.cfg
cd ..
mkdir zkdata
mkdir zkdatalog
cd zkdata
echo '1'>myid



2s2.sh >改1行

scp -r master:/usr/java /usr

scp master:/etc/profile /etc
scp -r master:/usr/zookeeper /usr
cd /usr/zookeeper/zookeeper-3.4.10/zkdata
echo '3'>myid
source /etc/profile


3s2.sh >

/usr/zookeeper/zookeeper-3.4.10/bin/zkServer.sh start
/usr/zookeeper/zookeeper-3.4.10/bin/zkServer.sh status


5s2.sh >

scp -r master:/usr/hadoop /usr

#如果已经有mysql了，则直接设置
6mysql.sh 

mysql -u root -p
#之后直接按enter进入mysql界面，复制1qmysql.sh

1qmysql.sh >

set global validate_password_policy = 0;
set global validate_password_length = 4;
alter user 'root'@'localhost' identified by '123456';
create user 'qingjiao'@'%' identified by '123456';
grant all privileges on *.* to 'qingjiao'@'%' identified by '123456';
flush privileges;

create database hive;
exit;


####安装mysql,如果一开始没有的话！！！！！
###yum安装mysql

6_OnLine.sh >
#安装
yum -y install mysql-community-server

systemctl restart mysqld


cat /var/log/mysqld.log | grep 'password'

mysql -u root -p


###本地安装mysql

# 1q1.sh >改3行

# whereis mysql
# rm -rf /usr/lib64/mysql /usr/share/mysql
# groupadd mysql
# useradd -r -g mysql mysql

# cd /opt/soft
# tar xzvf mysql-5.7.24-linux-glibc2.12-x86_64.tar.gz
# mv mysql-5.7.24-linux-glibc2.12-x86_64 /usr/local/
# cd /usr/local/
# mv mysql-5.7.24-linux-glibc2.12-x86_64 mysql
# mkdir /usr/local/mysql/data

# chown -R mysql:mysql /usr/local/mysql
# chmod -R 755 /usr/local/mysql
# cd /usr/local/mysql/bin

# ./mysqld --initialize-insecure --user=mysql --datadir=/usr/local/mysql/data --basedir=/usr/local/mysql

# echo '[mysqld]
# datadir=/usr/local/mysql/data
# port = 3306
# sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES
# symbolic-links=0
# max_connections=400
# innodb_file_per_table=1
# lower_case_table_names=1
# [mysqld_safe]
# log-error=/var/log/mariadb/mariadb.log
# pid-file=/var/run/mariadb/mariadb.pid' > /etc/my.cnf
# mkdir /var/log/mariadb
# touch /var/log/mariadb/mariadb.log
# chown -R mysql:mysql /var/log/mariadb/


# /usr/local/mysql/support-files/mysql.server start
# ln -s /usr/local/mysql/support-files/mysql.server /etc/init.d/mysql
# ln -s /usr/local/mysql/bin/mysql /usr/bin/mysql
# service mysql restart





####HA

#1
rm -rf /usr/hadoop

#3
scp -r master:/usr/hadoop /usr

#4
cd /usr/hadoop/hadoop-2.7.3/sbin/
sh hadoop-daemon.sh start journalnode

#8
sh yarn-daemon.sh start resourcemanager

slave3

第一步：

mkdir /opt/soft

传ntp三个文件，mysql两个文件进/opt/soft

0.sh >改yum的url

cd /etc/yum.repos.d/
rm -rf  *
wget http://172.16.47.240/bigdata/repofile/bigdata.repo
yum clean all
yum makecache



s3.sh >改3行

systemctl stop firewalld

hostnamectl set-hostname slave1

echo '192.168.223.129 master master.root
192.168.223.130 slave1 slave1.root
192.168.223.131 slave2 slave2.root
192.168.223.132 slave3 slave3.root'>>/etc/hosts

echo 'NETWORK=yes
HOSTNAME=master'>>/etc/sysconfig/network


timedatectl set-timezone Asia/Shanghai

ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
echo "TZ='Asia/Shanghai'; export TZ;">> /etc/profile
source /etc/profile

cd /opt/soft
rpm -ivh autogen-libopts-5.18-5.el7.x86_64.rpm
rpm -ivh ntpdate-4.2.6p5-18.el7.centos.x86_64.rpm 
rpm -ivh ntp-4.2.6p5-18.el7.centos.x86_64.rpm 
yum install -y ntp
echo 'SYNC_HWCLOCK=yes'>>/etc/sysconfig/ntpd

sed -i 's/^server/#&/'  /etc/ntp.conf
echo 'server  master
fudge   master   stratum 3'>>/etc/ntp.conf

echo '*/10 * * * * /usr/sbin/ntpdate master'>/var/spool/cron/root
crontab -l

/bin/systemctl restart ntpd.service

ntpdate master

#配置ssh

ssh-keygen -R slave1
ssh-keygen -R slave2
ssh-keygen -R slave3
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
ssh-copy-id master

ssh-copy-id slave1

ssh-copy-id slave2




2s3.sh >

scp -r master:/usr/java /usr

scp master:/etc/profile /etc
scp -r master:/usr/zookeeper /usr
cd /usr/zookeeper/zookeeper-3.4.10/zkdata
echo '4'>myid
source /etc/profile


3s3.sh >

/usr/zookeeper/zookeeper-3.4.10/bin/zkServer.sh start
/usr/zookeeper/zookeeper-3.4.10/bin/zkServer.sh status



5s3.sh >

scp -r master:/usr/hadoop /usr



####HA

#1
rm -rf /usr/hadoop

#3
scp -r master:/usr/hadoop /usr

#4
cd /usr/hadoop/hadoop-2.7.3/sbin/
sh hadoop-daemon.sh start journalnode

#6
hadoop namenode -bootstrapStandby

#7
/usr/hadoop/hadoop-2.7.3/bin/hdfs zkfc -formatZK

大伙加油！( •̀ ω •́ )✧

TurkeyMan
关注
  • 3
    点赞
  • 踩
  • 25
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 3
    评论
专栏目录
大数据环境脚本一键安装单机版 （持续更新中）
欢迎大神交流讨论
12-10 1605
#!/bin/bash #安装必要的软件，持续填充 setup_software(){ yum -y install vim yum -y install tree yum -y install lrzsz } #修改系统名称 同时修改hosts文件 modify_sysname(){ hostnamectl set-hostname $1 #先获取hosts文件中对应的内容如果没发现对应的内容才能添加这个地址 cfg=`cat /etc/hosts | grep $2 | grep .
Windows PC上创建大数据职业技能竞赛实验环境之五--hadoop、hive和spark编程
liu9ang的博客
04-14 860
前述，我们在Windows WSL上，通过Docker容器技术实现了Hadoop集群环境，现在看看利用现有集群环境进行编程开发。 1 设置容器开启时自运行SSH服务 参照docker中安装Ubuntu无法在启动时运行ssh服务的解决方案 - llCoding - 博客园 (cnblogs.com)，在我们的hadoop-spark集群镜像中添加如下内容： vim /root/startup_run.sh chmod +x /root/startup_run.sh 编写startup_run.sh
智警杯半决赛培训
m0_63563528的博客
06-09 356
1.创建Project数据库：create database if not exists project;初始化hive：schematool -dbType mysql -initSchema。创建对应的hive数据库：create database hive;2.格式化hdfs：hadoop namenode -format。1.改hosts文件：vim /etc/hosts。3.启动hadoop集群：start-all.sh。3.解压hadoop，配置环境变量【1.安装java，配置环境变量【
关于2022“智警杯”一道SQL题目的思考和探讨
m0_58875569的博客
11-04 1372
关于2022年“智警杯”公安系统大数据技能竞赛中一道考察SQL水平的题目的一些复盘和探讨，也算是留一个纪念，应当是我本科阶段最后一次参加智警杯的比赛了。欢迎大家探讨交流，批评指正。
智警杯题解
weixin_51943950的博客
06-30 1451
智警杯一些脚本
智警杯&大数据技能竞赛sql分析脚本汇总
7ruth0hn的博客
06-15 1790
####特殊： #设置hive本地模式： set hive.exec.mode.local.auto=true; #加速hive set hive.execution.engine=tez; #扩大内存(最好不用) set mapreduce.map.memory.mb=10150; set mapreduce.map.java.opts=-Xmx6144m; set mapreduce.reduce.memory.mb=10150; set mapreduce.reduce.java.opts=-
大数据平台使用搭建脚本一键安装OS
09-30
本文给大家分享的是如何在大数据平台使用脚本来实现一键安装定制OS，并给大家附上了脚本源码，有需要的小伙伴可以参考下
镭神智能激光雷达环境搭建脚本-2022-09-28
09-28
镭神智能激光雷达环境搭建脚本-2022-09-28
镭神智能激光雷达环境搭建脚本-2022-09-24
09-24
镭神智能激光雷达环境搭建脚本-2022-09-24
大数据学习所需基本知识以及搭建Hadoop大数据环境过程.docx
08-26
1.简单介绍了大数据及其框架 2.Linux系统安装及环境准备 3.Linux系统克隆及常用命令 4.Linux系统的软件安装方式介绍 5.VM虚拟机下安装Centos 6.部署hadoop（独立模式） 7.伪分布模式 8.全分布模式 9.一键启动脚本...
智警杯初赛——搭建环境
lulu001128的博客
05-08 601
环境配置过程
智警杯实训excel
lulu001128的博客
06-09 278
先用wps，excel进行分析，在用以上命令保存在01.txt中。
2023年智警杯MySQL比赛部分内容(一）
最新发布
m0_61850812的博客
06-15 792
1.第一步启动数据库。2.查询某一列的数据。
智警杯半决赛知识点
lulu001128的博客
06-08 2051
知识点
复盘2022智警杯py部分
m0_69676459的博客
05-12 1732
前段时间打比赛时py题没解出来，心有不甘。 题目是提取csv文件中的信息并输出文件中月份在每一个年份中出现的次数。 数据量非常庞大------>借助py中文件的打开与修改功能试试。 输出正确结果。又弄懂了一道不会的题目。o(*￣▽￣*)ブ ...
智警杯初赛
m0_64180167的博客
05-02 245
三台机器的命令。
2022.04.27智警杯CIPUC校内选拔赛-MySQL
m0_58875569的博客
04-27 4529
题目要求： 使用SQL进行数据分析 1、 SQL数据分析(28/30分) 考核条件如下： (1) 环境中已经安装mysql5.7，用户名root，密码123456，开启数据库服务 在Linux命令行中输入以下命令： service mysqld start 在做题之前，还需要做一些准备工作，即使用navicat连接竞赛方提供的mysql数据库，并按照题目要求导入数据表并对导入的表进行相关处理。 ①使用navicat连接mysql 配置“常规”： 配置“SSH”： 配置完成..
智警杯半决赛赛前培训
lulu001128的博客
06-04 377
知识点
大数据校内赛（一点点总结）
m0_64417923的博客
04-28 802
虽然智警杯是真的不太会，但还是总结点心得吧=） 一，虚拟环境链接 有两种方法， （1）是通过Xshell工具链接虚拟环境 （2）是通过VScode Remote-ssh 连接虚拟环境 先是第一种，通过Xshell比较方便快捷 1,到官网下载XShell官网下载软件安装 2， ...
hive 搭建
05-29
搭建Hive需要一定的技术储备和资源。以下是一些基本的步骤： 1. 安装Java和Hadoop：Hive是基于Hadoop和Java的，因此您需要先安装Java和Hadoop。确保您的Hadoop集群已正确配置并且运行正常。 2. 下载和安装Hive：您可以从Hive官方网站或Apache官方网站下载Hive二进制文件，然后解压缩并安装Hive。 3. 配置Hive：在Hive安装目录下，您需要编辑`hive-site.xml`文件来配置Hive的参数，例如Hadoop的路径、JDBC驱动程序等。 4. 启动Hive服务：在命令行中运行`hive`命令来启动Hive服务。在启动Hive之前，您需要确保Hadoop集群已经启动。 5. 创建Hive表：您可以使用HiveQL语言创建表，类似于SQL语言。例如，创建一个名为`employee`的表，其中包含`id`、`name`和`age`三列，可以使用以下命令： ```sql CREATE TABLE employee ( id INT, name STRING, age INT ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE; ``` 6. 加载数据：您可以使用`LOAD DATA`命令将数据加载到Hive表中。例如，将一个名为`employee_data.txt`的文件加载到`employee`表中，可以使用以下命令： ```sql LOAD DATA LOCAL INPATH '/path/to/employee_data.txt' OVERWRITE INTO TABLE employee; ``` 7. 查询数据：使用HiveQL语言，您可以查询Hive表中的数据。例如，查询所有年龄大于30岁的员工，可以使用以下命令： ```sql SELECT * FROM employee WHERE age > 30; ``` 请注意，这只是一个简要的概述，搭建Hive需要更详细的步骤和技术细节。如果您没有足够的技术储备，可以寻求专业人士的帮助。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

TurkeyMan

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值