智警杯题解

最新推荐文章于 2024-12-04 17:38:05 发布
最新推荐文章于 2024-12-04 17:38:05 发布
阅读量1.8k 收藏 25
点赞数 2
文章标签： 大数据 hadoop spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_51943950/article/details/125538450
版权
本文详述了一个集群的配置过程，包括设置主机名、更换本地源、安装和配置Hadoop、Zookeeper、Hive及MySQL。在Hadoop中实现了高可用性，通过SSH配置了节点间的免密登录，并详细说明了各个组件的配置文件内容和数据存储路径。此外，还涵盖了JDK、Zookeeper集群、Hadoop HA的配置，以及MySQL数据库的安装和权限设置。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

http://home.match2020.honyaa.com.cn/


#配置hostname
#
#master
hostnamectl set-hostname master
#slave1
hostnamectl set-hostname slave1
#slave2
hostnamectl set-hostname slave2
#slave3
hostnamectl set-hostname slave3


#更换本地源
cd /etc/yum.repos.d/
rm -rf  *
wget http://172.16.47.240/bigdata/repofile/bigdata.repo
yum clean all
yum makecache

#master
cd /tmp
wget http://172.16.47.240/bigdata/bigdata_tar/jdk-8u171-linux-x64.tar.gz
wget http://172.16.47.240/bigdata/bigdata_tar/zookeeper-3.4.10.tar.gz
wget http://172.16.47.240/bigdata/bigdata_tar/hadoop-2.7.3.tar.gz
wget http://172.16.47.240/bigdata/bigdata_tar/apache-hive-2.1.1-bin.tar.gz

#slave1
cd /tmp
wget http://172.16.47.240/bigdata/bigdata_tar/mysql-connector-java-5.1.47-bin.jar


#关闭防火墙（all）
systemctl stop firewalld


#配置hosts(all)
echo '172.18.5.238 master master.root
172.18.5.241 slave1 slave1.root
172.18.5.242 slave2 slave2.root
172.18.5.240 slave3 slave3.root'>>/etc/hosts

#
echo '192.168.100.30 master master.root
192.168.100.31 slave1 slave1.root
192.168.100.32 slave2 slave2.root
192.168.100.33 slave3 slave3.root'>>/etc/hosts


#配置免密ssh(all)
# ssh-keygen -t rsa

rm -rf /root/.ssh/*
ssh-keygen -t rsa -P '' -f /root/.ssh/id_rsa
cat /root/.ssh/id_rsa.pub > /root/.ssh/authorized_keys

#master
ssh-copy-id master
ssh-copy-id slave1
ssh-copy-id slave2

ssh-copy-id slave3
#配置ntp(比赛时可先跳过，留到高可用前配置)

#时区设置（all）
timedatectl set-timezone Asia/Shanghai
ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
echo "TZ='Asia/Shanghai'; export TZ;">> /etc/profile
source /etc/profile

#安装ntp服务(all)
yum -y install ntp
echo 'SYNC_HWCLOCK=yes'>>/etc/sysconfig/ntpd

#master
sed -i 's/^server/#&/'  /etc/ntp.conf
echo 'server 127.127.1.0
fudge 127.127.1.0 stratum 10
restrict 192.168.100.0 mask 255.255.255.0 nomodify notrap'>>/etc/ntp.conf
/bin/systemctl restart ntpd.service

#slave1和slave2和slave3
sed -i 's/^server/#&/'  /etc/ntp.conf
echo 'server 192.168.100.30
fudge 192.168.100.30 stratum 10
restrict 192.168.100.0 mask 255.255.255.0 nomodify notrap'>>/etc/ntp.conf
echo '*/10 * * * * /usr/sbin/ntpdate master'>/var/spool/cron/root
crontab -l
/bin/systemctl restart ntpd.service
ntpdate master

#all
ntpq -p

#配置环境变量(all)
echo '
#set java environment
export JAVA_HOME=/usr/java/jdk1.8.0_171
export PATH=$JAVA_HOME/bin:$PATH
#set zookeeper environment
export ZOOKEEPER_HOME=/usr/zookeeper/zookeeper-3.4.10
export PATH=$PATH:$ZOOKEEPER_HOME/bin
#set hadoop enviroment
export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3/
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
'>>/etc/profile
source /etc/profile


#至此，可以先把xshell中的slave3会话先关了，防止误操作


#master
#配置jdk
mkdir /usr/java
tar -zxvf /tmp/jdk-8u171-linux-x64.tar.gz -C /usr/java/

scp -r /usr/java slave1:/usr/
scp -r /usr/java slave2:/usr/

scp -r /usr/java slave3:/usr/
#验证java配置(master slave1 slave2)
java -version


#配置zookeeper
#master

mkdir /usr/zookeeper
tar -zxvf /tmp/zookeeper-3.4.10.tar.gz -C /usr/zookeeper
mkdir -p /usr/zookeeper/zookeeper-3.4.10/zkdata
mkdir -p /usr/zookeeper/zookeeper-3.4.10/zkdatalog
echo 'tickTime=2000
initLimit=10
syncLimit=5
dataDir=/usr/zookeeper/zookeeper-3.4.10/zkdata
clientPort=2181
dataLogDir=/usr/zookeeper/zookeeper-3.4.10/zkdatalog
server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888'>/usr/zookeeper/zookeeper-3.4.10/conf/zoo.cfg
echo '1'>/usr/zookeeper/zookeeper-3.4.10/zkdata/myid

scp -r /usr/zookeeper slave1:/usr/
scp -r /usr/zookeeper slave2:/usr/

#slave1
echo '2'>/usr/zookeeper/zookeeper-3.4.10/zkdata/myid

#slave2
echo '3'>/usr/zookeeper/zookeeper-3.4.10/zkdata/myid

echo '4'>/usr/zookeeper/zookeeper-3.4.10/zkdata/myid
#master slave1 slave2
/usr/zookeeper/zookeeper-3.4.10/bin/zkServer.sh start
/usr/zookeeper/zookeeper-3.4.10/bin/zkServer.sh stop
/usr/zookeeper/zookeeper-3.4.10/bin/zkServer.sh status


#配置hadoop

mkdir -p /usr/hadoop
tar -zxvf /tmp/hadoop-2.7.3.tar.gz -C /usr/hadoop
echo 'export JAVA_HOME=/usr/java/jdk1.8.0_171'>>/usr/hadoop/hadoop-2.7.3/etc/hadoop/hadoop-env.sh
echo '<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
                                            <property>
                                                <name>fs.default.name</name>
                                                <value>hdfs://master:9000</value>
                                            </property>
                                            <property>
                                                <name>hadoop.tmp.dir</name>
                                                <value>/usr/hadoop/hadoop-2.7.3/hdfs/tmp</value>
                                            <description>A base for other temporary directories.</description>
                                            </property>
<property>
    <name>io.file.buffer.size</name>
    <value>131072</value>
</property>
                                            <property>
                                                <name>fs.checkpoint.period</name>
                                                <value>60</value>
                                            </property>
<property>
    <name>fs.checkpoint.size</name>
    <value>67108864</value>
</property>
</configuration>'>/usr/hadoop/hadoop-2.7.3/etc/hadoop/core-site.xml
echo '<?xml version="1.0"?>
<configuration>
                                                                <property>
                                                                    <name>yarn.resourcemanager.address</name>
                                                                    <value>master:18040</value>
                                                                </property>
                                                                <property>
                                                                    <name>yarn.resourcemanager.scheduler.address</name>
                                                                    <value>master:18030</value>
                                                                </property>
                                                                <property>
                                                                    <name>yarn.resourcemanager.webapp.address</name>
                                                                    <value>master:18088</value>
                                                                </property>
                                                                <property>
                                                                    <name>yarn.resourcemanager.resource-tracker.address</name>
                                                                    <value>master:18025</value>
                                                                </property>
                                                                <property>
                                                                    <name>yarn.resourcemanager.admin.address</name>
                                                                    <value>master:18141</value>
                                                                </property>
                                                                <property>
                                                                    <name>yarn.nodemanager.aux-services</name>
                                                                    <value>mapreduce_shuffle</value>
                                                                </property>
<property>
    <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<!-- Site specific YARN configuration properties -->
</configuration>'>/usr/hadoop/hadoop-2.7.3/etc/hadoop/yarn-site.xml
                                                                    echo 'slave1
                                                                    slave2'>/usr/hadoop/hadoop-2.7.3/etc/hadoop/slaves
                                                                    echo 'master'>/usr/hadoop/hadoop-2.7.3/etc/hadoop/master
echo '<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
                                                            <property>
                                                                <name>dfs.replication</name>
                                                                <value>3</value>
                                                            </property>
                                                            <property>
                                                                <name>dfs.namenode.name.dir</name>
                                                                <value>file:/usr/hadoop/hadoop-2.7.3/hdfs/name</value>
                                                                <final>true</final>
                                                            </property>
                                                            <property>
                                                                <name>dfs.datanode.data.dir</name>
                                                                <value>file:/usr/hadoop/hadoop-2.7.3/hdfs/data</value>
                                                                <final>true</final>
                                                            </property>
                                                            <property>
                                                                <name>dfs.namenode.secondary.http-address</name>
                                                                <value>master:9001</value>
                                                            </property>
                                                            <property>
                                                                <name>dfs.webhdfs.enabled</name>
                                                                <value>true</value>
                                                            </property>
<property>
    <name>dfs.permissions</name>
    <value>false</value>
</property>
</configuration>'>/usr/hadoop/hadoop-2.7.3/etc/hadoop/hdfs-site.xml
cp /usr/hadoop/hadoop-2.7.3/etc/hadoop/mapred-site.xml.template /usr/hadoop/hadoop-2.7.3/etc/hadoop/mapred-site.xml
echo '<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
                                                                        <property>
                                                                            <name>mapreduce.framework.name</name>
                                                                            <value>yarn</value>
                                                                        </property>
</configuration>'>/usr/hadoop/hadoop-2.7.3/etc/hadoop/mapred-site.xml
rm -rf /usr/hadoop/hadoop-2.7.3/share/doc

scp -r /usr/hadoop slave1:/usr/
scp -r /usr/hadoop slave2:/usr/

hadoop namenode -format
/usr/hadoop/hadoop-2.7.3/sbin/start-all.sh

jps

hdfs dfs -mkdir /college2020/

# #本地写好csv发到/tmp下
# hdfs dfs -put /tmp/student.csv /college2020/


#配置mysql

青椒

#slave2
#在线版本
cd /tmp
yum -y install mysql57-community-release-el7-10.noarch.rpm
yum -y install mysql-community-server
rpm -qa |grep mysql
mysqld --initialize
chown mysql:mysql -R /var/lib/mysql
systemctl start mysqld
systemctl enable mysqld
systemctl status mysqld
cat /var/log/mysqld.log |grep password
#vi /etc/my.cnf
mysql -u root -p

alter user 'root'@'localhost' identified by '123456';
create user 'root'@'%' identified by '123456';
grant all privileges on *.* to 'root'@'%' identified by '123456';

create user 'qingjiao'@'%' identified by '123456';
alter user 'qingjiao'@'%' identified by '123456';
grant all privileges on *.* to 'qingjiao'@'%' identified by '123456';
flush privileges;

INSTALL PLUGIN validate_password SONAME 'validate_password.so';
set global validate_password_policy = 0;
set global validate_password_length = 4;
flush privileges;

quit;

mysql -u qingjiao -p

create database qingjiao;

quit;


#配置hive

#master
mkdir /usr/hive
tar -zxvf /tmp/apache-hive-2.1.1-bin.tar.gz -C /usr/hive/
scp -r /usr/hive slave1:/usr
echo 'export HIVE_HOME=/usr/hive/apache-hive-2.1.1-bin
export PATH=$PATH:$HIVE_HOME/bin'>>/etc/profile
source /etc/profile

cp /usr/hive/apache-hive-2.1.1-bin/lib/jline-2.12.jar /usr/hadoop/hadoop-2.7.3/share/hadoop/yarn/lib/
cp /usr/hive/apache-hive-2.1.1-bin/conf/hive-env.sh.template /usr/hive/apache-hive-2.1.1-bin/conf/hive-env.sh

echo '#Set HADOOP_HOME to point to a specific hadoop install directory
HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
# Hive Configuration Directory can be controlled by:
export HIVE_CONF_DIR=/usr/hive/apache-hive-2.1.1-bin/conf' > /usr/hive/apache-hive-2.1.1-bin/conf/hive-env.sh

echo '<configuration>
<property>
    <name>hive.metastore.warehouse.dir</name>
    <value>/usr/hive/hive_remote/warehouse</value>
</property>
<property>
    <name>hive.metastore.local</name>
    <value>false</value>
</property>
<property>
    <name>hive.metastore.uris</name>
    <value>thrift://slave1:9083</value>
</property>
</configuration>'>/usr/hive/apache-hive-2.1.1-bin/conf/hive-site.xml


#slave1

echo 'export HIVE_HOME=/usr/hive/apache-hive-2.1.1-bin
export PATH=$PATH:$HIVE_HOME/bin'>>/etc/profile
source /etc/profile

cp /tmp/mysql-connector-java-5.1.47-bin.jar /usr/hive/apache-hive-2.1.1-bin/lib

cp /usr/hive/apache-hive-2.1.1-bin/conf/hive-env.sh.template /usr/hive/apache-hive-2.1.1-bin/conf/hive-env.sh

echo '#Set HADOOP_HOME to point to a specific hadoop install directory
HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
# Hive Configuration Directory can be controlled by:
export HIVE_CONF_DIR=/usr/hive/apache-hive-2.1.1-bin/conf' > /usr/hive/apache-hive-2.1.1-bin/conf/hive-env.sh
cp /usr/hive/apache-hive-2.1.1-bin/conf/hive-default.xml.template /usr/hive/apache-hive-2.1.1-bin/conf/hive-site.xml
echo '<configuration>
#设置元数据位置
<property>
    <name>hive.metastore.warehouse.dir</name>
    <value>/usr/hive/hive_remote/warehouse</value>
</property>
#使用本地服务连接hive
<property>
    <name>hive.metastore.local</name>
    <value>true</value>
    <description>Use false if a production metastore server is used</description>
</property>
#配置连接Mysql，设置ssl连接方式为false或true
<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://slave2:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false</value>
</property>
#设置Mysql驱动
<property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
</property>
#设置连接用户名
<property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>qingjiao</value>
</property>
#设置连接密码
<property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>123456</value>
</property>
#关闭metastore的schema一致性
<property>
    <name>hive.metastore.schema.verification</name>
    <value>false</value>
</property>
<property>
    <name>datanucleus.schema.autoCreateAll</name>
    <value>true</value>
</property>
<property>
    <name>hive.exec.scratchdir</name>
    <value>/usr/hive/hive-2.1.1/tmp</value>
</property>
<property>
    <name>hive.querylog.location</name>
    <value>/usr/hive/hive-2.1.1/logs</value>
</property>
</configuration>'>/usr/hive/apache-hive-2.1.1-bin/conf/hive-site.xml

#slave1
schematool -dbType mysql -initSchema
hive --service metastore

#master
hive

#验证hive
show databases;
create database student;
use student;
#验证HDFS
create table student(stu char(20),name char(20)) row format delimited fields terminated by ',';
load data inpath '/college2020/student.csv' into table student;
select * from student;
#验证YARN
create table sxy(stu char(8));
insert into sxy values(5);
select * from sxy;

#HA之前相关配置


#配置ssh
#master
ssh-copy-id slave3

#slave3
ssh-copy-id master

#slave1
ssh-copy-id slave2

#slave2
ssh-copy-id master
ssh-copy-id slave1


#配置slave3的jdk
#slave3
scp -r master:/usr/java /usr
java -version


#zookeeper
#slave3
scp -r master:/usr/zookeeper /usr/
echo '4'>/usr/zookeeper/zookeeper-3.4.10/zkdata/myid

#all
echo 'tickTime=2000
initLimit=10
syncLimit=5
dataDir=/usr/zookeeper/zookeeper-3.4.10/zkdata
clientPort=2181
dataLogDir=/usr/zookeeper/zookeeper-3.4.10/zkdatalog
peerType=observer
server.1=master:2888:3888
server.2=slave1:2888:3888:observer
server.3=slave2:2888:3888
server.4=slave3:2888:3888'>/usr/zookeeper/zookeeper-3.4.10/conf/zoo.cfg

/usr/zookeeper/zookeeper-3.4.10/bin/zkServer.sh stop
/usr/zookeeper/zookeeper-3.4.10/bin/zkServer.sh start
/usr/zookeeper/zookeeper-3.4.10/bin/zkServer.sh status


#hadoop HA

#master
stop-all.sh

#all
rm -rf /usr/hadoop

#master
mkdir -p /usr/hadoop
tar -zxvf /tmp/hadoop-2.7.3.tar.gz -C /usr/hadoop

echo 'export JAVA_HOME=/usr/java/jdk1.8.0_171'>>/usr/hadoop/hadoop-2.7.3/etc/hadoop/hadoop-env.sh

echo '<?xml version="1.0"?>
<configuration>
<property>
  <!--指定hdfs的方式的nameservice为qingjiao-->
  <name>fs.defaultFS</name>
   <value>hdfs://qingjiao</value>
</property>
<property>
  <!--指定hadoop工作目录-->
  <name>hadoop.tmp.dir</name>
   <value>/usr/hadoop/hadoop-2.7.3/hdfs/tmp</value>
</property>
<property>
  <!--指定zookeeper集群访问地址-->
  <name>ha.zookeeper.quorum</name>
   <value>master:2181,slave2:2181,slave3:2181</value>
</property>
</configuration>'>/usr/hadoop/hadoop-2.7.3/etc/hadoop/core-site.xml

echo '<?xml version="1.0"?>
<configuration>
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://qingjiao</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/hadoop/hadoop-2.7.3/hdfs/tmp</value>
</property>
<property>
    <name>ha.zookeeper.quorum</name>
    <value>master:2181,slave1:2181,slave2:2181,slave3:2181</value>
</property>
</configuration>'>/usr/hadoop/hadoop-2.7.3/etc/hadoop/core-site.xml

echo 'slave1
slave2
slave3'>/usr/hadoop/hadoop-2.7.3/etc/hadoop/slaves

echo '<?xml version="1.0"?>
<configuration>
 <property>
  <!--配置副本数-->
   <name>dfs.replication</name>
   <value>3</value>
 </property>
 <property>
   <!--指定hdfs的nameservice为qingjiao 需要和core-site保持一致-->
   <name>dfs.nameservices</name>
   <value>qingjiao</value>
 </property>
 <property>
   <!--指定services name里面设定NN列表-->
   <name>dfs.ha.namenodes.qingjiao</name>
   <value>nn1,nn2</value>
 </property>
 <property>
   <!--设置nn1的RPC通信地址和端口号 -rpc用于和DN通讯-->
   <name>dfs.namenode.rpc-address.qingjiao.nn1</name>
   <value>master:9000</value>
  </property>
  <property>
  <!--设置nn1的http通信地址和端口号 -用来和web客户端通讯-->
  <name>dfs.namenode.http-address.qingjiao.nn1</name>
   <value>master:50070</value>
  </property>
  <property>
  <!--设置nn2的RPC通信地址和端口号 -rpc用于和DN通讯-->
  <name>dfs.namenode.rpc-address.qingjiao.nn2</name>
   <value>slave3:9000</value>
  </property>
  <property>
  <!--设置nn2的http通信地址和端口号 -用来和web客户端通讯-->
  <name>dfs.namenode.http-address.qingjiao.nn2</name>
   <value>slave3:50070</value>
  </property>
  <property>
  <!--指定namenode间用于共享编辑日志的journal节点列表 -hdfs元数据存储位置-->
  <name>dfs.namenode.shared.edits.dir</name>
   <value>qjournal://master:8485;slave2:8485;slave3:8485/qingjiao</value>
  </property>
  <property>
  <!--指定journalnode 上用于存放edits日志的目录 -本地磁盘数据存储位置 自行设定-->
  <name>dfs.journalnode.edits.dir</name>
   <value>/usr/hadoop/hadoop-2.7.3/journaldata</value>
  </property>
  <property>
  <!--开启namenode失败自动切换 -->
  <name>dfs.ha.automatic-failover.enabled</name>
   <value>true</value>
  </property>
  <property>
  <!--配置失败自动切换实现方式 无需换行 实现类-->
  <name>dfs.client.failover.proxy.provider.qingjiao</name>
   <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  </property>
  <property>
  <!--配置隔离机制，多个机制换行分割，防止脑裂/假死-->
  <name>dfs.ha.fencing.methods</name>
   <value>
    sshfence
  　</value>
  </property>
  <property>
  <!--使用 sshfenns离机制时需要 ssh 免登陆 RSA类型-->
  <name>dfs.ha.fencing.ssh.private-key-files</name>
   <value>/root/.ssh/id_rsa</value>
  </property>
  <property>
  <!--指定 sshfenns离机制超时时间-->
  <name>dfs.ha.fencing.ssh.connect-timeout</name>
   <value>3000</value>
  </property>
<property>
   <name>dfs.namenode.name.dir</name>
   <value>file:/usr/hadoop/hadoop-2.7.3/hdfs/name</value>
   <final>true</final>
</property>
 <property>
   <name>dfs.datanode.data.dir</name>
   <value>file:/usr/hadoop/hadoop-2.7.3/hdfs/data</value>
   <final>true</final>
 </property>
 <property>
   <name>dfs.webhdfs.enabled</name>
   <value>true</value>
 </property>
 </configuration>'>/usr/hadoop/hadoop-2.7.3/etc/hadoop/hdfs-site.xml

echo '<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
    <name>dfs.nameservices</name>
    <value>qingjiao</value>
</property>
<property>
    <name>dfs.ha.namenodes.qingjiao</name>
    <value>nn1,nn2</value>
</property>
<property>
    <name>dfs.namenode.rpc-address.qingjiao.nn1</name>
    <value>master:8020</value>
</property>
<property>
    <name>dfs.namenode.rpc-address.qingjiao.nn2</name>
    <value>slave3:8020</value>
</property>
<property>
    <name>dfs.namenode.http-address.qingjiao.nn1</name>
    <value>master:50070</value>
</property>
<property>
    <name>dfs.namenode.http-address.qingjiao.nn2</name>
    <value>slave3:50070</value>
</property>
<property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://master:8485;slave2:8485;slave3:8485/qingjiao</value>
</property>
<property>
    <name>dfs.journalnode.edits.dir</name>
    <value>/usr/hadoop/hadoop-2.7.3/tmp/data/dfs/jn</value>
</property>
<property>
    <name>dfs.client.failover.proxy.provider.qingjiao</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
    <name>dfs.ha.fencing.methods</name>
    <value>sshfence</value>
    <value>shell(/bin/true)</value>
</property>
<property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/root/.ssh/id_rsa</value>
</property>
<property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
</property>
<property>
    <name>dfs.replication</name>
    <value>3</value>
</property>
<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/usr/hadoop/hadoop-2.7.3/hdfs/name</value>
    <final>true</final>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/usr/hadoop/hadoop-2.7.3/hdfs/data</value>
    <final>true</final>
</property>
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>master:9001</value>
</property>
<property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
</property>
<property>
    <name>dfs.permissions</name>
    <value>false</value>
</property>
</configuration>'>/usr/hadoop/hadoop-2.7.3/etc/hadoop/hdfs-site.xml

echo '<?xml version="1.0"?>
<configuration>
<property>
    <name>yarn.resourcemanager.ha.enabled</name>
    <value>true</value>
</property>
<property>
    <name>yarn.resourcemanager.cluster-id</name>
    <value>hongya</value>
</property>
<property>
    <name>yarn.resourcemanager.ha.rm-ids</name>
    <value>rm1,rm2</value>
</property>
<property> 
    <name>yarn.resourcemanager.ha.automatic-failover.enabled</name> 
    <value>true</value> 
</property>
<property>
    <name>yarn.resourcemanager.hostname.rm1</name>
    <value>slave1</value>
</property>
<property>
    <name>yarn.resourcemanager.hostname.rm2</name>
    <value>slave2</value>
</property>
<property>
    <name>yarn.resourcemanager.recovery.enabled</name> 
    <value>true</value> 
</property>
<property>
    <name>yarn.resourcemanager.zk-address</name>
    <value>master:2181,slave1:2181,slave2:2181</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<!-- Site specific YARN configuration properties -->
</configuration>'>/usr/hadoop/hadoop-2.7.3/etc/hadoop/yarn-site.xml

cp /usr/hadoop/hadoop-2.7.3/etc/hadoop/mapred-site.xml.template /usr/hadoop/hadoop-2.7.3/etc/hadoop/mapred-site.xml
echo '<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
</configuration>'>/usr/hadoop/hadoop-2.7.3/etc/hadoop/mapred-site.xml

rm -rf /usr/hadoop/hadoop-2.7.3/share/docs

scp -r /usr/hadoop slave1:/usr/
scp -r /usr/hadoop slave2:/usr/
scp -r /usr/hadoop slave3:/usr/

#all
hadoop-daemon.sh stop journalnode
hadoop-daemon.sh start journalnode

#master
hadoop namenode -format
hadoop-daemon.sh start namenode
hadoop-daemon.sh start datanode

#slave3
hadoop namenode -bootstrapStandby

#master或slave3
/usr/hadoop/hadoop-2.7.3/bin/hdfs zkfc -formatZK

#master(注意哪一台namenode是active)
start-all.sh

#slave1和slave2
yarn-daemon.sh start resourcemanager
yarn-daemon.sh start nodemanager

# #mysql
# #离线版本
# groupadd mysql
# useradd -r -g mysql mysql

# cd /tmp
# tar xzvf mysql-5.7.24-linux-glibc2.12-x86_64.tar.gz
# mv mysql-5.7.24-linux-glibc2.12-x86_64 /usr/local/
# cd /usr/local/
# mv mysql-5.7.24-linux-glibc2.12-x86_64 mysql
# mkdir /usr/local/mysql/data

# chown -R mysql:mysql /usr/local/mysql
# chmod -R 755 /usr/local/mysql
# cd /usr/local/mysql/bin

# ./mysqld --initialize-insecure --user=mysql --datadir=/usr/local/mysql/data --basedir=/usr/local/mysql


# echo '[mysqld]
# datadir=/usr/local/mysql/data
# port = 3306
# sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES
# symbolic-links=0
# max_connections=400
# innodb_file_per_table=1
# lower_case_table_names=1
# [mysqld_safe]
# log-error=/var/log/mariadb/mariadb.log
# pid-file=/var/run/mariadb/mariadb.pid' > /etc/my.cnf
# mkdir /var/log/mariadb
# touch /var/log/mariadb/mariadb.log
# chown -R mysql:mysql /var/log/mariadb/

# /usr/local/mysql/support-files/mysql.server start
# ln -s /usr/local/mysql/support-files/mysql.server /etc/init.d/mysql 
# ln -s /usr/local/mysql/bin/mysql /usr/bin/mysql

# mysql

# set global validate_password_policy = 0;
# set global validate_password_length = 4;
# alter user 'root'@'localhost' identified by '123456';
# create user 'root'@'%' identified by '123456';
# grant all privileges on *.* to 'root'@'%' identified by '123456';
# flush privileges;
 

kesou_0089
关注
智警杯&大数据技能竞赛sql分析脚本汇总
7ruth0hn的博客
06-15 1972
####特殊： #设置hive本地模式： set hive.exec.mode.local.auto=true; #加速hive set hive.execution.engine=tez; #扩大内存(最好不用) set mapreduce.map.memory.mb=10150; set mapreduce.map.java.opts=-Xmx6144m; set mapreduce.reduce.memory.mb=10150; set mapreduce.reduce.java.opts=-
智慧杯 考试必备
Fairy1208的博客
01-19 2740
2019.4. 强密码 描述 我们称一个密码是强密码，当且仅当它满足以下所有条件： 由 8 − 16 个字符组成 至少包含一个大写字母 (A-Z) 至少包含一个小写字母 (a-z) 至少包含一个数字 (0-9) 至少包含一个特殊符号 (! @ #$ % & * _ +) 娇娇发现她现在的密码好像不是强密码，请你帮她计算一下最少添加几个 字符可以变成强密码？ 输入 输入仅一行，一个字符串，表示娇娇当前的密码 输出 输出一个数表示答案 如果不需要添加任何字符就已.
复盘2022智警杯py部分
m0_69676459的博客
05-12 1996
前段时间打比赛时py题没解出来，心有不甘。 题目是提取csv文件中的信息并输出文件中月份在每一个年份中出现的次数。 数据量非常庞大------>借助py中文件的打开与修改功能试试。 输出正确结果。又弄懂了一道不会的题目。o(*￣▽￣*)ブ ...
2023智警杯CIPUC校内选拔赛-Python语言基础
2201_75348488的博客
05-31 1178
6. 编写程序,定义一个整数年份，判断对应整数年份是否为闰年并输出结果，例如输入2018，返回“2018年不是闺年”，输入2000，返回“2000年是闺年”。ord():将字符转化成整数值，参数是长度为1的字符串，简称字符。当参数为8比特的字符串时，返回该字节的值。编写程序，要求使用ASCI码转换字符串大小写，对输入的字符参数进行大小写转换，即输入小写内容，输出大写;针对大小写的转换，可以考虑使用对应ASCII码进行切换，其中a-为数字97-122，A-Z为数字65.90，大小写字母之间的编号相差32。
智警杯半决赛赛前培训
lulu001128的博客
06-04 541
知识点
智警杯半决赛培训
m0_63563528的博客
06-09 573
1.创建Project数据库：create database if not exists project;初始化hive：schematool -dbType mysql -initSchema。创建对应的hive数据库：create database hive;2.格式化hdfs：hadoop namenode -format。1.改hosts文件：vim /etc/hosts。3.启动hadoop集群：start-all.sh。3.解压hadoop，配置环境变量【1.安装java，配置环境变量【
关于2022“智警杯”一道SQL题目的思考和探讨
m0_58875569的博客
11-04 1713
关于2022年“智警杯”公安系统大数据技能竞赛中一道考察SQL水平的题目的一些复盘和探讨，也算是留一个纪念，应当是我本科阶段最后一次参加智警杯的比赛了。欢迎大家探讨交流，批评指正。
智警杯&大数据技能竞赛决赛多人环境搭建万能脚本
7ruth0hn的博客
06-15 2237
脚本执行步骤： A : master, B : salve1, C : slave2, D : slave3 master 第一步： mkdir /opt/soft 再传所有文件 0.sh >改yum的url cd /etc/yum.repos.d/ rm -rf * wget http://172.16.47.240/bigdata/repofile/bigdata.repo yum clean all yum makecache 1.sh >改3行 systemctl st
智警杯半决赛知识点
lulu001128的博客
06-08 2774
知识点
2023年智警杯MySQL比赛部分内容(一）
m0_61850812的博客
06-15 1203
1.第一步启动数据库。2.查询某一列的数据。
2021大数据知识竞赛考试题及答案.pdf
12-03
2021大数据知识竞赛考试题及答案.pdf
信鼎杯题解.rar
11-27
"信鼎杯题解.rar" 是一个压缩文件，通常包含参加"信鼎杯"竞赛的选手或爱好者分享的解题思路和代码实现。这个压缩包里有两个子文件，分别是 "C++题解" 和 "题解C语言版本"，暗示了解答可能是用C++和C语言编写的。...
2023 电工杯 B 题解题思路详细分析.zip
05-25
从提供的文件名"2023 电工杯 B 题解题思路详细分析.zip"和"2023 电工杯 B 题解题思路详细分析.docx"来看，我们可以推测这是一个关于解答2023年电工杯竞赛B题的深入解析文档。这份文档很可能是由竞赛的专家或者参赛者...
第九届图灵杯题解与标程.zip
01-16
《第九届图灵杯题解.pdf》很可能是本次竞赛的官方题解文档，其中详细介绍了各个题目及其解决方案。这份文档通常会包含以下几个部分： 1. 题目概述：对每个问题的简要描述，包括问题背景、输入输出格式以及需要解决...
2024年第七届传智杯程序设计挑战赛第一场初赛题解
hjh2020012124的博客
12-04 2420
先对每个点按照象限分类计数，显然一象限和三象限的点相连必然经过两条坐标轴，二象限和四象限的点相连必然经过两条坐标轴，最后在计算配对后剩下的点即可，只能经过一条坐标轴。枚举每一个棋子，判断是否能为四子棋，注意，只需要以当前点为起点，往右，往下，往右下，往坐下这四种情况。对于每一个数字，从后往前开始找，如果找到偶数位，则和最后一位交换即可。需要注意的是答案的范围，极限情况是。的个数只和相乘的每一个数的因子。的情况，此时最小的可能答案为。考虑动态规划，定义状态表示为。简单数学知识，乘积末尾的。
2021“MINIEYE杯”中国大学生算法设计超级联赛（4）-题解1
08-03
在本次"2021“MINIEYE杯”中国大学生算法设计超级联赛（4）-题解1"中，涉及的算法知识广泛，包括图论、字符串处理、动态规划和数据结构等。下面将对题目中的几个关键点进行详细解析： 1. **Calculus 题解**：这道题...
智警杯赛前学习1.2--excel统计函数
lulu001128的博客
05-29 354
知识点
【2020大数据应用赛试题】Spark分析处理
懂得一千零一种,赋予你失败的方法！
04-19 1065
文章目录2020大数据应用赛试题任务一、Spark技术栈有哪些组件？简述其功能，及应用场景。任务二、本题目使用spark进行数据分析数据说明题目题目一题目二题目三题目四 2020大数据应用赛试题 任务一、Spark技术栈有哪些组件？简述其功能，及应用场景。 1、其它组件的基础，spark的内核，主要包含：有向循环图、RDD 、Lingage、Cache、broadcast等，并封装了底层通讯框架、是spark的基础。 2、Spark Streaming是一个对实时数据流进行高通量、容错处理的流式处理系统，
传智杯python题解
最新发布
12-14
传智杯Python题解是对传智杯Python编程竞赛中各类题目的详细解答和分析。这些题解不仅帮助参赛者理解题目要求和解题思路，还能提升他们的编程能力和算法思维。以下是一些常见的传智杯Python题目类型及其解题思路： 1. **字符串处理**： - **题目示例**：给定一个字符串，统计其中某个字符出现的次数。 - **解题思路**：使用Python的字符串方法`count()`或遍历字符串进行计数。 ```python def count_char(s, char): return s.count(char) # 示例 s = "hello world" char = "l" print(count_char(s, char)) # 输出: 3 ``` 2. **列表操作**： - **题目示例**：给定一个列表，删除其中的重复元素。 - **解题思路**：将列表转换为集合，再转换回列表。 ```python def remove_duplicates(lst): return list(set(lst)) # 示例 lst = [1, 2, 2, 3, 4, 4, 5] print(remove_duplicates(lst)) # 输出: [1, 2, 3, 4, 5] ``` 3. **字典操作**： - **题目示例**：给定一个字典，统计每个键对应的值的总和。 - **解题思路**：遍历字典并累加每个键对应的值。 ```python def sum_values(dic): return {key: sum(value) if isinstance(value, list) else value for key, value in dic.items()} # 示例 dic = {'a': 1, 'b': 2, 'c': [3, 4]} print(sum_values(dic)) # 输出: {'a': 1, 'b': 2, 'c': 7} ``` 4. **文件操作**： - **题目示例**：读取一个文件，统计其中某个单词出现的次数。 - **解题思路**：打开文件，逐行读取并使用字符串方法`count()`进行统计。 ```python def count_word_in_file(file_path, word): with open(file_path, 'r') as file: content = file.read() return content.count(word) # 示例 file_path = 'example.txt' word = 'python' print(count_word_in_file(file_path, word)) # 输出: 5 ``` 5. **算法题**： - **题目示例**：给定一个整数列表，找出其中最大的连续子序列和。 - **解题思路**：使用动态规划方法，维护当前子序列和的最大值。 ```python def max_subarray_sum(lst): max_sum = current_sum = lst[0] for num in lst[1:]: current_sum = max(num, current_sum + num) max_sum = max(max_sum, current_sum) return max_sum # 示例 lst = [-2, 1, -3, 4, -1, 2, 1, -5, 4] print(max_subarray_sum(lst)) # 输出: 6 ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值