大数据平台搭建
1.配置 master Node 的主机名为:master;slaver1 Node 的主机名为:slaver1。将查询 2 个节点的主机名信息以文本形式提交到答题框。
[root@master ~]# hostnamectl set-hostname master
[root@slaver ~]# hostnamectl set-hostname slaver1
[root@master ~]# hostname
[root@master ~]# hostnamectl
[root@slaver1 ~]# hostname
[root@slaver1 ~]# hostnamectl
2.修改 2 个节点的 hosts 文件,配置 IP 地址与主机名之间的映射关系。将查询 hosts 文件的信息以文本形式提交到答题框。
[root@master ~]# vi /etc/hosts
[root@slaver1 ~]# vi /etc/hosts
[root@master ~]# cat /etc/hosts
[root@slaver1 ~]# cat /etc/hosts
3.配置 2 个节点使用 Ambari 和 iaas 中的 centos7 的 yum 源。其中 Ambari yum 源在
XianDian-BigData-v2.1-BASE.iso 软件包中。
[root@master ~]# vi /etc/yum.repos.d/local.repo
[centos]
name=centos
baseurl=ftp://192.168.100.10/centos
gpgcheck=0
enabled=1
[ambari]
name=ambair
baseurl=ftp://192.168.100.10/ambair/ambair
gpgcheck=0
enabled=1
[root@master ~]# scp -r /etc/yum.repos.d/local.repo slaver1:/etc/yum.repos.d/
[root@master ~]# cat /etc/yum.repos.d/local.repo
[centos]
name=centos
baseurl=ftp://192.168.100.10/centos
gpgcheck=0
enabled=1
[ambari]
name=ambair
baseurl=ftp://192.168.100.10/ambair/ambair
gpgcheck=0
enabled=1
[root@slaver1 ~]# cat /etc/yum.repos.d/local.repo
[centos]
name=centos
baseurl=ftp://192.168.100.10/centos
gpgcheck=0
enabled=1
[ambari]
name=ambair
baseurl=ftp://192.168.100.10/ambair/ambair
gpgcheck=0
enabled=1
4.在 master 节点安装 ntp 时钟服务,使用文件/etc/ntp.conf 配置 ntp 服务;在 slaver 节点安装ntpdate 软件包,将 slaver1 节点时钟同步到 master 节点。
[root@master ~]# yum install -y ntp
[root@slaver1 ~]# yum install -y ntpdate
[root@master ~]# vi /etc/ntp.conf
//添加两行
server 127.127.1.0
fudge 127.127.1.0 stratum 10
[root@slaver1 ~]# ntpdate master
5.检查 2 个节点是否可以通过无密钥相互访问,如果未配置,则进行 SSH 无密码公钥认证配置。
[root@master ~]# ssh slaver1
[root@slaver1 ~]# ssh master
6.安 装 2 个 节 点 的 JDK 环 境 , 其 中 jdk-8u77-linux-x64.tar.gz 在XianDian-BigData-v2.1-BASE.iso 软件包中。
[root@master ~]# scp -r root@192.168.100.10:/opt/ambari/j* /root/
[root@master ~]# mkdir /usr/jdk
[root@master ~]# tar -zxvf jdk-8u77-linux-x64.tar.gz -C /usr/jdk/
[root@master ~]# vi /etc/profile
//添加两行
export JAVA_HOME=/usr/jdk/jdk1.8.0_77
export PATH=$JAVA_HOME/bin:$PATH
[root@slaver1 ~]# scp -r root@192.168.100.10:/opt/ambari/j* /root/
[root@slaver1 ~]# mkdir /usr/jdk
[root@slaver1 ~]# tar -zxvf jdk-8u77-linux-x64.tar.gz -C /usr/jdk/
[root@slaver1 ~]# vi /etc/profile
//添加两行
export JAVA_HOME=/usr/jdk/jdk1.8.0_77
export PATH=$JAVA_HOME/bin:$PATH
7.在 master 节点安装配置 HTTP 服务,将软件包 XianDian-BigData-v2.1-BASE.iso 中的HDP-2.4-BASE 和 HDP-UTILS-1.1.0.20 拷贝到/var/www/html 目录中,并启动 HTTP 服务。
[root@master ~]# yum install -y httpd
[root@master ~]# scp -r root@192.168.100.10:/opt/ambari/H* /var/www/html/
[root@master ~]# systemctl start httpd.service
[root@master ~]# systemctl enable httpd.service
8.查询 2 个节点的 yum 源配置文件、JDK 版本信息、slaver1 节点同步 master 节点的命令及结果和 HTTP 服务的运行状态信息,以文本形式提交到答题框。
[root@master ~]# cat /etc/yum.repos.d/local.repo
[centos]
name=centos
baseurl=ftp://192.168.100.10/centos
gpgcheck=0
enabled=1
[ambari]
name=ambair
baseurl=ftp://192.168.100.10/ambair/ambair
gpgcheck=0
enabled=1
[root@slaver1 ~]# cat /etc/yum.repos.d/local.repo
[centos]
name=centos
baseurl=ftp://192.168.100.10/centos
gpgcheck=0
enabled=1
[ambari]
name=ambair
baseurl=ftp://192.168.100.10/ambair/ambair
gpgcheck=0
enabled=1
[root@master ~]# java –version
[root@slaver1 ~]# java –version
[root@slaver1 ~]# ntpdate master
9.在 master 节点上安装 ambari-server 服务和 MariaDB 数据库服务,创建 ambari 数据库和ambari 用户,用户密码为 bigdata。赋予 ambari 用户访问 ambari 数据库的权限,并导入/var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql 文件至 ambari 数据库中。配置完成后安装 mysql-connector-java 软件包。查询 master 节点中 ambari 数据库中的所有表的列表信息,以文本形式提交查询结果到答题框中。
[root@master ~]# yum install -y ambari-server mariadb mariadb-server mysql-connector-java
[root@master ~]# systemctl start mariadb.service
[root@master ~]# systemctl enable mariadb.service
[root@master ~]# mysql_secure_installation
[root@master ~]# mysql -uroot –pbigdata
MariaDB [(none)]> create database ambari ;
MariaDB [(none)]> create user 'ambari'@'localhost' identified by 'bigdata';create user 'ambari'@'%' identified by 'bigdata';
MariaDB [(none)]> grant all privileges on ambari.* to 'ambari'@'localhost' identified by 'bigdata';grant all privileges on ambari.* to 'ambari'@'%' identified by 'bigdata';
MariaDB [(none)]> use ambari;
Database changed
MariaDB [ambari]> source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql ;
MariaDB [ambari]> show tables;
10.在 master 节点上安装 ambari-server 服务和 MariaDB 数据库服务,创建 ambari 数据库和ambari 用户,用户密码为 bigdata。赋予 ambari 用户访问 ambari 数据库的权限,并导入/var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql 文件至 ambari 数据库中。操作完成后进入 MariaDB 数据库,查询 mysql 数据库中 user 表中的文件内容,以文本形式提交查询结果到答题框中。
[root@master ~]# yum install -y ambari-server mariadb mariadb-server mysql-connector-java
[root@master ~]# systemctl start mariadb.service
[root@master ~]# systemctl enable mariadb.service
[root@master ~]# mysql_secure_installation
[root@master ~]# mysql -uroot –pbigdata
MariaDB [(none)]> create database ambari ;
MariaDB [(none)]> create user 'ambari'@'localhost' identified by 'bigdata'; create user 'ambari'@'%' identified by 'bigdata';
MariaDB [(none)]> grant all privileges on ambari.* to 'ambari'@'localhost' identified by 'bigdata';grant all privileges on ambari.* to 'ambari'@'%' identified by 'bigdata';
MariaDB [(none)]> use ambari;
Database changed
MariaDB [ambari]> source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql;
[root@master ~]# mysql -uroot –p bigdata
MariaDB [(none)]> use mysql;
MariaDB [mysql]> select * from user;
MariaDB [mysql]> describe user;
[root@master ~]# mysqlshow -uroot -pbigdata mysql user ;
11.在 master 节点对 ambari-server 进行设置(ambari-server setup),指定 JDK 安装路径和数据库的主机、端口、用户、密码等参数,并启动 ambari-server 服务。配置完成后,通过 curl命令在Linux Shell中查询http://master:8080界面内容,以文本形式提交查询结果到答题框中。
[root@master ~]# ambari-server setup
[root@master ~]# ambari-server start
[root@master ~]# curl http://master:8080
12.在 master 节点对 ambari-server 进行设置(ambari-server setup),指定 JDK 安装路径和数据库的主机、端口、用户、密码等参数,并启动 ambari-server 服务。配置完成后,查询ambari-server 的运行状态信息,以文本形式提交查询结果到答题框中。
[root@master ~]# ambari-server setup
[root@master ~]# ambari-server start
[root@master ~]# /etc/rc.d/init.d/ambari-server status
13.在 2 台节点中安装 ambari-agent 服务,修改/etc/ambari-agent/conf/ambari-agent.ini 文件server 端 主 机 位 master 节 点 , 启 动 ambari-agent 服 务 , 查 看 agent 端/var/log/ambari-agent/ambari-agent.log 日志文件,以文本形式提交心跳连接发送成功的信号结果到答题框中。
[root@master ~]# yum install -y ambari-agent
[root@slaver1 ~]# yum install -y ambari-agent
[root@master ~]# vi /etc/ambari-agent/conf/ambari-agent.ini
//修改为hostname=master
[root@slaver1 ~]# vi /etc/ambari-agent/conf/ambari-agent.ini
//修改为hostname=master
[root@master ~]# ambari-agent start
[root@slaver1 ~]# ambari-agent start
[root@master ~]# tail -f /var/log/ambari-agent/ambari-agent.log
[root@slaver1 ~]# tail -f /var/log/ambari-agent/ambari-agent.log
14.在先电大数据平台中创建 Hadoop 集群“XIANDIAN HDP”,选择安装栈为 HDP 2.4,安装服务为 HDFS、YARN+MapReduce2、Zookeeper、Ambari Metrics。安装完成后,在 master节点和 slaver 节点的 Linux Shell 中查看 Hadoop 集群的服务进程信息,以文本形式提交查询结果到答题框中。
[root@master ~]# jps
[root@slaver1 ~]# jps
15.在先电大数据平台中创建 Hadoop 集群“XIANDIAN HDP”,选择安装栈为 HDP 2.4,安装服务为 HDFS、YARN+MapReduce2、Zookeeper、Ambari Metrics。安装完成后,在 LinuxShell 中查看 Hadoop 集群的基本统计信息,以文本形式提交查询命令和查询结果到答题框中。
[root@master ~]# su hdfs
[hdfs@master root]$ hdfs dfsadmin -report
16.检查 master Node 的主机名 master,slaver1 Node 的主机名 slaver1。修改 2 个节点的 hosts文件,配置 IP 地址与主机名之间的映射关系。查询 2 个节点的 hosts 文件的信息以文本形式提交到答题框。
[root@master ~]# vi /etc/hosts
//添加两行
10.0.0.109 master
10.0.0.110 slaver1
[root@slaver1 ~]# vi /etc/hosts
//添加两行
10.0.0.109 master
10.0.0.110 slaver1
[root@master ~]# cat /etc/hosts
[root@slaver1 ~]# cat /etc/hosts
17.检查 master 节点安装的 ntp 时钟服务是否启动,并同步 master 节点时钟至 slaver1 节点。将同步命令及结果信息,以文本形式提交到答题框。
[root@slaver1 ~]# ntpdate master
18.检查 master 节点 ambari-server 的运行状态,如未启动,则启动 ambari-server 服务。使用curl 命令在 Linux Shell 中查询 http://master:8080 界面内容,以文本形式提交查询结果到答题框中。
[root@master ~]# curl http://master:8080
19.检查 master 节点 ambari-server 的运行状态,如未启动,则启动 ambari-server 服务。以文本形式提交 ambari-server 的运行状态信息到答题框中。
[root@master ~]# systemctl status ambari-server
20.检查 slaver 节点 ambari-agent 的运行状态,如未启动,则启动 ambari-agent 服务,查看 agent端/var/log/ambari-agent/ambari-agent.log 日志文件,以文本形式提交心跳连接发送成功的信号结果到答题框中。
[root@master ~]# tail -f /var/log/ambari-agent/ambari-agent.log
[root@slaver1 ~]# tail -f /var/log/ambari-agent/ambari-agent.log
21.启动成功后,分别在 master 节点和 slaver 节点的 Linux Shell 中查看 Hadoop 集群的服务进程信息,以文本形式提交查询结果到答题框中。
[root@master ~]# jps
[root@slaver1 ~]# jps
22.启动成功后,在 Linux Shell 中查看 Hadoop 集群的基本统计信息,以文本形式提交查询命令和查询结果到答题框中。
[root@master ~]# hadoop dfsadmin -report
[root@slaver1 ~]# hadoop dfsadmin -report
大数据平台运维
1.在 HDFS 文件系统的根目录下创建递归目录“1daoyun/file”,将附件中的 BigDataSkills.txt文件,上传到 1daoyun/file 目录中,使用相关命令查看文件系统中 1daoyun/file 目录的文件列表信息,以文本形式提交以上操作命令和输出结果到答题框中。
[root@master ~]# su hdfs
[hdfs@master root]$ hadoop fs -mkdir -p /1daoyun/file
[hdfs@master root]$ exit
[root@master ~]# hadoop fs -put BigDataSkills.txt /1daoyun/file
[hdfs@master root]$ hadoop fs -ls /1daoyun/file
2.在 HDFS 文件系统的根目录下创建递归目录“1daoyun/file”,将附件中的 BigDataSkills.txt文件,上传到 1daoyun/file 目录中,并使用 HDFS 文件系统检查工具检查文件是否受损,以文本形式提交以上操作命令和输出结果到答题框中。
[root@master ~]# hadoop fs -mkdir -p /1daoyun/file
[root@master ~]# hadoop fs -put BigDataSkills.txt /1daoyun/file
[root@master ~]# hdfs fsck /1daoyun/file/ -files
3.在 HDFS 文件系统的根目录下创建递归目录“1daoyun/file”,将附件中的 BigDataSkills.txt文件,上传到 1daoyun/file 目录中,上传过程指定 BigDataSkills.txt 文件在 HDFS 文件系统中的复制因子为 2,并使用 fsck 工具检查存储块的副本数,以文本形式提交以上操作命令和输出结果到答题框中。
[root@master ~]# hadoop fs -mkdir -p /1daoyun/file
[root@master ~]# hadoop fs -D dfs.replication=2 -put BigDataSkills.txt /1daoyun/file
[root@master ~]# hdfs fsck /1daoyun/file/ -blocks
4.HDFS 文件系统的根目录下存在一个/apps 的文件目录,要求开启该目录的可创建快照功能,并为该目录文件创建快照,快照名称为 apps_1daoyun,使用相关命令查看该快照文件的列表信息,以文本形式提交以上操作命令和输出结果到答题框中。
[hdfs@master root]$ hadoop dfsadmin -allowSnapshot /apps
[hdfs@master root]$ hadoop fs -createSnapshot /apps apps_1daoyun
[hdfs@master root]$ hadoop fs -ls /apps/.snapshot/
//创建恢复的文件夹
[hdfs@master root]$ hadoop fs -mkdir /apps/recover
[hdfs@master root]$ hadoop fs -cp /apps/.snapshot/apps_1daoyun/hive /apps/recover
[hdfs@master root]$ hadoop fs -ls /apps/recover
5.HDFS 文件系统的/user/root/small-file 目录中存在一些小文件,要求使用 Hadoop Arachive工具将这些小文件归档成为一个文件,文件名为 xiandian-data.tar。归档完成后,查看xiandian-data.tar 的列表信息,以文本形式提交以上操作命令和输出结果到答题框中。
[hdfs@master root]$ hadoop archive -archiveName xiandian-data.har -p /user root/samll-file /
[hdfs@master root]$ hadoop fs -ls -R har:///xiandian-data.har
6.当 Hadoop 集群启动的时候,会首先进入到安全模式的状态,该模式默认 30 秒后退出。当系统处于安全模式时,只能对 HDFS 文件系统进行读取,无法进行写入修改删除等的操作。现假设需要对 Hadoop 集群进行维护,需要使集群进入安全模式的状态,并检查其状态。将集群进入安全模式和检查安全模式状态的操作命令以文本形式提交到答题框中。
[hdfs@master root]$ hadoop dfsadmin -safemode enter
[hdfs@master root]$ hadoop dfsadmin -safemode get
7.为了防止操作人员误删文件,HDFS 文件系统提供了回收站的功能,但过多的垃圾文件会占用大量的存储空间。要求在先电大数据平台的 WEB 界面将 HDFS 文件系统回收站中的文件彻底删除的时间间隔为 7 天,以文本形式提交修改的文件名称、参数信息和参数值到答题框中。
core-site
fs.trash.interval 10080
8.为了防止操作人员误删文件,HDFS 文件系统提供了回收站的功能,但过多的垃圾文件会占用大量的存储空间。要求在 Linux Shell 中使用“vi”命令修改相应的配置文件以及参数信息,完成后,重启相应的服务。以文本形式提交以上操作命令和修改的参数信息到答题框中。
[root@master ~]# vi /usr/hdp/current/hadoop-client/conf/core-site.xml
<property>
<name>fs.trash.interval</name>
<value>10080</value>
</property>
[hdfs@master root]$ /usr/hdp/current/hadoop-client/sbin/hadoop-daemon.sh --config /usr/hdp/current/hadoop-client/conf start namenode
[hdfs@master root]$ /usr/hdp/current/hadoop-client/sbin/hadoop-daemon.sh --config /usr/hdp/current/hadoop-client/conf stop datanode
[hdfs@master root]$ /usr/hdp/current/hadoop-client/sbin/hadoop-daemon.sh --config /usr/hdp/current/hadoop-client/conf start namenode
[hdfs@master root]$ /usr/hdp/current/hadoop-client/sbin/hadoop-daemon.sh --config /usr/hdp/current/hadoop-client/conf start datanode
9.为了防止操作人员误删文件,HDFS 文件系统提供了回收站的功能,假设一名工程师发现自己前一天以 root 用户的身份不小心删除了,HDFS 文件系统中一个名为 cetc55.txt 的文件,现需要你使用 find 命令找到这个文件路径,并还原文件至原来的位置。完成后以文本形式提交以上操作命令和还原后的文件列表信息到答题框中。
[hdfs@master root]$ hadoop fs -find / -print | grep cetc55
[hdfs@master root]$ hadoop fs -mv /user/hdfs/.Trash/Current/user/hdfs/cetc55.txt /user/hdfs/
10.Hadoop集群中的主机在某些情况下会出现宕机或者系统损坏的问题,一旦遇到这些问题,HDFS文件系统中的数据文件难免会产生损坏或者丢失,为了保证HDFS文件系统的可靠性,现需要在先电大数据平台的 WEB 界面将集群的冗余复制因子修改为 5,以文本形式提交修改的参数信息和参数值到答题框中。
Block replication 5
11.Hadoop集群中的主机在某些情况下会出现宕机或者系统损坏的问题,一旦遇到这些问题,HDFS文件系统中的数据文件难免会产生损坏或者丢失,为了保证HDFS文件系统的可靠性,需要将集群的冗余复制因子修改为 5,在 Linux Shell 中使用“vi”命令修改相应的配置文件以及参数信息,完成后,重启相应的服务。以文本形式提交以上操作命令和修改的参数信息到答题框中。
[hdfs@master root]$ vi /etc/hadoop/2.4.3.0-227/0/hdfs-site.xml
[hdfs@master root]$ vi /usr/hdp/current/hadoop-client/conf/hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>5</value>
</property>
[hdfs@master root]$ /usr/hdp/current/hadoop-client/sbin/hadoop-daemon.sh --config /usr/hdp/current/hadoop-client/conf start namenode
[hdfs@master root]$ /usr/hdp/current/hadoop-client/sbin/hadoop-daemon.sh --config /usr/hdp/current/hadoop-client/conf stop datanode
[hdfs@master root]$ /usr/hdp/current/hadoop-client/sbin/hadoop-daemon.sh --config /usr/hdp/current/hadoop-client/conf start namenode
[hdfs@master root]$ /usr/hdp/current/hadoop-client/sbin/hadoop-daemon.sh --config /usr/hdp/current/hadoop-client/conf start datanode
12.在集群节点中/usr/hdp/2.4.3.0-227/hadoop-mapreduce/目录下,存在一个案例 JAR 包hadoop-mapreduce-examples.jar。运行 JAR 包中的 PI 程序来进行计算圆周率π的近似值,要求运行 5 次 Map 任务,每个 Map 任务的投掷次数为 5,运行完成后以文本形式提交以上操作命令和输出结果到答题框中。
[root@master ~]# su hdfs
[hdfs@master root]$ cd /usr/hdp/2.4.3.0-227/hadoop-mapreduce/
[hdfs@master hadoop-mapreduce]$ hadoop jar hadoop-mapreduce-examples.jar pi 5 5
13.在集群节点中/usr/hdp/2.4.3.0-227/hadoop-mapreduce/目录下,存在一个案例 JAR 包hadoop-mapreduce-examples.jar 。 运 行 JAR 包 中 的 wordcount 程 序 来 对
/1daoyun/file/BigDataSkills.txt 文件进行单词计数,将运算结果输出到/1daoyun/output 目录中,使用相关命令查询单词计数结果,以文本形式提交以上操作命令和输出结果到答题框中。
[root@master ~]# su hdfs
[hdfs@master root]$ hadoop fs -chmod -R 777 /
[hdfs@master root]$ hadoop fs -mkdir -p /1daoyun/file
[hdfs@master root]$ exit
[root@master ~]# hadoop fs -put MapReduce/BigDataSkills.txt /1daoyun/file
[hdfs@master root]$ cd /usr/hdp/2.4.3.0-227/hadoop-mapreduce/
[hdfs@master hadoop-mapreduce]$ hadoop jar hadoop-mapreduce-examples.jar wordcount /1daoyun/file/ /1daoyun/output
[hdfs@master hadoop-mapreduce]$ hadoop fs -cat /1daoyun/output/part-r-00000
14.在集群节点中/usr/hdp/2.4.3.0-227/hadoop-mapreduce/目录下,存在一个案例 JAR 包hadoop-mapreduce-examples.jar。运行 JAR 包中的 sudoku 程序来计算下表中数独运算题的结果。运行完成后以文本形式提交以上操作命令和输出结果到答题框中。
[root@master ~]# hadoop jar /usr/hdp/2.4.3.0-227/hadoop-mapreduce/hadoop-mapreduce-examples.jar sudoku MapReduce/puzzle1.dta
15.在集群节点中/usr/hdp/2.4.3.0-227/hadoop-mapreduce/目录下,存在一个案例 JAR 包hadoop-mapreduce-examples.jar 。 运 行 JAR 包 中 的 grep 程 序 来 统 计 文 件 系 统 中/1daoyun/file/BigDataSkills.txt 文件中“Hadoop”出现的次数,统计完成后,查询统计结果信息。以文本形式提交以上操作命令和输出结果到答题框中。
[hdfs@master hadoop-mapreduce]$ hadoop jar hadoop-mapreduce-examples.jar grep /1daoyun/file/ /1daoyun/out 'Hadoop'
[hdfs@master hadoop-mapreduce]$ hadoop fs -cat /1daoyun/out/part-r-00000
上一篇:全国职业院校技能大赛云计算技术与应用大赛国赛题库答案(1)
下一篇:openstack——iaas先电云计算基础平台搭建