大数据比赛相关问题hadoop

yum源配置

发信号给 yum 进程：pkill -9 yum
 进入 yum 源配置文件：cd /etc/yum.repos.d
 删除所有文件：rm -rf * 
 下载 yum 源：wget http://10.10.30.2:8000/bigdata/repofile/bigdata.repo
 清除 YUM 缓存：yum clean all

hbase

export HBASE_MANAGES_ZK=false
export JAVA_HOME=/usr/java/jdk1.8.0_171
export HBASE_CLASSPATH=/usr/hadoop/hadoop-2.7.3/etc/hadoop

配置 conf/hbase-site.xml 文件

<property>
 <name>hbase.rootdir</name>
 <value>hdfs://master:9000/hbase</value>
</property>
<property>
 <name>hbase.cluster.distributed</name>
 <value>true</value>
</property>
<property>
 <name>hbase.master</name>
 <value>hdfs://master:6000</value>
</property>
<property>
 <name>hbase.zookeeper.quorum</name>
 <value>master,slave1,slave2</value>
</property>
<property>
 <name>hbase.zookeeper.property.dataDir</name>
 <value>/usr/zookeeper/zookeeper-3.4.10</value>
</property>

4. 配置 conf/regionservers，添加子节点
在这里列出了希望运行的全部 HRegionServer，一行写一个 host (就 Hadoop 里面的 slaver 
一样)。列在这里的 server 会随着集群的启动而启动，集群的停止而停止。
5.hadoop 配置文件拷入 hbase 的目录下(当前目录为/usr/hbase/hbase-1.2.4/conf) 
cp /usr/hadoop/hadoop-2.7.3/etc/hadoop/hdfs-site.xml . 
cp /usr/hadoop/hadoop-2.7.3/etc/hadoop/core-site.xml .
6.分发 hbase 到子节点
 scp -r /usr/hbase root@slave1:/usr/
 scp -r /usr/hbase root@slave2:/usr/
7.配置环境变量（三台机器）
 vim /etc/profile
配置环境变量 Hbase
# set hbase environment
export HBASE_HOME=/usr/hbase/hbase-1.2.4
export PATH=$PATH:$HBASE_HOME/bin
 生效环境变量：source /etc/profile
9. 运行和测试，在 master 上执行(保证 hadoop 和 zookeeper 已开启)

hive

mysql

slave2
安装 MySQL：yum -y install mysql-community-server

2.启动服务
⚫ 重载所有修改过的配置文件：systemctl daemon-reload
⚫ 开启服务：systemctl start mysqld
⚫ 开机自启：systemctl enable mysqld

⚫ 获取初密码： grep "temporary password" /var/log/mysqld.log
⚫ 登陆 MySQL：mysql -uroot -p（注意中英文）
 设置密码强度为低级：set global validate_password_policy=0;
⚫ 设置密码长度：set global validate_password_length=4;
⚫ 修改本地密码：alter user 'root'@'localhost' identified by '123456';
⚫ 退出：\q

⚫ 以新密码登陆 MySQL：mysql -uroot -p123456
⚫ 创建用户：create user 'root'@'%' identified by '123456';
⚫ 允许远程连接：grant all privileges on *.* to 'root'@'%' with grant option;
⚫ 刷新权限：flush privileges;

创建数据库 test

hive

⚫ mkdir -p /usr/hive
master 中将 hive 文件复制到 slave1：
⚫ scp -r /usr/hive/apache-hive-2.1.1-bin root@slave1:/usr/hive/

环境变量

由于客户端需要和 hadoop 通信，所以需要更改 Hadoop 中 jline 的版本。即保留一个高版
本的 jline jar 包，从 hive 的 lib 包中拷贝到 Hadoop 中 lib 位置为
/usr/hadoop/hadoop-2.7.3/share/hadoop/yarn/lib。（master 中执行）
⚫ cp /usr/hive/apache-hive-2.1.1-bin/lib/jline-2.12.jar 
/usr/hadoop/hadoop-2.7.3/share/hadoop/yarn/lib/

因为服务端需要和 Mysql 通信，所以服务端需要将 Mysql 的依赖包放在 Hive 的 lib 目录
下。（slave1 中进行） ⚫ cd /usr/hive/apache-hive-2.1.1-bin/lib 
⚫ wget http://10.10.30.2:8000/bigdata/bigdata_tar/mysql-connector-java-5.1.47-bin.jar

cp 出hive_env.sh

hive-env.sh 文件中修改 HADOOP_HOME 环境变量。
HADOOP_HOME=/usr/hadoop/hadoop-2.7.3

修改 hive-site.xml 文件

<configuration>
<!-- Hive 产生的元数据存放位置-->
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive_remote/warehouse</value>
</property>
<!-- 数据库连接 JDBC 的 URL 地址-->
<property>
<name>javax.jdo.option.ConnectionURL</name> 
<value>jdbc:mysql://slave2:3306/hive?createDatabaseIfNotExist=true</value>
</property>
<!-- 数据库连接 driver，即 MySQL 驱动-->
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<!-- MySQL 数据库用户名-->
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<!-- MySQL 数据库密码-->
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
</property>
<property>
<name>hive.metastore.schema.verification</name>
<value>false</value>
</property>
<property>
<name>datanucleus.schema.autoCreateAll</name>
<value>true</value>
</property>
</configuration>

master配置hive-site.xml 文件

<configuration>
<!-- Hive 产生的元数据存放位置-->
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive_remote/warehouse</value>
</property>
<!--- 使用本地服务连接 Hive,默认为 true-->
<property>
<name>hive.metastore.local</name>
<value>false</value>
</property>
<!-- 连接服务器-->
<property>
<name>hive.metastore.uris</name>
<value>thrift://slave1:9083</value>
</property>
</configuration>

1.启动 hive server 服务（slave1 上）
⚫ bin/hive --service metastore（注意空格）
2.启动 hive client(master 上) ⚫ bin/hive
测试 hive 是否启动成功
⚫ hive>show databases;
创建数据库 hive_db
⚫ hive>create database hive_db

7、Spark 安装

7.1 安装 scala 环境
任务要求如下：（三台机器）
1.从本地源下载相应安装包，创建对应工作目录/usr/scala，并将工具解压至工作目录。
2.配置 scala 的环境变量并生效：
3.查看 scala 是否安装成功：

7.2 安装 Spark
任务要求如下：
1.从本地源下载相应安装包，创建对应工作目录/usr/spark，将工具解压至工作目录；
2.配置 conf/spark-env.sh 文件，设置要求如下；
设置 master 为 SPARK 主节点 IP（SPARK_MASTER_IP）
设置 SCALA_HOME、JAVA_HOME、HADOOP_HOME
设置 Hadoop 配置目录路径（HADOOP_CONF_DIR）
设置 spark 工作内存为 8G（SPARK_WORKER_MEMORY）
3.配置 spark 从节点，修改 slaves 文件；
提示：注意 slaves 节点中只包含节点信息，其他注释不需要。
4.向所有子节点发送 spark 配置好的安装包；
提示：即要求三台节点 spark 配置一致即可。
5.设置 SPARK_HOME 环境变量，将$SPARK_HOME/bin 加入到 PATH；
6.开启 spark 服务；
提示：主节点执行