Hadoop2-Hadoop安装与配置

在安装配置大数据环境的时候，一定要注意版本的兼容性。

1. JDK环境安装配置

2. 设置SSH无密登录    

ssh-keygen -t rsa
cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

验证：ssh locahost

3. 配置Hadoop（hadoop-env.sh,core-site.xml,hdfs-site.xml,mapred-site.xml）

下载hadoop.gz

tar -zxvf hadoop.gz -C /home/app

【hadoop-env.sh修改内容如下】
             
            export JAVA_HOME=/opt/jdk
        
        【core-site.xml的修改内容如下】            
            <configuration>
                <property>
                    <name>fs.default.name</name>
                    <value>hdfs://hadoop:9000</value>

                </property>
                <property>
                    <name>hadoop.tmp.dir</name>
                    <value>/opt/hadoop/tmp</value>
                </property>
            </configuration>
        【hdfs-site.xml的修改内容如下】
            <configuration>
                <property>
                    <name>dfs.replication</name>
                    <value>1</value>
                </property>
                <property>
                    <name>dfs.permissions</name>
                    <value>false</value>
                </property>
            </configuration>
        【mapred-site.xml的修改内容如下】
            <configuration>
                <property>
                    <name>mapred.job.tracker</name>
                    <value>hadoop:9001</value>
                    <description>change your own hostname</description>
                </property>
            </configuration>

执行命令 hadoop namenode -format 对hadoop进行格式化

执行命令 start-all.sh启动

    验证：
    <1>执行命令jps，发现5个java进程，分别是                                                       NameNode,SecondaryNameNode,DataNode,JobTracker,TaskTracker
    <2>通过浏览器http://hadoop:50070 和 http://hadoop:50030

4. 常见问题

    NameNode进程没有启动成功
        （1）没有格式化
        （2）配置文件 *
        （3）hostname与ip没有绑定
        （4）SSH免密码登录没有配置成功

5. 多次格式化namenode也是错误的

 解决方法：删除/opt/hadoop/tmp文件夹，重新格式化

6. Hadoop初步使用

首先启动Hadoop，执行start-all命令
常用命令如下
hadoop fs -ls / 列出根目录下文件
hadoop fs -ls 列出用户目录下文件
hadoop fs -lsr 递归列出目录文件
hadoop fs -mkdir -P /user/sheldonwong 递归创建文件
hadoop fs -rm -R /tmp/* 递归删除文件

==============================================

Spark安装配置

1. 下载

2. 配置环境变量

export SPARK_HOME=
export PATH=$PATH:$SPARK_HOME/bin

3. 配置Spark（Spark-env.sh,Slaves）

Spark-env.sh

export JAVA_HOME=
export SCALA_HOME=
export HADOOP_HOME=
export HADOOP_CONF_DIR=

export SPARK_MASTER_IP=SparkMaster
export SPARK_WORKER_MEMORY=4g
export SPARK_WORKER_CORES=2
export SPARK_WORKER_INSTANCES=1

- JAVA_HOME：Java安装目录 
- SCALA_HOME：Scala安装目录 
- HADOOP_HOME：hadoop安装目录 
- HADOOP_CONF_DIR：hadoop集群的配置文件的目录 
- SPARK_MASTER_IP：spark集群的Master节点的ip地址 
- SPARK_WORKER_MEMORY：每个worker节点能够最大分配给exectors的内存大小 
- SPARK_WORKER_CORES：每个worker节点所占有的CPU核数目 
- SPARK_WORKER_INSTANCES：每台机器上开启的worker节点的数目

Slaves

vi conf/slaves
SparkWorker1
SparkWorker2

4. 初次使用

spark-shell

pyspark

spark-submit

===========================================

Hive 安装配置

1. 下载Hive

tar -zxvf hive.gz -C ~/app/

2. 配置环境变量

export HIVE_HOME=
export HIVE_CONF_DIR=/$HIVE_HOME/conf
export PATH=PATH:HIVE_HOME/bin

3. 配置Hive(hive-env.sh, hive-site.xml)

cp hive-env.sh.template hive-env.sh

export HADOOP_HOME=
export HIVE_HOME=
export HIVE_CONF_DIR=/$HIVE_HOME/conf

cp hive-default.xml.template hive-site.xml

<configuration>

<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://slq1:3306/hive?createDatabaseIfNotExist=true</value>
</property>

<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>

<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>

<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
</property>

<property>
<name>hive.metastore.dir</name>
<value>/user/hive/warehouse</value>
</property> 

</configuration>

4. 安装MySQL

sudo apt-get install mysql-server

5. 在hdfs中新建hive要用到的文件

hadoop fs -mkdir -p /user/hive/warehouse  
hadoop fs -mkdir -p /user/hive/tmp  
hadoop fs -mkdir -p /user/hive/log  
hadoop fs -chmod -R 777 /user/hive/warehouse  
hadoop fs -chmod -R 777 /user/hive/tmp  
hadoop fs -chmod -R 777 /user/hive/log 

6. 初次使用

creeate database hive;

use hive;

create table person(name String,age int);

insert into person values(‘sheldon’,’22’);

select * from person