各种软件的按装

这里有个文章写的挺好：https://www.yiibai.com/hive/hive_installation.html

1. JAVA10

• 安装包下载地址：http://download.oracle.com/otn-pub/java/jdk/10.0.2+13/19aef61b38124481863b1413dce1855f/jdk-10.0.2_linux-x64_bin.tar.gz
• 解压：tar -zxvf jdk-10.0.1_linux-x64_bin.tar.gz
• 移动到系统文件夹：sudo mv jdk-10.0.1 /usr/lib/
• 设置环境bian变量：sudo vim /etc/profile
• 添加如下：

export JAVA_HOME=/usr/lib/jdk-10.0.1
export CLASSPATH=.:${JAVA_HOME}/lib
export PATH=.:${JAVA_HOME}/bin:$PATH

• 使配置生效：

source /etc/profile

• 解决sudo java zhao找不到的问题：
  • sudo vim /etc/sudoers
  • 修改Defaults secure_path：在结尾处添加：/usr/lib/Jdk-10.0.2/bin （java/bin的地址）

2. SSH免密登陆

• 安装SSH：

sudo apt-get install ssh openssh-server

• 创建ssh-key，用rsa方式，要求输入就一直敲回车键

ssh-keygen -t rsa -P ""

• 将公钥传入传入authorized_key

cat ~/.ssh/id_rsa.pub >> authorized_keys

• 验证，不需要设置密码即标志成功：

ssh localhost

3. Hadoop（首先建立SSH免密登陆）

• 添加Hadoop用户组和用户

sudo su
addgroup hadoop
adduser --ingroup hadoop hadoop            
password hadoop  //为hadoop账号设置密码
adduser hadoop sudo
su hadoop

• 解压安装包和移动到到目标文件夹

mv ~/下载/hadoop-3.0.0.tar.gz /usr/local/hadoop
tar -xvf /usr/local/hadoop/hadoop-3.0.0.tar.gz

• 伪分布式配置（所有的配置文件都在/usr/local/hadoop/etc/hadoop文件夹下）

core-site.xml

<configuration>
        <property>
             <name>hadoop.tmp.dir</name>
             <value>file:/usr/local/hadoop/tmp</value>
             <description>Abase for other temporary directories.</description>
        </property>
        <property>
             <name>fs.defaultFS</name>
             <value>hdfs://localhost:9000</value>
        </property>
</configuration>

• hadoop-env.sh，修改JAVA_HOME

export JAVA_HOME=JAVA_HOME环境变量的值

• hdfs-site.xml

 <configuration>
            <property>
                 <name>dfs.replication</name>
                 <value>1</value>
            </property>
            <property>
                 <name>dfs.namenode.name.dir</name>
                 <value>file:/usr/local/hadoop/tmp/dfs/name</value>
            </property>
            <property>
                 <name>dfs.datanode.data.dir</name>
                 <value>file:/usr/local/hadoop/tmp/dfs/data</value>
            </property>
    </configuration>

• 配置完后，运行NameNode格式化

/usr/local/hadoop/bin/hdfs namenode -format

• 验证：运行jsp应该出现如下结果：
•    
• 最后查看网页localhost:50070
• 运行一个程序验证一下，会出现3.200000000的结果

cd /usr/local/hadoop/share/hadoop/mapreduce/
hadoop jar ./hadoop-mapreduce-examples-3.0.0.jar pi 10 10

• 启动：sbin/start-all.sh 或者sbin/start-dfs.sh sbin/start-yarn.sh

4. MySql

• sudo apt-get install mysql-server
• sudo apt-get install mysql-client

5. Hive

• 下载Hive，这个地方遇到个坑，貌似2.x版本的Hadoop和0.9版本的Hive比较搭
• 下载JDBC 驱动：http://dev.mysql.com/downloads/connector/j/
• 以root身份进入MySql，创建数据库hive和用户hadoop

mysql -u root -p;
create database hive;
GRANT all ON hive.* TO hadoop@'localhost' IDENTIFIED BY 'hadoop';
flush privileges;

• 解压Hive

tar –zxvf  /usr/local/hadoop/hive  hive-0.9.tar.gz

• 在/usr/local/hadoop/hive/hive-0.9/conf 下创建hive-site.xml，内容如下：

• 在/usr/local/hadoop/hive-0.9/bin 修改hive-config.sh，添加3条export语句：

• 

• 将下载的mysql-connector-java-5.1.38中的jline-2.12.jar复制到/usr/local/hadoop/hive/hive-0.9/lib/中

  cp /home/hadoop/mysql-connector-java-5.1.38/jline-2.12.jar   /usr/local/hadoop/hive/hive-0.9/lib

  以root身份在/etc/profile文件尾添加，并用source /etc/profile使其生效

• 

• 运行Hive，进入bin目录运行 

  ./hive