hadoop上路记 - 安装Centos&JDK

用户行为分析的数据快到亿级，想起hadoop，There is a will ,there is a way, 说干就配置。

身边只有两台跑数据的PC，暂于用于测试够了。

1、安装Centos 于 vmware：

Centos 版本找了一下，已经更新到了7.X

保守期间安装了6.8，怕一些新版本出现兼容性问题，不是X86的机器，只能选择I386，否则安装不上。

http://mirrors.aliyun.com/centos/6.8/isos/i386/

下载一个网络安装版，按提示加载ISO

选择URL 输入网址 http://mirrors.aliyun.com/centos/6/os/i386/

程序会自己寻找image/install.img

其它的按提示选择一下，我安装了basic server，不需要桌面及其它安装包，以提高下载和安装速度。

2、配置网络

Cenos 6.8安装完成，需要配置网络，以便用Secure CRT 连接。

毕竟VMWARE没有安装在我本机，需要通过mstsc运程，如果不配置内网访问，不能容忍。

本地VMware虚拟机，网络模式为NAT，现在需要局域网其他电脑通过ssh连接这台VMware虚拟机

宿主机地址：192.168.1.110

VMware虚拟机地址：192.168.253.119

添加 “端口映射”，如图，映射物理机22到虚机22（ssh端口），注意22端口要通过防火墙的设置

另外，需要在Centos 上设置static IP,否则下次会变。

[root@localhost local]# vi /etc/sysconfig/network-scripts/ifcfg-eth0 

DEVICE="eth0"
#BOOTPROTO="dhcp"  原来的注释掉
BOOTPROTO="static"
HWADDR="00:0C:29:14:85:AA"
IPADDR=192.168.253.119
GATEWAY=192.168.253.2
NETMASK=255.255.255.0
DNS1=192.168.253.2
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
UUID="5f7e6c5d-4e21-4796-8865-a7f38a4c27a6"

配置完成重起网络服务

service network restart或/etc/init.d/network restart

在本机通过telnet 看一下110的端口是否映射成功，发现telnet不可用：

那就去控制面板中开启吧 : 程序和功能-》打开或关闭Windows功能

再次尝试，telnet 192.168.1.110 22 成功

      这样就可以在我本地进行对办公室角落那台机器操作了~~

3、安装JDK1.8

原来的自带JDK1.7 ，为了配置hadoop 删除原来的jdk

[root@localhost local]# rpm -qa |grep openjdk -i

将列出来的安装包全删除，-i 忽略大小写

yum remove java-1.6.0-openjdk-1.6.0.41-1.13.13.1.el6_8.i686
yum remove java-1.7.0-openjdk-1.7.0.131-2.6.9.0.el6_8.i686

下载官网的JDK

版本有linux X86  X64两种，前面我们安装的是i386,

这里自然需要选择linux X86 安装包 jdk-8u144-linux-i586.tar.gz

解压至 /usr/local下面，命名为jdk即可

[root@localhost local]# ls 
bin  games    jdk                          lib      sbin   src
etc  include  jdk-8u144-linux-i586.tar.gz  libexec  share

配置环境变量 vi  /etc/profile

在文档最后增加配置

#JAVA Environment
export JAVA_HOME=/usr/local/jdk
export JRE_HOME=/usr/local/jre
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

export CLASSPATH=$CLASSPATH:.:$JAVA_HOME/lib:$JRE_HOME/lib

配置完成后更新  source /etc/profile

修改系统默认的JDK

    update-alternatives --install /usr/bin/java java /usr/local/jdk/bin/java 300
    update-alternatives --install /usr/bin/javac javac /usr/local/jdk/bin/javac 300
    update-alternatives --install /usr/bin/jar jar /usr/local/jdk/bin/jar 300
    update-alternatives --config java
    update-alternatives --config javac

测试结果正常

[root@localhost local]# java -version
java version "1.8.0_144"
Java(TM) SE Runtime Environment (build 1.8.0_144-b01)
Java HotSpot(TM) Client VM (build 25.144-b01, mixed mode)

如果提示出现

/usr/local/jdk/bin/java: cannot execute binary file

很可能是JDK 64 与LINUX  32，或JDK 32 LINUX 64位引起。直接下载更新即可，上面配置不变。

说完了JDK的环境配置，顺便聊聊CentOS 7自带的数据库MariaDB的设置。

现在，RHEL 7/CentOS 7自带的数据库都不再是MySQL了，而是MariaDB.

MariaDB默认的存储引擎是Maria，不是MyISAM。Maria可以支持事务，但是默认情况下没有打开，因为事务支持对性能会有影响。

可以通过以下语句，转换为支持事务的Maria引擎。ALTER TABLE `tablename` ENGINE=MARIA TRANSACTIONAL=1;