大数据工程师：大数据的java基础 第一周

1. java 版本：Java SE 标准版

                         Java EE 企业版

2. 查看Linux系统位数（32/64）：file /sbin/init

    

3. 删除OpenJDK命令：sudo apt-get purge openjdk-\*

4. jar 与 zip 压缩原理一致

5. 打包命令：jar -cfv test.jar Test.class

6. 运行jar包内某个可执行类：java -cp test.jar Test

7. 常见问题分析：java.lang.NoClassDefFoundError ==》 一般是ClASSPATH问题，少jar包

8. Hadoop 安装步骤：

    1. 创建Hadoop用户

         $ sudo addgroup hadoop

         $ sudo adduser --ingroup hadoop hduser

     2. 设置SSH

         $ su - hduser

         $ ssh-keygen -t rsa -P ""

         $ ssh-copy-id localhost

     3. 安装SSH

         $ sudo apt-get install ssh openssh-server

     4. 安装Hadoop

          $ cd /usr/local

          $ sudo tar xzf hadoop-1.0.3.tar.gz

          $ sudo mv hadoop-1.0.3 hadoop

          $ sudo chown -R hduser:hadoop hadoop

     5. 编辑环境变量

         修改$HOME/.bashrc或者/etc/profile：

         export HADOOP_HOME=/usr/local/hadoop

         unalias fs &> /dev/null

         alias fs="hadoop fs"

         unalias hls &> /dev/null

         alias hls="fs -ls“

         lzohead () { hadoop fs -cat $1 | lzop -dc | head -1000 | less }

         将$HADOOP_HOME/bin添加至$PATH

    6. 配置HDFS

        $ sudo mkdir -p /app/hadoop/tmp

        $ sudo chown hduser:hadoop /app/hadoop/tmp

        $ sudo chmod 750 /app/hadoop/tmp

       不设置组别权限，会遇到java.io.IOException，表示文件读写遇到异常情况

    7. 编辑hadoop配置文件

    8. 用hduser运行/usr/local/hadoop/bin/hadoop namenode –format来格式化文件系统

    9. /usr/local/hadoop/sbin/start-dfs.sh启动hadoop

9. 运行Hadoop MR例子：hadoop jar XXX.jar XXX