MAC安装Cloudera QuickStart VM+incubator-griffin相关配置过程

1. 加载镜像至VirtualBox中，处理器核数调整至最少2个，内存默认最小4096MB。

2. 在虚拟机配置中增加共享文件夹路径。

3. 我的Macbook多加了一个屏幕，第一次启动在独立屏上显示CENTOS界面，分辨率只有800*600，关闭，修改显存大小和VirtualBox的“偏好设置”，“显示”，最大屏幕尺寸为空。重启就好了。

4. Cloudera已经将所有组件都装好了，我是因为卸载重装了mysql，导致全部重来。 

5. 安装中文语言包。

    sudo yum groupinstall chinese-support

6. 启动中文输入法。

    System-Input Method

7. 设置virtualbox共享文件夹和粘贴板   

    7.1 VirtualBox--Device--Insert Guest Additions CD images,运行软件。

    7.2 mkdir /home/cloudera/Share

    7.3 sudo mount -t vboxsf SAIC /home/cloudera/Share

    7.4 sudo usermod -aG vboxsf cloudera

8. Eclipse添加GRIFFIN的GIT项目。

    git://git.apache.org/incubator-griffin.git

    Import as general project

9. 安装livy

    http://blog.cloudera.com/blog/2016/07/livy-the-open-source-rest-service-for-apache-spark-joins-cloudera-labs/ 下载livy

    9.1 解压，拷贝至/usr/lib目录（与cloudera各组件同目录，便于管理）

    9.2 修改环境变量配置

sudo vim /etc/profile

export SPARK_HOME=/usr/lib/spark

export HADOOP_CONF_DIR=/etc/hadoop/conf

    9.3 其余修改见http://blog.csdn.net/dockj/article/details/53328800?utm_source=itdadao&utm_medium=referral

  备注：根据此文章修改/etc/profile文件，livy并没有识别到spark_home（原因：需要source /etc/profile使其修改生效），所以我修改了/usr/lib/livy/conf/livy-env.sh此文件中的spark_home。

10. 安装ElasticSearch

   10.1 jdk必须是8，不知道与CDH的兼容性如何

10. 编译Griffin项目

    http://blog.csdn.net/u011017511/article/details/52799205

    Griffin的GITHUB链接git://git.apache.org/incubator-griffin.git

    10.1 Eclipse环境问题

    Cloudera本身提供的eclipse不是J2EE版本，在从GIT中导入Griffin后，没有找到Project Facets，所以重新下载安装一个Eclipse for JEE版本，QuickStart 10.5的虚拟机暂时只支持LUNA的eclipse版本，更高版本的eclipse开发环境会报SWT和MOZILLA_FIVE_HOME的错误。

    10.2 JDK版本问题

QuickStart 10.5默认安装JDK7，但是Griffin需要JDK8，所以要手动安装JDK8，在eclipse中手动新增JRE的环境变量，Window-preference-Installed JREs-Add，JDK8的安装路径。

    10.3 用maven同步后，获得可开发项目。

    10.4 安装scala和m2e scala这两个开发插件。

m2e-scala用来支持scala开发中对maven的一些定制功能。通过eclipse的Install New Software安装。
Install New Software需要输入url，url为：http://alchim31.free.fr/m2e-scala/update-site/

11. 启动Cloudera hadoop (如果没有启动kerberos, 针对hdfs的命令要加sudo -u hdfs)

11.1  启动zookeeper sudo service zookeeper-server start

11.2  启动hdfs

for x in `cd /etc/init.d ; ls hadoop-hdfs-*` ; do sudo service $x start ; done

如果本机器第一次启动namenode

sudo -u hdfs hdfs namenode -format

如果/tmp路径不存在，需要新建此文件夹的命令

sudo -u hdfs hadoop fs -mkdir /tmp

sudo -u hdfs fs -chmod -R 1777 /tmp

11.3 启动HttpFS sudo service hadoop-httpfs start

11.4 启动YARN sudo -u hdfs hadoop fs -mkdir -p /user/history

sudo -u hdfs hadoop fs -chmod -R 1777 /user/history

sudo -u hdfs hadoop fs -chown mapred:hadoop /user/history

sudo service hadoop-yarn-resourcemanager start

sudo service hadoop-yarn-nodemanager start

sudo service hadoop-mapreduce-historyserver start

sudo -u hdfs hadoop fs -mkdir /user/cloudera

sudo -u hdfs hadoop fs -chown cloudera /user/cloudera

11.5 启动HBase sudo service hbase-master start

11.6 启动Hive sudo service hive-metastore start

sudo service hive-server2 start