安装zeppelin安装spark ha集群

安装zeppelin

 

1 .默认安装好spark集群

2 .安装zeppelin

     1 .解压安装包

         tar zxvf zeppelin- 0.5 . 5 -incubating-bin-all.tgz

     2 .配置环境变量

         vim /etc/profile

         

         #zeppelin

         export ZEPPELIN_HOME=/opt/zeppelin- 0.5 . 5

         

         #CLASSPATH

         export CLASSPATH=$CLASSPATH:$ZEPPELIN_HOME/lib

         

         #PATH

         export PATH=$PATH:$ZEPPELIN_HOME/bin

         

        保存退出

         source /etc/profile

我们的/etc/profile配置如下

export LANG=zh_CN.GBK

export LC_ALL=zh_CN.GBK

export PATH=$PATH:/usr/local/python2.7.6/bin/

export JAVA_HOME=/usr/java/jdk1.8.0_101

export CLASSPATH=$JAVA_HOME/lib/tools.jar

export PATH=$JAVA_HOME/bin:$PATH

export PATH="/usr/local/mysql/bin:$PATH"

#set for nodejs

export NODE_HOME=/usr/local/nodejs

export PATH=$NODE_HOME/bin:$PATH

PATH="/usr/local/mysql/bin:$PATH"

        

     3 .修改配置文件

         cd /opt/zeppelin- 0.5 . 5

         

         1 .根据模板复制相关配置文件

             cp zeppelin-env.sh.template zeppelin-env.sh

             cp zeppelin-site.xml.template zeppelin-site.xml

         2 .创建相关目录

             mkdir /opt/zeppelin- 0.5 . 5 /logs

             mkdir /opt/zeppelin- 0.5 . 5 /tmp

         3 .修改配置文件参数

         

             ####zeppelin-env.sh####

             export JAVA_HOME=/usr/java/jdk1. 8 .0_65

             export HADOOP_CONF_DIR=/opt/hadoop-2.5.2/etc/hadoop   //如果需要读取hdfs的文件  则必须配置此条

 

             export MASTER=spark://hadoop.master:7077      //使用spark 集群模式

             export SPARK_HOME=/opt/spark- 1.6 . 0

             export SPARK_SUBMIT_OPTIONS= "--driver-memory 500M --executor-memory 500m"    //可以根据实际内存情况进行调整

 

             export ZEPPELIN_JAVA_OPTS= "-Dspark.executor.memory=500m -Dspark.cores.max=1"   //可以根据实际内存情况进行调整

             export ZEPPELIN_MEM= "-Xmx500m -XX:MaxPermSize=500m"      //可以根据实际内存情况进行调整

             export ZEPPELIN_LOG_DIR=/opt/zeppelin- 0.5 . 6 /logs

             

我们的zeppelin-env.sh配置如下

export  SPARK_MASTER_IP=127.0.0.1

export  SPARK_LOCAL_IP=127.0.0.1

export ZEPPELIN_MEM="-Xms1024m -Xmx16384m -XX:MaxPermSize=16384m"

             

             ####zeppelin-site.xml####

             <property>

               <name>zeppelin.server.addr</name>

               <value>hadoop.slaver3</value>          //主机名或Ip  当前主机

               <description>Server address</description>

             </property>

 

             <property>

               <name>zeppelin.server.port</name>

               <value> 8084 </value>                         //不一定非要一致  但这个端口是通过web访问的端口

               <description>Server port.</description>

             </property>

             

         4 .启动

             zeppelin-daemon.sh start

         5 .验证

             主机名:端口     //能显示界面则表示安装成功

            

安装spark ha集群

1 .默认安装好hadoop+zookeeper

2 .安装scala

     1 .解压安装包

         tar zxvf scala- 2.11 . 7 .tgz

     2 .配置环境变量

         vim /etc/profile

         

         #scala

         export SCALA_HOME=/opt/scala- 2.11 . 7

         

         #CLASSPATH

         export CLASSPATH=$CLASSPATH:$SCALA_HOME/lib

         

         #PATH

         export PATH=$PATH:$SCALA_HOME/bin

         

         保存退出

         

         source /etc/profile

     3 .验证

         scala -version

                 

3 .安装spark

     1 .解压安装包

         tar zxvf spark- 1.6 . 0 -bin-hadoop2. 4 .tgz

     2 .配置环境变量

         vim /etc/profile

         

         #spark

         export SPARK_HOME=/opt/spark- 1.6 . 0

         

         #CLASSPATH

         export CLASSPATH=$CLASSPATH:$SPARK_HOME/lib

         

         #PATH

         export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

         

         保存退出

         

        source /etc/profile




我们的/etc/profile配置如下

export LANG=zh_CN.GBK

export LC_ALL=zh_CN.GBK

export PATH=$PATH:/usr/local/python2.7.6/bin/

export JAVA_HOME=/usr/java/jdk1.8.0_101

export CLASSPATH=$JAVA_HOME/lib/tools.jar

export PATH=$JAVA_HOME/bin:$PATH

export PATH="/usr/local/mysql/bin:$PATH"

#set for nodejs

export NODE_HOME=/usr/local/nodejs

export PATH=$NODE_HOME/bin:$PATH

PATH="/usr/local/mysql/bin:$PATH"




         

     3 .修改配置文件

         1 .根据模板复制相关配置文件

             cp spark-env.sh.template spark-env.sh

             cp slaves.template slaves

             cp log4j.properties.template log4j.properties

             cp spark-defaults.conf.template spark-defaults.conf

         2 .创建相关目录

             mkdir /opt/spark- 1.6 . 0 /logs

             mkdir /opt/spark- 1.6 . 0 /tmp

             hadoop fs -mkdir /spark //在hdfs上创建存储spark的任务日志文件

         3 .修改配置文件参数

             ####spark-env.sh#### 最后加入 其中hadoop.master为主节点 hadoop.slaver1为备份主节点

             export SPARK_DAEMON_JAVA_OPTS= "-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hadoop.master:2181,hadoop.slaver1:2181 -Dspark.deploy.zookeeper.dir=/spark"

             export JAVA_HOME=/usr/java/jdk1. 8 .0_65

             export SPARK_WORKER_CORES= 1

             export SPARK_WORKER_INSTANCES= 1

            export SPARK_WORKER_MEMORY=1g




我们的spark-env.sh配置如下

export SPARK_DIST_CLASSPATH=$(/home/haoren/soft/hadoop/bin/hadoop classpath)

#export SPARK_CLASSPATH=$SPARK_CLASSPATH:/home/haoren/soft/mysql-connector-java-5.1.40.jar

#export SPARK_MASTER_PORT=17077

#export SPARK_MASTER_HOST=222.192.205.26

#export SPARK_MASTER_WEBUI_PORT=18082

​


             

             ####slaves####将所有的从节点主机名加入

             hadoop.slaver1

             hadoop.slaver2

             hadoop.slaver3

             

             ####log4j.properties####

             无需修改

             

             

             ####spark-defaults.conf####

             spark.eventLog.enabled   true

             spark.eventLog.dir      hdfs: //ns1:8020/spark

             spark.history.fs.logDirectory      hdfs: //ns1:8020/spark

             spark.eventLog.compress  true

             

     4 .分发到各个节点

         scp -r /opt/spark- 1.6 . 0  hadoop @hadoop .slaver1:/opt

         scp -r /opt/spark- 1.6 . 0  hadoop @hadoop .slaver2:/opt

         scp -r /opt/spark- 1.6 . 0  hadoop @hadoop .slaver3:/opt

     5 .启动

         //先启动zookeeper 和 hdfs

         sbin/start-all.sh    //注意切换目录  不然跟hadoop的start-all 冲突

         

         spark-shell --master spark: //hadoop.master:7077  //集群模式启动客户端

         spark-shell      //单机模式启动客户端

     6 .验证

         1 .jps

         2 .web

             节点主机名: 8080   //如果采用默认端口的話则是8080  主节点web

             节点主机名: 18080   //主节点 历史任务web

             节点主机名: 4040    //子节点正在进行任务web

         3 .HA

             在备份主机节点执行 start-master.sh命令

             然后在主机节点把master进程kill掉，此时会自行切换至备份节点(需要几秒钟的缓冲时间)

     7 .常用命令

         1 .启动

             start-all.sh   //注意切换目录

             start-master.sh

             stop-master.sh

             start-slave.sh 主节点: 7077   //默认端口  如果不修改的話

             start-history-server.sh    //启动任务历史服务

         2 .使用

             1 .本机模式

                 运行 spark-shell

             2 .yarn

                 打包运行jar包

                 spark-submit

                 --master spark: //spark113:7077

                 -- class  org.apache.spark.examples.SparkPi

                 --name Spark-Pi --executor-memory 400M

                 --driver-memory 512M

                 /opt/spark- 1.6 . 0 /lib/spark-examples- 1.6 . 0 -hadoop2. 4.0 .jar

             3 .wordcount

                 val file=sc.textFile( "hdfs://ns1:8020/huangzhijian/test.dat" )

                 val count=file.flatMap(line => line.split( " " )).map(word => (word, 1 )).reduceByKey(_+_)

                 count.saveAsTextFile( "hdfs://ns1:8020/output" )  //需保证hdfs上该目录不存在

             

转自 http://www.cnblogs.com/ciade/p/5141264.html

cd /home/haoren/soft


总用量 1482780
-rw-r--r--  1 haoren haoren 214092195 10月 11 04:25 hadoop-2.7.3.tar.gz
drwxr-xr-x 11 haoren haoren      4096 10月 11 08:38 hadoop-2.7.3
-rw-r--r--  1 haoren haoren 187275308 10月 12 04:06 spark-2.0.1-bin-hadoop2.7.tgz
-rw-r--r--  1 haoren haoren 541835755 10月 12 15:04 zeppelin-0.6.1-bin-all.tgz
-rw-r--r--  1 haoren haoren 573146004 10月 18 10:36 zeppelin-0.6.2-bin-all.tgz
-rw-rw-r--  1 haoren haoren    983911 10月 18 13:25 mysql-connector-java-5.1.38.jar
-rw-rw-r--  1 haoren haoren    990924 10月 19 03:47 mysql-connector-java-5.1.40.jar
lrwxrwxrwx  1 haoren haoren        43 10月 19 04:12 spark -> /home/haoren/soft/spark-2.0.1-bin-hadoop2.7
lrwxrwxrwx  1 haoren haoren        40 10月 20 08:49 zeppelin -> /home/haoren/soft/zeppelin-0.6.2-bin-all
drwxr-xr-x 14 haoren haoren      4096 10月 21 03:51 spark-2.0.1-bin-hadoop2.7
drwxrwxr-x  2 haoren haoren      4096 11月 17 11:52 python
drwxrwxr-x  3 haoren haoren      4096 11月 24 10:11 hadoop
drwxr-xr-x 13 haoren haoren      4096 3月  14 04:36 zeppelin-0.6.2-bin-all






cd /home/haoren/soft/zeppelin-0.6.2-bin-all/


-rw-r--r--  1 haoren haoren 1791620 10月 12 08:52 zeppelin-web-0.6.2.war
-rw-r--r--  1 haoren haoren  100895 10月 12 08:52 zeppelin-server-0.6.2.jar
-rw-r--r--  1 haoren haoren    8921 10月 12 08:52 README.md
-rw-r--r--  1 haoren haoren    5620 10月 12 08:54 NOTICE
-rw-r--r--  1 haoren haoren   40276 10月 12 08:54 LICENSE
drwxr-xr-x  2 haoren haoren    4096 10月 20 08:49 licenses
drwxr-xr-x 20 haoren haoren    4096 10月 20 08:49 interpreter
drwxr-xr-x  3 haoren haoren    4096 11月 29 03:51 spark-warehouse
drwxr-xr-x  2 haoren haoren   12288 12月  7 14:12 lib
drwxr-xr-x 19 haoren haoren    4096 2月  13 08:23 notebook
drwxr-xr-x  3 haoren haoren    4096 2月  14 03:13 bin
drwxr-xr-x  2 haoren haoren    4096 2月  14 03:15 conf
drwxrwxr-x  5 haoren haoren    4096 2月  22 06:23 metastore_db
-rw-rw-r--  1 haoren haoren   20892 2月  22 06:23 derby.log
drwxrwxr-x  3 haoren haoren    4096 3月  14 04:36 webapps
drwxrwxr-x  2 haoren haoren    4096 3月  14 04:37 run
drwxrwxr-x  2 haoren haoren   28672 3月  23 03:47 logs 




[haoren@IM-SJ01-Server18 zeppelin-0.6.2-bin-all]$ cd interpreter/
[haoren@IM-SJ01-Server18 interpreter]$ ll
总用量 72
drwxr-xr-x 2 haoren haoren 4096 10月 20 08:49 alluxio
drwxr-xr-x 2 haoren haoren 4096 10月 20 08:49 angular
drwxr-xr-x 2 haoren haoren 4096 10月 20 08:49 bqsql
drwxr-xr-x 2 haoren haoren 4096 10月 20 08:49 cassandra
drwxr-xr-x 2 haoren haoren 4096 10月 20 08:49 elasticsearch
drwxr-xr-x 2 haoren haoren 4096 10月 20 08:49 file
drwxr-xr-x 2 haoren haoren 4096 10月 20 08:49 flink
drwxr-xr-x 2 haoren haoren 4096 10月 20 08:49 hbase
drwxr-xr-x 2 haoren haoren 4096 10月 20 08:49 ignite
drwxr-xr-x 2 haoren haoren 4096 10月 20 08:49 jdbc
drwxr-xr-x 2 haoren haoren 4096 10月 20 08:49 kylin
drwxr-xr-x 2 haoren haoren 4096 10月 20 08:49 lens
drwxr-xr-x 2 haoren haoren 4096 10月 20 08:49 livy
drwxr-xr-x 2 haoren haoren 4096 10月 20 08:49 md
drwxr-xr-x 2 haoren haoren 4096 10月 20 08:49 psql
drwxr-xr-x 2 haoren haoren 4096 10月 20 08:49 python
drwxr-xr-x 2 haoren haoren 4096 10月 20 08:49 sh
drwxr-xr-x 5 haoren haoren 4096 10月 12 08:52 spark




[haoren@IM-SJ01-Server18 interpreter]$ cd spark/
[haoren@IM-SJ01-Server18 spark]$ 
[haoren@IM-SJ01-Server18 spark]$ 
[haoren@IM-SJ01-Server18 spark]$ ll -rt
总用量 8824
-rw-r--r-- 1 haoren haoren 9023355 10月 12 08:52 zeppelin-spark_2.11-0.6.2.jar
drwxr-xr-x 3 haoren haoren    4096 10月 20 08:49 R
drwxr-xr-x 2 haoren haoren    4096 10月 20 08:49 pyspark
drwxr-xr-x 2 haoren haoren    4096 10月 20 08:49 dep




[haoren@IM-SJ01-Server18 zeppelin-0.6.2-bin-all]$ cd lib/
[haoren@IM-SJ01-Server18 lib]$ pwd
/home/haoren/soft/zeppelin-0.6.2-bin-all/lib
[haoren@IM-SJ01-Server18 lib]$ 
[haoren@IM-SJ01-Server18 lib]$ ll -rt
总用量 74956
-rw-r--r-- 1 haoren haoren   181421 10月 12 08:52 zeppelin-zengine-0.6.2.jar
-rw-r--r-- 1 haoren haoren  6598422 10月 12 08:52 zeppelin-interpreter-0.6.2.jar
-rw-r--r-- 1 haoren haoren    94672 10月 12 08:52 xz-1.0.jar
-rw-r--r-- 1 haoren haoren   162818 10月 12 08:52 xmlschema-core-2.0.3.jar
-rw-r--r-- 1 haoren haoren    15010 10月 12 08:52 xmlenc-0.52.jar
-rw-r--r-- 1 haoren haoren   220536 10月 12 08:52 xml-apis-1.4.01.jar
-rw-r--r-- 1 haoren haoren   186758 10月 12 08:52 wsdl4j-1.6.3.jar
-rw-r--r-- 1 haoren haoren   482245 10月 12 08:52 woodstox-core-asl-4.2.0.jar
-rw-r--r-- 1 haoren haoren    18300 10月 12 08:52 websocket-servlet-9.2.15.v20160210.jar
-rw-r--r-- 1 haoren haoren    37716 10月 12 08:52 websocket-server-9.2.15.v20160210.jar
-rw-r--r-- 1 haoren haoren   180260 10月 12 08:52 websocket-common-9.2.15.v20160210.jar
-rw-r--r-- 1 haoren haoren    36258 10月 12 08:52 websocket-client-9.2.15.v20160210.jar
-rw-r--r-- 1 haoren haoren    44049 10月 12 08:52 websocket-api-9.2.15.v20160210.jar
-rw-r--r-- 1 haoren haoren   182112 10月 12 08:52 stax2-api-3.1.1.jar
-rw-r--r-- 1 haoren haoren     8866 10月 12 08:52 slf4j-log4j12-1.7.10.jar
-rw-r--r-- 1 haoren haoren    32119 10月 12 08:52 slf4j-api-1.7.10.jar
-rw-r--r-- 1 haoren haoren    25429 10月 12 08:52 regexp-1.3.jar
-rw-r--r-- 1 haoren haoren   102696 10月 12 08:52 reflections-0.9.8.jar
-rw-r--r-- 1 haoren haoren   660316 10月 12 08:52 quartz-2.2.1.jar
-rw-r--r-- 1 haoren haoren   533455 10月 12 08:52 protobuf-java-2.5.0.jar
-rw-r--r-- 1 haoren haoren   250546 10月 12 08:52 plexus-utils-1.5.6.jar
-rw-r--r-- 1 haoren haoren  2162975 10月 12 08:52 org.eclipse.jgit-4.1.1.201511131810-r.jar
-rw-r--r-- 1 haoren haoren     4399 10月 12 08:52 org.eclipse.jdt.annotation-1.1.0.jar
-rw-r--r-- 1 haoren haoren    69858 10月 12 08:52 maven-scm-provider-svnexe-1.4.jar
-rw-r--r-- 1 haoren haoren    40066 10月 12 08:52 maven-scm-provider-svn-commons-1.4.jar
-rw-r--r-- 1 haoren haoren    94421 10月 12 08:52 maven-scm-api-1.4.jar
-rw-r--r-- 1 haoren haoren   266751 10月 12 08:52 lucene-sandbox-5.3.1.jar
-rw-r--r-- 1 haoren haoren   401310 10月 12 08:52 lucene-queryparser-5.3.1.jar
-rw-r--r-- 1 haoren haoren   212088 10月 12 08:52 lucene-queries-5.3.1.jar
-rw-r--r-- 1 haoren haoren    33291 10月 12 08:52 lucene-memory-5.3.1.jar
-rw-r--r-- 1 haoren haoren   119046 10月 12 08:52 lucene-join-5.3.1.jar
-rw-r--r-- 1 haoren haoren   144470 10月 12 08:52 lucene-highlighter-5.3.1.jar
-rw-r--r-- 1 haoren haoren  2356393 10月 12 08:52 lucene-core-5.3.1.jar
-rw-r--r-- 1 haoren haoren  1562970 10月 12 08:52 lucene-analyzers-common-5.3.1.jar
-rw-r--r-- 1 haoren haoren   489884 10月 12 08:52 log4j-1.2.17.jar
-rw-r--r-- 1 haoren haoren    33015 10月 12 08:52 jsr305-1.3.9.jar
-rw-r--r-- 1 haoren haoren   100636 10月 12 08:52 jsp-api-2.1.jar
-rw-r--r-- 1 haoren haoren   280205 10月 12 08:52 jsch-0.1.53.jar
-rw-r--r-- 1 haoren haoren   621931 10月 12 08:52 joda-time-2.8.1.jar
-rw-r--r-- 1 haoren haoren    44133 10月 12 08:52 jetty-xml-9.2.15.v20160210.jar
-rw-r--r-- 1 haoren haoren   107861 10月 12 08:52 jetty-webapp-9.2.15.v20160210.jar
-rw-r--r-- 1 haoren haoren   368398 10月 12 08:52 jetty-util-9.2.15.v20160210.jar
-rw-r--r-- 1 haoren haoren   177131 10月 12 08:52 jetty-util-6.1.26.jar
-rw-r--r-- 1 haoren haoren   115718 10月 12 08:52 jetty-servlet-9.2.15.v20160210.jar
-rw-r--r-- 1 haoren haoren   419101 10月 12 08:52 jetty-server-9.2.15.v20160210.jar
-rw-r--r-- 1 haoren haoren    95897 10月 12 08:52 jetty-security-9.2.15.v20160210.jar
-rw-r--r-- 1 haoren haoren   108321 10月 12 08:52 jetty-io-9.2.15.v20160210.jar
-rw-r--r-- 1 haoren haoren   126765 10月 12 08:52 jetty-http-9.2.15.v20160210.jar
-rw-r--r-- 1 haoren haoren   234216 10月 12 08:52 jetty-client-9.2.15.v20160210.jar
-rw-r--r-- 1 haoren haoren   539912 10月 12 08:52 jetty-6.1.26.jar
-rw-r--r-- 1 haoren haoren   539735 10月 12 08:52 jets3t-0.9.0.jar
-rw-r--r-- 1 haoren haoren   125580 10月 12 08:52 jersey-servlet-1.13.jar
-rw-r--r-- 1 haoren haoren   600112 10月 12 08:52 jersey-server-1.13.jar
-rw-r--r-- 1 haoren haoren   465649 10月 12 08:52 jersey-core-1.13.jar
-rw-r--r-- 1 haoren haoren  1112659 10月 12 08:52 jaxb-impl-2.2.6.jar
-rw-r--r-- 1 haoren haoren    95806 10月 12 08:52 javax.servlet-api-3.1.0.jar
-rw-r--r-- 1 haoren haoren    18490 10月 12 08:52 java-xmlbuilder-0.4.jar
-rw-r--r-- 1 haoren haoren   644148 10月 12 08:52 javassist-3.12.1.GA.jar
-rw-r--r-- 1 haoren haoren   125146 10月 12 08:52 JavaEWAH-0.7.9.jar
-rw-r--r-- 1 haoren haoren    76844 10月 12 08:52 jasper-runtime-5.5.23.jar
-rw-r--r-- 1 haoren haoren   408133 10月 12 08:52 jasper-compiler-5.5.23.jar
-rw-r--r-- 1 haoren haoren   780664 10月 12 08:52 jackson-mapper-asl-1.9.13.jar
-rw-r--r-- 1 haoren haoren   232248 10月 12 08:52 jackson-core-asl-1.9.13.jar
-rw-r--r-- 1 haoren haoren   303094 10月 12 08:52 jackrabbit-webdav-1.5.2.jar
-rw-r--r-- 1 haoren haoren   202835 10月 12 08:52 jackrabbit-jcr-commons-1.5.2.jar
-rw-r--r-- 1 haoren haoren   282793 10月 12 08:52 httpcore-4.3.3.jar
-rw-r--r-- 1 haoren haoren   592008 10月 12 08:52 httpclient-4.3.6.jar
-rw-r--r-- 1 haoren haoren    31212 10月 12 08:52 htrace-core-3.0.4.jar
-rw-r--r-- 1 haoren haoren  2172168 10月 12 08:52 guava-15.0.jar
-rw-r--r-- 1 haoren haoren   189612 10月 12 08:52 gson-2.2.jar
-rw-r--r-- 1 haoren haoren    96323 10月 12 08:52 geronimo-servlet_3.0_spec-1.0.jar
-rw-r--r-- 1 haoren haoren   223298 10月 12 08:52 geronimo-javamail_1.4_spec-1.7.1.jar
-rw-r--r-- 1 haoren haoren   313898 10月 12 08:52 dom4j-1.6.1.jar
-rw-r--r-- 1 haoren haoren    96631 10月 12 08:52 cxf-rt-transports-http-jetty-2.7.7.jar
-rw-r--r-- 1 haoren haoren   255839 10月 12 08:52 cxf-rt-transports-http-2.7.7.jar
-rw-r--r-- 1 haoren haoren   636458 10月 12 08:52 cxf-rt-frontend-jaxrs-2.7.7.jar
-rw-r--r-- 1 haoren haoren   407248 10月 12 08:52 cxf-rt-core-2.7.7.jar
-rw-r--r-- 1 haoren haoren    38694 10月 12 08:52 cxf-rt-bindings-xml-2.7.7.jar
-rw-r--r-- 1 haoren haoren  1089367 10月 12 08:52 cxf-api-2.7.7.jar
-rw-r--r-- 1 haoren haoren   248171 10月 12 08:52 curator-recipes-2.6.0.jar
-rw-r--r-- 1 haoren haoren   185245 10月 12 08:52 curator-framework-2.6.0.jar
-rw-r--r-- 1 haoren haoren    68866 10月 12 08:52 curator-client-2.6.0.jar
-rw-r--r-- 1 haoren haoren   415578 10月 12 08:52 commons-vfs2-2.0.jar
-rw-r--r-- 1 haoren haoren   273370 10月 12 08:52 commons-net-3.1.jar
-rw-r--r-- 1 haoren haoren  1599627 10月 12 08:52 commons-math3-3.1.1.jar
-rw-r--r-- 1 haoren haoren    60686 10月 12 08:52 commons-logging-1.1.1.jar
-rw-r--r-- 1 haoren haoren   279193 10月 12 08:52 commons-lang-2.5.jar
-rw-r--r-- 1 haoren haoren   185140 10月 12 08:52 commons-io-2.4.jar
-rw-r--r-- 1 haoren haoren   279383 10月 12 08:52 commons-httpclient-3.0.jar
-rw-r--r-- 1 haoren haoren   112341 10月 12 08:52 commons-el-1.0.jar
-rw-r--r-- 1 haoren haoren   358048 10月 12 08:52 commons-configuration-1.9.jar
-rw-r--r-- 1 haoren haoren   241367 10月 12 08:52 commons-compress-1.4.1.jar
-rw-r--r-- 1 haoren haoren   575389 10月 12 08:52 commons-collections-3.2.1.jar
-rw-r--r-- 1 haoren haoren    73098 10月 12 08:52 commons-codec-1.5.jar
-rw-r--r-- 1 haoren haoren    41123 10月 12 08:52 commons-cli-1.2.jar
-rw-r--r-- 1 haoren haoren   608376 10月 12 08:52 c3p0-0.9.1.1.jar
-rw-r--r-- 1 haoren haoren   697311 10月 12 08:52 azure-storage-4.0.0.jar
-rw-r--r-- 1 haoren haoren   614130 10月 12 08:52 aws-java-sdk-s3-1.10.62.jar
-rw-r--r-- 1 haoren haoren   345506 10月 12 08:52 aws-java-sdk-kms-1.10.62.jar
-rw-r--r-- 1 haoren haoren   592622 10月 12 08:52 aws-java-sdk-core-1.10.62.jar
-rw-r--r-- 1 haoren haoren    43033 10月 12 08:52 asm-3.1.jar
-rw-r--r-- 1 haoren haoren    79912 10月 12 08:52 api-util-1.0.0-M20.jar
-rw-r--r-- 1 haoren haoren    16560 10月 12 08:52 api-asn1-api-1.0.0-M20.jar
-rw-r--r-- 1 haoren haoren   691479 10月 12 08:52 apacheds-kerberos-codec-2.0.0-M15.jar
-rw-r--r-- 1 haoren haoren    44925 10月 12 08:52 apacheds-i18n-2.0.0-M15.jar
-rw-r--r-- 1 haoren haoren   142474 10月 12 08:52 shiro-web-1.2.3.jar
-rw-r--r-- 1 haoren haoren   367458 10月 12 08:52 shiro-core-1.2.3.jar
-rw-r--r-- 1 haoren haoren   648678 10月 12 08:52 scala-xml_2.11-1.0.2.jar
-rw-r--r-- 1 haoren haoren  4576443 10月 12 08:52 scala-reflect-2.11.7.jar
-rw-r--r-- 1 haoren haoren   423753 10月 12 08:52 scala-parser-combinators_2.11-1.0.4.jar
-rw-r--r-- 1 haoren haoren  5745606 10月 12 08:52 scala-library-2.11.7.jar
-rw-r--r-- 1 haoren haoren 15244851 10月 12 08:52 scala-compiler-2.11.7.jar
-rw-r--r-- 1 haoren haoren   110928 10月 12 08:52 javax.ws.rs-api-2.0-m10.jar
-rw-r--r-- 1 haoren haoren   232019 10月 12 08:52 commons-beanutils-1.8.3.jar
-rw-rw-r-- 1 haoren haoren   990924 10月 20 08:56 mysql-connector-java-5.1.40.jar
-rw-r--r-- 1 haoren haoren  1171380 10月 20 09:13 jackson-databind-2.6.5.jar
-rw-r--r-- 1 haoren haoren   258876 10月 20 09:13 jackson-core-2.6.5.jar
-rw-r--r-- 1 haoren haoren    46983 10月 20 09:13 jackson-annotations-2.6.5.jar
-rw-r--r-- 1 haoren haoren    40863 10月 20 09:24 hadoop-annotations-2.7.3.jar
-rw-r--r-- 1 haoren haoren    94150 10月 20 09:24 hadoop-auth-2.7.3.jar
-rw-r--r-- 1 haoren haoren  3479293 10月 20 09:24 hadoop-common-2.7.3.jar
-rw-r--r-- 1 haoren haoren   660209 12月  7 14:10 elasticsearch-spark-20_2.11-5.0.2.jar






cd /home/haoren/soft/zeppelin-0.6.2-bin-all/conf


[haoren@IM-SJ01-Server18 conf]$ ll -rt
总用量 96
-rwxr-xr-x 1 haoren haoren 10340 10月 12 08:52 zeppelin-site.xml.template
-rw-r--r-- 1 haoren haoren  5290 10月 12 08:52 zeppelin-env.sh.template
-rw-r--r-- 1 haoren haoren  4731 10月 12 08:52 zeppelin-env.cmd.template
-rw-r--r-- 1 haoren haoren  1651 10月 12 08:52 README.md
-rw-r--r-- 1 haoren haoren  1382 10月 12 08:52 log4j.properties
-rw-r--r-- 1 haoren haoren  2463 10月 12 08:52 interpreter-list
-rw-r--r-- 1 haoren haoren  1326 10月 12 08:52 configuration.xsl
-rwxr-xr-x 1 haoren haoren 10341 10月 20 08:50 zeppelin-site.xml
-rw-r--r-- 1 haoren haoren  3612 12月 23 12:51 shiro.ini
-rw-rw-r-- 1 haoren haoren 23075 2月  10 02:53 interpreter.json
-rw-rw-r-- 1 haoren haoren  1337 2月  13 08:23 notebook-authorization.json
-rw-r--r-- 1 haoren haoren  5516 2月  14 03:15 zeppelin-env.sh


[haoren@IM-SJ01-Server18 conf]$ grep -v "#" zeppelin-env.sh


export ZEPPELIN_JAVA_OPTS="-Dspark.executor.memory=16g -Dspark.cores.max=24"




export  SPARK_MASTER_IP=127.0.0.1
export  SPARK_LOCAL_IP=127.0.0.1
export ZEPPELIN_MEM="-Xms1024m -Xmx16384m -XX:MaxPermSize=16384m"  


[haoren@IM-SJ01-Server18 conf]$ grep -v "#" shiro.ini


[users]
admin = haoren@123.com_z
user1 = password2, role1, role2
user2 = password3, role3
user3 = password4, role2

z = z@haoren123, role1
y = yn@haoren124
l = l@haoren333


[main]


sessionManager = org.apache.shiro.web.session.mgt.DefaultWebSessionManager


securityManager.sessionManager = $sessionManager
securityManager.sessionManager.globalSessionTimeout = 86400000
shiro.loginUrl = /api/login


[roles]
role1 = *
role2 = *
role3 = *


[urls]
/api/version = anon
/** = authc 



[haoren@IM-SJ01-Server18 conf]$  cat zeppelin-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
   Licensed to the Apache Software Foundation (ASF) under one or more
   contributor license agreements.  See the NOTICE file distributed with
   this work for additional information regarding copyright ownership.
   The ASF licenses this file to You under the Apache License, Version 2.0
   (the "License"); you may not use this file except in compliance with
   the License.  You may obtain a copy of the License at


       http://www.apache.org/licenses/LICENSE-2.0


   Unless required by applicable law or agreed to in writing, software
   distributed under the License is distributed on an "AS IS" BASIS,
   WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
   See the License for the specific language governing permissions and
   limitations under the License.
-->


<configuration>


<property>
  <name>zeppelin.server.addr</name>
  <value>0.0.0.0</value>
  <description>Server address</description>
</property>


<property>
  <name>zeppelin.server.port</name>
  <value>18081</value>
  <description>Server port.</description>
</property>


<property>
  <name>zeppelin.server.context.path</name>
  <value>/</value>
  <description>Context Path of the Web Application</description>
</property>


<property>
  <name>zeppelin.war.tempdir</name>
  <value>webapps</value>
  <description>Location of jetty temporary directory</description>
</property>


<property>
  <name>zeppelin.notebook.dir</name>
  <value>notebook</value>
  <description>path or URI for notebook persist</description>
</property>


<property>
  <name>zeppelin.notebook.homescreen</name>
  <value></value>
  <description>id of notebook to be displayed in homescreen. ex) 2A94M5J1Z Empty value displays default home screen</description>
</property>


<property>
  <name>zeppelin.notebook.homescreen.hide</name>
  <value>false</value>
  <description>hide homescreen notebook from list when this value set to true</description>
</property>




<!-- Amazon S3 notebook storage -->
<!-- Creates the following directory structure: s3://{bucket}/{username}/{notebook-id}/note.json -->
<!--
<property>
  <name>zeppelin.notebook.s3.user</name>
  <value>user</value>
  <description>user name for s3 folder structure</description>
</property>


<property>
  <name>zeppelin.notebook.s3.bucket</name>
  <value>zeppelin</value>
  <description>bucket name for notebook storage</description>
</property>


<property>
  <name>zeppelin.notebook.s3.endpoint</name>
  <value>s3.amazonaws.com</value>
  <description>endpoint for s3 bucket</description>
</property>


<property>
  <name>zeppelin.notebook.storage</name>
  <value>org.apache.zeppelin.notebook.repo.S3NotebookRepo</value>
  <description>notebook persistence layer implementation</description>
</property>
-->


<!-- Additionally, encryption is supported for notebook data stored in S3 -->
<!-- Use the AWS KMS to encrypt data -->
<!-- If used, the EC2 role assigned to the EMR cluster must have rights to use the given key -->
<!-- See https://aws.amazon.com/kms/ and http://docs.aws.amazon.com/kms/latest/developerguide/concepts.html -->
<!--
<property>
  <name>zeppelin.notebook.s3.kmsKeyID</name>
  <value>AWS-KMS-Key-UUID</value>
  <description>AWS KMS key ID used to encrypt notebook data in S3</description>
</property>
-->


<!-- Use a custom encryption materials provider to encrypt data -->
<!-- No configuration is given to the provider, so you must use system properties or another means to configure -->
<!-- See https://docs.aws.amazon.com/AWSJavaSDK/latest/javadoc/com/amazonaws/services/s3/model/EncryptionMaterialsProvider.html -->
<!--
<property>
  <name>zeppelin.notebook.s3.encryptionMaterialsProvider</name>
  <value>provider implementation class name</value>
  <description>Custom encryption materials provider used to encrypt notebook data in S3</description>
</property>
-->




<!-- If using Azure for storage use the following settings -->
<!--
<property>
  <name>zeppelin.notebook.azure.connectionString</name>
  <value>DefaultEndpointsProtocol=https;AccountName=<accountName>;AccountKey=<accountKey></value>
  <description>Azure account credentials</description>
</property>


<property>
  <name>zeppelin.notebook.azure.share</name>
  <value>zeppelin</value>
  <description>share name for notebook storage</description>
</property>


<property>
  <name>zeppelin.notebook.azure.user</name>
  <value>user</value>
  <description>optional user name for Azure folder structure</description>
</property>


<property>
  <name>zeppelin.notebook.storage</name>
  <value>org.apache.zeppelin.notebook.repo.AzureNotebookRepo</value>
  <description>notebook persistence layer implementation</description>
</property>
-->


<!-- For versioning your local notebook storage using Git repository
<property>
  <name>zeppelin.notebook.storage</name>
  <value>org.apache.zeppelin.notebook.repo.GitNotebookRepo</value>
  <description>notebook persistence layer implementation</description>
</property>
-->


<!-- For connecting your Zeppelin with ZeppelinHub -->
<!--
<property>
  <name>zeppelin.notebook.storage</name>
  <value>org.apache.zeppelin.notebook.repo.VFSNotebookRepo, org.apache.zeppelin.notebook.repo.zeppelinhub.ZeppelinHubRepo</value>
  <description>two notebook persistence layers (local + ZeppelinHub)</description>
</property>
-->


<property>
  <name>zeppelin.notebook.storage</name>
  <value>org.apache.zeppelin.notebook.repo.VFSNotebookRepo</value>
  <description>notebook persistence layer implementation</description>
</property>


<property>
  <name>zeppelin.interpreter.dir</name>
  <value>interpreter</value>
  <description>Interpreter implementation base directory</description>
</property>


<property>
  <name>zeppelin.interpreter.localRepo</name>
  <value>local-repo</value>
  <description>Local repository for interpreter's additional dependency loading</description>
</property>


<property>
  <name>zeppelin.interpreters</name>
  <value>org.apache.zeppelin.spark.SparkInterpreter,org.apache.zeppelin.spark.PySparkInterpreter,org.apache.zeppelin.rinterpreter.RRepl,org.apache.zeppelin.rinterpreter.KnitR,org.apache.zeppelin.spark.SparkRInterpreter,org.apache.zeppelin.spark.SparkSqlInterpreter,org.apache.zeppelin.spark.DepInterpreter,org.apache.zeppelin.markdown.Markdown,org.apache.zeppelin.angular.AngularInterpreter,org.apache.zeppelin.shell.ShellInterpreter,org.apache.zeppelin.file.HDFSFileInterpreter,org.apache.zeppelin.flink.FlinkInterpreter,,org.apache.zeppelin.python.PythonInterpreter,org.apache.zeppelin.lens.LensInterpreter,org.apache.zeppelin.ignite.IgniteInterpreter,org.apache.zeppelin.ignite.IgniteSqlInterpreter,org.apache.zeppelin.cassandra.CassandraInterpreter,org.apache.zeppelin.geode.GeodeOqlInterpreter,org.apache.zeppelin.postgresql.PostgreSqlInterpreter,org.apache.zeppelin.jdbc.JDBCInterpreter,org.apache.zeppelin.kylin.KylinInterpreter,org.apache.zeppelin.elasticsearch.ElasticsearchInterpreter,org.apache.zeppelin.scalding.ScaldingInterpreter,org.apache.zeppelin.alluxio.AlluxioInterpreter,org.apache.zeppelin.hbase.HbaseInterpreter,org.apache.zeppelin.livy.LivySparkInterpreter,org.apache.zeppelin.livy.LivyPySparkInterpreter,org.apache.zeppelin.livy.LivySparkRInterpreter,org.apache.zeppelin.livy.LivySparkSQLInterpreter,org.apache.zeppelin.bigquery.BigQueryInterpreter</value>
  <description>Comma separated interpreter configurations. First interpreter become a default</description>
</property>


<property>
  <name>zeppelin.interpreter.group.order</name>
  <value>spark,md,angular,sh,livy,alluxio,file,psql,flink,python,ignite,lens,cassandra,geode,kylin,elasticsearch,scalding,jdbc,hbase,bigquery</value>
  <description></description>
</property>


<property>
  <name>zeppelin.interpreter.connect.timeout</name>
  <value>30000</value>
  <description>Interpreter process connect timeout in msec.</description>
</property>




<property>
  <name>zeppelin.ssl</name>
  <value>false</value>
  <description>Should SSL be used by the servers?</description>
</property>


<property>
  <name>zeppelin.ssl.client.auth</name>
  <value>false</value>
  <description>Should client authentication be used for SSL connections?</description>
</property>


<property>
  <name>zeppelin.ssl.keystore.path</name>
  <value>keystore</value>
  <description>Path to keystore relative to Zeppelin configuration directory</description>
</property>


<property>
  <name>zeppelin.ssl.keystore.type</name>
  <value>JKS</value>
  <description>The format of the given keystore (e.g. JKS or PKCS12)</description>
</property>


<property>
  <name>zeppelin.ssl.keystore.password</name>
  <value>change me</value>
  <description>Keystore password. Can be obfuscated by the Jetty Password tool</description>
</property>


<!--
<property>
  <name>zeppelin.ssl.key.manager.password</name>
  <value>change me</value>
  <description>Key Manager password. Defaults to keystore password. Can be obfuscated.</description>
</property>
-->


<property>
  <name>zeppelin.ssl.truststore.path</name>
  <value>truststore</value>
  <description>Path to truststore relative to Zeppelin configuration directory. Defaults to the keystore path</description>
</property>


<property>
  <name>zeppelin.ssl.truststore.type</name>
  <value>JKS</value>
  <description>The format of the given truststore (e.g. JKS or PKCS12). Defaults to the same type as the keystore type</description>
</property>


<!--
<property>
  <name>zeppelin.ssl.truststore.password</name>
  <value>change me</value>
  <description>Truststore password. Can be obfuscated by the Jetty Password tool. Defaults to the keystore password</description>
</property>
-->


<property>
  <name>zeppelin.server.allowed.origins</name>
  <value>*</value>
  <description>Allowed sources for REST and WebSocket requests (i.e. http://onehost:8080,http://otherhost.com). If you leave * you are vulnerable to https://issues.apache.org/jira/browse/ZEPPELIN-173</description>
</property>


<property>
  <name>zeppelin.anonymous.allowed</name>
  <value>true</value>
  <description>Anonymous user allowed by default</description>
</property>


<property>
  <name>zeppelin.websocket.max.text.message.size</name>
  <value>1024000</value>
  <description>Size in characters of the maximum text message to be received by websocket. Defaults to 1024000</description>
</property>


</configuration> 




cd /home/haoren/soft/spark-2.0.1-bin-hadoop2.7


[haoren@IM-SJ01-Server18 spark-2.0.1-bin-hadoop2.7]$ ll -rt
总用量 120
drwxr-xr-x 2 haoren haoren  4096 9月  29 00:03 yarn
-rw-r--r-- 1 haoren haoren   120 9月  29 00:03 RELEASE
drwxr-xr-x 3 haoren haoren  4096 9月  29 00:03 R
drwxr-xr-x 6 haoren haoren  4096 9月  29 00:03 python
-rw-r--r-- 1 haoren haoren 24749 9月  29 00:03 NOTICE
drwxr-xr-x 2 haoren haoren  4096 9月  29 00:03 licenses
-rw-r--r-- 1 haoren haoren 17811 9月  29 00:03 LICENSE
drwxr-xr-x 4 haoren haoren  4096 9月  29 00:03 examples
drwxr-xr-x 5 haoren haoren  4096 9月  29 00:03 data
drwxr-xr-x 2 haoren haoren  4096 9月  29 00:03 bin
-rw-r--r-- 1 haoren haoren  3828 9月  29 00:03 README.md
drwxrwxr-x 2 haoren haoren  4096 10月 19 06:14 work
-rw-rw-r-- 1 haoren haoren  5014 10月 21 03:40 derby.log
drwxrwxr-x 2 haoren haoren  4096 10月 21 03:50 logs
drwxr-xr-x 2 haoren haoren  4096 10月 21 08:59 sbin
drwxr-xr-x 2 haoren haoren 12288 12月  7 13:40 jars
drwxr-xr-x 2 haoren haoren  4096 2月   9 10:00 conf 




[haoren@IM-SJ01-Server18 spark-2.0.1-bin-hadoop2.7]$ cd conf/
[haoren@IM-SJ01-Server18 conf]$ pwd
/home/haoren/soft/spark-2.0.1-bin-hadoop2.7/conf
[haoren@IM-SJ01-Server18 conf]$ ll -rt
总用量 40
-rwxr-xr-x 1 haoren haoren 3861 9月  29 00:03 spark-env.sh.template
-rw-r--r-- 1 haoren haoren 1292 9月  29 00:03 spark-defaults.conf.template
-rw-r--r-- 1 haoren haoren  865 9月  29 00:03 slaves.template
-rw-r--r-- 1 haoren haoren 7239 9月  29 00:03 metrics.properties.template
-rw-r--r-- 1 haoren haoren 2025 9月  29 00:03 log4j.properties.template
-rw-r--r-- 1 haoren haoren 1105 9月  29 00:03 fairscheduler.xml.template
-rw-r--r-- 1 haoren haoren  987 9月  29 00:03 docker.properties.template
-rwxr-xr-x 1 haoren haoren 4143 10月 20 08:48 spark-env.sh


[haoren@IM-SJ01-Server18 conf]$ pwd

/home/haoren/soft/spark-2.0.1-bin-hadoop2.7/conf

[haoren@IM-SJ01-Server18 conf]$ 

[haoren@IM-SJ01-Server18 conf]$ grep -v "#" spark-env.sh


export SPARK_DIST_CLASSPATH=$(/home/haoren/soft/hadoop/bin/hadoop classpath)


[haoren@IM-SJ01-Server18 jars]$ pwd

/home/haoren/soft/spark-2.0.1-bin-hadoop2.7/jars

[haoren@IM-SJ01-Server18 jars]$ 

[haoren@IM-SJ01-Server18 jars]$ ll -rt

总用量 189340
-rw-r--r-- 1 haoren haoren   792964 9月  29 00:03 zookeeper-3.4.6.jar
-rw-r--r-- 1 haoren haoren    94672 9月  29 00:03 xz-1.0.jar
-rw-r--r-- 1 haoren haoren    15010 9月  29 00:03 xmlenc-0.52.jar
-rw-r--r-- 1 haoren haoren  1229125 9月  29 00:03 xercesImpl-2.9.1.jar
-rw-r--r-- 1 haoren haoren   144660 9月  29 00:03 xbean-asm5-shaded-4.4.jar
-rw-r--r-- 1 haoren haoren    63777 9月  29 00:03 validation-api-1.1.0.Final.jar
-rw-r--r-- 1 haoren haoren   290506 9月  29 00:03 univocity-parsers-2.1.1.jar
-rw-r--r-- 1 haoren haoren    93210 9月  29 00:03 super-csv-2.2.0.jar
-rw-r--r-- 1 haoren haoren   148627 9月  29 00:03 stringtemplate-3.2.1.jar
-rw-r--r-- 1 haoren haoren   174351 9月  29 00:03 stream-2.7.0.jar
-rw-r--r-- 1 haoren haoren    23346 9月  29 00:03 stax-api-1.0-2.jar
-rw-r--r-- 1 haoren haoren    26514 9月  29 00:03 stax-api-1.0.1.jar
-rw-r--r-- 1 haoren haoren   236660 9月  29 00:03 ST4-4.0.4.jar
-rw-r--r-- 1 haoren haoren    86811 9月  29 00:03 spire-macros_2.11-0.7.4.jar
-rw-r--r-- 1 haoren haoren  7276083 9月  29 00:03 spire_2.11-0.7.4.jar
-rw-r--r-- 1 haoren haoren   669591 9月  29 00:03 spark-yarn_2.11-2.0.1.jar
-rw-r--r-- 1 haoren haoren    41072 9月  29 00:03 spark-unsafe_2.11-2.0.1.jar
-rw-r--r-- 1 haoren haoren    15304 9月  29 00:03 spark-tags_2.11-2.0.1.jar
-rw-r--r-- 1 haoren haoren  2090371 9月  29 00:03 spark-streaming_2.11-2.0.1.jar
-rw-r--r-- 1 haoren haoren  6290315 9月  29 00:03 spark-sql_2.11-2.0.1.jar
-rw-r--r-- 1 haoren haoren    29541 9月  29 00:03 spark-sketch_2.11-2.0.1.jar
-rw-r--r-- 1 haoren haoren    63318 9月  29 00:03 spark-repl_2.11-2.0.1.jar
-rw-r--r-- 1 haoren haoren    55513 9月  29 00:03 spark-network-shuffle_2.11-2.0.1.jar
-rw-r--r-- 1 haoren haoren  2355467 9月  29 00:03 spark-network-common_2.11-2.0.1.jar
-rw-r--r-- 1 haoren haoren   177833 9月  29 00:03 spark-mllib-local_2.11-2.0.1.jar
-rw-r--r-- 1 haoren haoren  5847592 9月  29 00:03 spark-mllib_2.11-2.0.1.jar
-rw-r--r-- 1 haoren haoren    65654 9月  29 00:03 spark-launcher_2.11-2.0.1.jar
-rw-r--r-- 1 haoren haoren  1814300 9月  29 00:03 spark-hive-thriftserver_2.11-2.0.1.jar
-rw-r--r-- 1 haoren haoren  1044501 9月  29 00:03 spark-hive_2.11-2.0.1.jar
-rw-r--r-- 1 haoren haoren   680108 9月  29 00:03 spark-graphx_2.11-2.0.1.jar
-rw-r--r-- 1 haoren haoren 11723542 9月  29 00:03 spark-core_2.11-2.0.1.jar
-rw-r--r-- 1 haoren haoren  6873895 9月  29 00:03 spark-catalyst_2.11-2.0.1.jar
-rw-r--r-- 1 haoren haoren  1056168 9月  29 00:03 snappy-java-1.1.2.6.jar
-rw-r--r-- 1 haoren haoren    48720 9月  29 00:03 snappy-0.2.jar
-rw-r--r-- 1 haoren haoren     9939 9月  29 00:03 slf4j-log4j12-1.7.16.jar
-rw-r--r-- 1 haoren haoren    40509 9月  29 00:03 slf4j-api-1.7.16.jar
-rw-r--r-- 1 haoren haoren   648678 9月  29 00:03 scala-xml_2.11-1.0.2.jar
-rw-r--r-- 1 haoren haoren  4573750 9月  29 00:03 scala-reflect-2.11.8.jar
-rw-r--r-- 1 haoren haoren   423753 9月  29 00:03 scala-parser-combinators_2.11-1.0.4.jar
-rw-r--r-- 1 haoren haoren   802818 9月  29 00:03 scalap-2.11.8.jar
-rw-r--r-- 1 haoren haoren  5744974 9月  29 00:03 scala-library-2.11.8.jar
-rw-r--r-- 1 haoren haoren 15487351 9月  29 00:03 scala-compiler-2.11.8.jar
-rw-r--r-- 1 haoren haoren   201928 9月  29 00:03 RoaringBitmap-0.5.11.jar
-rw-r--r-- 1 haoren haoren    93407 9月  29 00:03 pyrolite-4.9.jar
-rw-r--r-- 1 haoren haoren   114913 9月  29 00:03 py4j-0.10.3.jar
-rw-r--r-- 1 haoren haoren   533455 9月  29 00:03 protobuf-java-2.5.0.jar
-rw-r--r-- 1 haoren haoren     5310 9月  29 00:03 pmml-schema-1.2.15.jar
-rw-r--r-- 1 haoren haoren   654216 9月  29 00:03 pmml-model-1.2.15.jar
-rw-r--r-- 1 haoren haoren  1048110 9月  29 00:03 parquet-jackson-1.7.0.jar
-rw-r--r-- 1 haoren haoren  2796935 9月  29 00:03 parquet-hadoop-bundle-1.6.0.jar
-rw-r--r-- 1 haoren haoren   209622 9月  29 00:03 parquet-hadoop-1.7.0.jar
-rw-r--r-- 1 haoren haoren    21243 9月  29 00:03 parquet-generator-1.7.0.jar
-rw-r--r-- 1 haoren haoren   387188 9月  29 00:03 parquet-format-2.3.0-incubating.jar
-rw-r--r-- 1 haoren haoren   285447 9月  29 00:03 parquet-encoding-1.7.0.jar
-rw-r--r-- 1 haoren haoren    21575 9月  29 00:03 parquet-common-1.7.0.jar
-rw-r--r-- 1 haoren haoren   917052 9月  29 00:03 parquet-column-1.7.0.jar
-rw-r--r-- 1 haoren haoren    29555 9月  29 00:03 paranamer-2.3.jar
-rw-r--r-- 1 haoren haoren    20235 9月  29 00:03 osgi-resource-locator-1.0.1.jar
-rw-r--r-- 1 haoren haoren    65261 9月  29 00:03 oro-2.0.8.jar
-rw-r--r-- 1 haoren haoren    19827 9月  29 00:03 opencsv-2.3.jar
-rw-r--r-- 1 haoren haoren    41755 9月  29 00:03 objenesis-2.1.jar
-rw-r--r-- 1 haoren haoren  2054931 9月  29 00:03 netty-all-4.0.29.Final.jar
-rw-r--r-- 1 haoren haoren  1230201 9月  29 00:03 netty-3.8.0.Final.jar
-rw-r--r-- 1 haoren haoren   409467 9月  29 00:03 mx4j-3.0.2.jar
-rw-r--r-- 1 haoren haoren     5711 9月  29 00:03 minlog-1.3.0.jar
-rw-r--r-- 1 haoren haoren    39280 9月  29 00:03 metrics-jvm-3.1.2.jar
-rw-r--r-- 1 haoren haoren    15827 9月  29 00:03 metrics-json-3.1.2.jar
-rw-r--r-- 1 haoren haoren    20852 9月  29 00:03 metrics-graphite-3.1.2.jar
-rw-r--r-- 1 haoren haoren   112558 9月  29 00:03 metrics-core-3.1.2.jar
-rw-r--r-- 1 haoren haoren  1277883 9月  29 00:03 mesos-0.21.1-shaded-protobuf.jar
-rw-r--r-- 1 haoren haoren   521157 9月  29 00:03 mail-1.4.7.jar
-rw-r--r-- 1 haoren haoren   236880 9月  29 00:03 lz4-1.3.0.jar
-rw-r--r-- 1 haoren haoren   489884 9月  29 00:03 log4j-1.2.17.jar
-rw-r--r-- 1 haoren haoren   227712 9月  29 00:03 libthrift-0.9.2.jar
-rw-r--r-- 1 haoren haoren   313686 9月  29 00:03 libfb303-0.9.2.jar
-rw-r--r-- 1 haoren haoren  1045744 9月  29 00:03 leveldbjni-all-1.8.jar
-rw-r--r-- 1 haoren haoren   358390 9月  29 00:03 kryo-shaded-3.0.3.jar
-rw-r--r-- 1 haoren haoren     4596 9月  29 00:03 jul-to-slf4j-1.7.16.jar
-rw-r--r-- 1 haoren haoren   764569 9月  29 00:03 jtransforms-2.4.0.jar
-rw-r--r-- 1 haoren haoren    15071 9月  29 00:03 jta-1.1.jar
-rw-r--r-- 1 haoren haoren    33015 9月  29 00:03 jsr305-1.3.9.jar
-rw-r--r-- 1 haoren haoren   100636 9月  29 00:03 jsp-api-2.1.jar
-rw-r--r-- 1 haoren haoren    40341 9月  29 00:03 json4s-jackson_2.11-3.2.11.jar
-rw-r--r-- 1 haoren haoren   589462 9月  29 00:03 json4s-core_2.11-3.2.11.jar
-rw-r--r-- 1 haoren haoren    82421 9月  29 00:03 json4s-ast_2.11-3.2.11.jar
-rw-r--r-- 1 haoren haoren    45944 9月  29 00:03 json-20090211.jar
-rw-r--r-- 1 haoren haoren    12131 9月  29 00:03 jpam-1.1.jar
-rw-r--r-- 1 haoren haoren   427780 9月  29 00:03 jodd-core-3.5.2.jar
-rw-r--r-- 1 haoren haoren   627814 9月  29 00:03 joda-time-2.9.3.jar
-rw-r--r-- 1 haoren haoren   213911 9月  29 00:03 jline-2.12.1.jar
-rw-r--r-- 1 haoren haoren   177131 9月  29 00:03 jetty-util-6.1.26.jar
-rw-r--r-- 1 haoren haoren   539912 9月  29 00:03 jetty-6.1.26.jar
-rw-r--r-- 1 haoren haoren  2041628 9月  29 00:03 jets3t-0.9.3.jar
-rw-r--r-- 1 haoren haoren   951701 9月  29 00:03 jersey-server-2.22.2.jar
-rw-r--r-- 1 haoren haoren    72733 9月  29 00:03 jersey-media-jaxb-2.22.2.jar
-rw-r--r-- 1 haoren haoren   971310 9月  29 00:03 jersey-guava-2.22.2.jar
-rw-r--r-- 1 haoren haoren    66270 9月  29 00:03 jersey-container-servlet-core-2.22.2.jar
-rw-r--r-- 1 haoren haoren    18098 9月  29 00:03 jersey-container-servlet-2.22.2.jar
-rw-r--r-- 1 haoren haoren   698375 9月  29 00:03 jersey-common-2.22.2.jar
-rw-r--r-- 1 haoren haoren   167421 9月  29 00:03 jersey-client-2.22.2.jar
-rw-r--r-- 1 haoren haoren   201124 9月  29 00:03 jdo-api-3.0.1.jar
-rw-r--r-- 1 haoren haoren    16430 9月  29 00:03 jcl-over-slf4j-1.7.16.jar
-rw-r--r-- 1 haoren haoren   105134 9月  29 00:03 jaxb-api-2.2.2.jar
-rw-r--r-- 1 haoren haoren   395195 9月  29 00:03 javolution-5.5.1.jar
-rw-r--r-- 1 haoren haoren   115534 9月  29 00:03 javax.ws.rs-api-2.0.1.jar
-rw-r--r-- 1 haoren haoren    95806 9月  29 00:03 javax.servlet-api-3.1.0.jar
-rw-r--r-- 1 haoren haoren    10023 9月  29 00:03 java-xmlbuilder-1.0.jar
-rw-r--r-- 1 haoren haoren     5950 9月  29 00:03 javax.inject-2.4.0-b34.jar
-rw-r--r-- 1 haoren haoren     2497 9月  29 00:03 javax.inject-1.jar
-rw-r--r-- 1 haoren haoren    26366 9月  29 00:03 javax.annotation-api-1.2.jar
-rw-r--r-- 1 haoren haoren   714194 9月  29 00:03 javassist-3.18.1-GA.jar
-rw-r--r-- 1 haoren haoren    16993 9月  29 00:03 JavaEWAH-0.3.2.jar
-rw-r--r-- 1 haoren haoren   613299 9月  29 00:03 janino-2.7.8.jar
-rw-r--r-- 1 haoren haoren    27084 9月  29 00:03 jackson-xc-1.9.13.jar
-rw-r--r-- 1 haoren haoren   515604 9月  29 00:03 jackson-module-scala_2.11-2.6.5.jar
-rw-r--r-- 1 haoren haoren    41263 9月  29 00:03 jackson-module-paranamer-2.6.5.jar
-rw-r--r-- 1 haoren haoren   780664 9月  29 00:03 jackson-mapper-asl-1.9.13.jar
-rw-r--r-- 1 haoren haoren    18336 9月  29 00:03 jackson-jaxrs-1.9.13.jar
-rw-r--r-- 1 haoren haoren  1171380 9月  29 00:03 jackson-databind-2.6.5.jar
-rw-r--r-- 1 haoren haoren   232248 9月  29 00:03 jackson-core-asl-1.9.13.jar
-rw-r--r-- 1 haoren haoren   258876 9月  29 00:03 jackson-core-2.6.5.jar
-rw-r--r-- 1 haoren haoren    46983 9月  29 00:03 jackson-annotations-2.6.5.jar
-rw-r--r-- 1 haoren haoren  1282424 9月  29 00:03 ivy-2.4.0.jar
-rw-r--r-- 1 haoren haoren   326724 9月  29 00:03 httpcore-4.4.4.jar
-rw-r--r-- 1 haoren haoren   736658 9月  29 00:03 httpclient-4.5.2.jar
-rw-r--r-- 1 haoren haoren  1475955 9月  29 00:03 htrace-core-3.1.0-incubating.jar
-rw-r--r-- 1 haoren haoren   118973 9月  29 00:03 hk2-utils-2.4.0-b34.jar
-rw-r--r-- 1 haoren haoren   181271 9月  29 00:03 hk2-locator-2.4.0-b34.jar
-rw-r--r-- 1 haoren haoren   178947 9月  29 00:03 hk2-api-2.4.0-b34.jar
-rw-r--r-- 1 haoren haoren  5505200 9月  29 00:03 hive-metastore-1.2.1.spark2.jar
-rw-r--r-- 1 haoren haoren   100680 9月  29 00:03 hive-jdbc-1.2.1.spark2.jar
-rw-r--r-- 1 haoren haoren 11498852 9月  29 00:03 hive-exec-1.2.1.spark2.jar
-rw-r--r-- 1 haoren haoren    40817 9月  29 00:03 hive-cli-1.2.1.spark2.jar
-rw-r--r-- 1 haoren haoren   138464 9月  29 00:03 hive-beeline-1.2.1.spark2.jar
-rw-r--r-- 1 haoren haoren    58407 9月  29 00:03 hadoop-yarn-server-web-proxy-2.7.3.jar
-rw-r--r-- 1 haoren haoren   388235 9月  29 00:03 hadoop-yarn-server-common-2.7.3.jar
-rw-r--r-- 1 haoren haoren  1678642 9月  29 00:03 hadoop-yarn-common-2.7.3.jar
-rw-r--r-- 1 haoren haoren   165867 9月  29 00:03 hadoop-yarn-client-2.7.3.jar
-rw-r--r-- 1 haoren haoren  2039143 9月  29 00:03 hadoop-yarn-api-2.7.3.jar
-rw-r--r-- 1 haoren haoren    71737 9月  29 00:03 hadoop-mapreduce-client-shuffle-2.7.3.jar
-rw-r--r-- 1 haoren haoren    62304 9月  29 00:03 hadoop-mapreduce-client-jobclient-2.7.3.jar
-rw-r--r-- 1 haoren haoren  1556539 9月  29 00:03 hadoop-mapreduce-client-core-2.7.3.jar
-rw-r--r-- 1 haoren haoren   776634 9月  29 00:03 hadoop-mapreduce-client-common-2.7.3.jar
-rw-r--r-- 1 haoren haoren   542869 9月  29 00:03 hadoop-mapreduce-client-app-2.7.3.jar
-rw-r--r-- 1 haoren haoren  8316190 9月  29 00:03 hadoop-hdfs-2.7.3.jar
-rw-r--r-- 1 haoren haoren  3479293 9月  29 00:03 hadoop-common-2.7.3.jar
-rw-r--r-- 1 haoren haoren    26012 9月  29 00:03 hadoop-client-2.7.3.jar
-rw-r--r-- 1 haoren haoren    94150 9月  29 00:03 hadoop-auth-2.7.3.jar
-rw-r--r-- 1 haoren haoren    40863 9月  29 00:03 hadoop-annotations-2.7.3.jar
-rw-r--r-- 1 haoren haoren    65012 9月  29 00:03 guice-servlet-3.0.jar
-rw-r--r-- 1 haoren haoren   710492 9月  29 00:03 guice-3.0.jar
-rw-r--r-- 1 haoren haoren  2189117 9月  29 00:03 guava-14.0.1.jar
-rw-r--r-- 1 haoren haoren   190432 9月  29 00:03 gson-2.2.4.jar
-rw-r--r-- 1 haoren haoren    18482 9月  29 00:03 eigenbase-properties-1.1.5.jar
-rw-r--r-- 1 haoren haoren  3224708 9月  29 00:03 derby-10.12.1.1.jar
-rw-r--r-- 1 haoren haoren  1809447 9月  29 00:03 datanucleus-rdbms-3.2.9.jar
-rw-r--r-- 1 haoren haoren  1890075 9月  29 00:03 datanucleus-core-3.2.10.jar
-rw-r--r-- 1 haoren haoren   339666 9月  29 00:03 datanucleus-api-jdo-3.2.6.jar
-rw-r--r-- 1 haoren haoren   248171 9月  29 00:03 curator-recipes-2.6.0.jar
-rw-r--r-- 1 haoren haoren   185245 9月  29 00:03 curator-framework-2.6.0.jar
-rw-r--r-- 1 haoren haoren    68866 9月  29 00:03 curator-client-2.6.0.jar
-rw-r--r-- 1 haoren haoren   164422 9月  29 00:03 core-1.1.2.jar
-rw-r--r-- 1 haoren haoren    79845 9月  29 00:03 compress-lzf-1.0.3.jar
-rw-r--r-- 1 haoren haoren    96221 9月  29 00:03 commons-pool-1.5.4.jar
-rw-r--r-- 1 haoren haoren   212453 9月  29 00:03 commons-net-2.2.jar
-rw-r--r-- 1 haoren haoren  2035066 9月  29 00:03 commons-math3-3.4.1.jar
-rw-r--r-- 1 haoren haoren    62050 9月  29 00:03 commons-logging-1.1.3.jar
-rw-r--r-- 1 haoren haoren   412739 9月  29 00:03 commons-lang3-3.3.2.jar
-rw-r--r-- 1 haoren haoren   284220 9月  29 00:03 commons-lang-2.6.jar
-rw-r--r-- 1 haoren haoren   185140 9月  29 00:03 commons-io-2.4.jar
-rw-r--r-- 1 haoren haoren   305001 9月  29 00:03 commons-httpclient-3.1.jar
-rw-r--r-- 1 haoren haoren   143602 9月  29 00:03 commons-digester-1.8.jar
-rw-r--r-- 1 haoren haoren   160519 9月  29 00:03 commons-dbcp-1.4.jar
-rw-r--r-- 1 haoren haoren   298829 9月  29 00:03 commons-configuration-1.6.jar
-rw-r--r-- 1 haoren haoren   241367 9月  29 00:03 commons-compress-1.4.1.jar
-rw-r--r-- 1 haoren haoren    30595 9月  29 00:03 commons-compiler-2.7.6.jar
-rw-r--r-- 1 haoren haoren   588337 9月  29 00:03 commons-collections-3.2.2.jar
-rw-r--r-- 1 haoren haoren   284184 9月  29 00:03 commons-codec-1.10.jar
-rw-r--r-- 1 haoren haoren    41123 9月  29 00:03 commons-cli-1.2.jar
-rw-r--r-- 1 haoren haoren   206035 9月  29 00:03 commons-beanutils-core-1.8.0.jar
-rw-r--r-- 1 haoren haoren   188671 9月  29 00:03 commons-beanutils-1.7.0.jar
-rw-r--r-- 1 haoren haoren    50619 9月  29 00:03 chill-java-0.8.0.jar
-rw-r--r-- 1 haoren haoren   223573 9月  29 00:03 chill_2.11-0.8.0.jar
-rw-r--r-- 1 haoren haoren   442406 9月  29 00:03 calcite-linq4j-1.2.0-incubating.jar
-rw-r--r-- 1 haoren haoren  3519262 9月  29 00:03 calcite-core-1.2.0-incubating.jar
-rw-r--r-- 1 haoren haoren   258370 9月  29 00:03 calcite-avatica-1.2.0-incubating.jar
-rw-r--r-- 1 haoren haoren   135552 9月  29 00:03 breeze-macros_2.11-0.11.2.jar
-rw-r--r-- 1 haoren haoren 13448966 9月  29 00:03 breeze_2.11-0.11.2.jar
-rw-r--r-- 1 haoren haoren   110600 9月  29 00:03 bonecp-0.8.0.RELEASE.jar
-rw-r--r-- 1 haoren haoren  2842667 9月  29 00:03 bcprov-jdk15on-1.51.jar
-rw-r--r-- 1 haoren haoren    17008 9月  29 00:03 base64-2.3.8.jar
-rw-r--r-- 1 haoren haoren   180736 9月  29 00:03 avro-mapred-1.7.7-hadoop2.jar
-rw-r--r-- 1 haoren haoren   192993 9月  29 00:03 avro-ipc-1.7.7.jar
-rw-r--r-- 1 haoren haoren   436303 9月  29 00:03 avro-1.7.7.jar
-rw-r--r-- 1 haoren haoren  1194003 9月  29 00:03 arpack_combined_all-0.1.jar
-rw-r--r-- 1 haoren haoren    79912 9月  29 00:03 api-util-1.0.0-M20.jar
-rw-r--r-- 1 haoren haoren    16560 9月  29 00:03 api-asn1-api-1.0.0-M20.jar
-rw-r--r-- 1 haoren haoren   448794 9月  29 00:03 apache-log4j-extras-1.2.17.jar
-rw-r--r-- 1 haoren haoren   691479 9月  29 00:03 apacheds-kerberos-codec-2.0.0-M15.jar
-rw-r--r-- 1 haoren haoren    44925 9月  29 00:03 apacheds-i18n-2.0.0-M15.jar
-rw-r--r-- 1 haoren haoren    14766 9月  29 00:03 aopalliance-repackaged-2.4.0-b34.jar
-rw-r--r-- 1 haoren haoren     4467 9月  29 00:03 aopalliance-1.0.jar
-rw-r--r-- 1 haoren haoren   164368 9月  29 00:03 antlr-runtime-3.4.jar
-rw-r--r-- 1 haoren haoren   302248 9月  29 00:03 antlr4-runtime-4.5.3.jar
-rw-r--r-- 1 haoren haoren   445288 9月  29 00:03 antlr-2.7.7.jar
-rw-r--r-- 1 haoren haoren    69409 9月  29 00:03 activation-1.1.1.jar
-rw-rw-r-- 1 haoren haoren   990924 10月 20 08:56 mysql-connector-java-5.1.40.jar