大数据框架资源汇集

Scala

安装版本：2.11.12
环境需要：Java 8 JDK
下载地址：https://downloads.lightbend.com/scala/2.11.12/scala-2.11.12.tgz
使用帮助：点击查看

Spark

安装版本：Spark2.3.0
环境需要：Java 8+, Python 2.7+/3.4+ and R 3.1+.Scala (2.11.x).
下载地址：https://www.apache.org/dyn/closer.lua/spark/spark-2.3.0/spark-2.3.0-bin-hadoop2.7.tgz
使用帮助：点击查看
- 伪分布式启动 master默认web页面为http://localhost:8080

[root@cx sbin]# start-master.sh 
starting org.apache.spark.deploy.master.Master, logging to /usr/local/spark-2.3.0-bin-hadoop2.7/logs/spark-root-org.apache.spark.deploy.master.Master-1-cx.out
[root@cx sbin]# start-slave.sh cx:7077
starting org.apache.spark.deploy.worker.Worker, logging to /usr/local/spark-2.3.0-bin-hadoop2.7/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-cx.out

• 其他脚本

sbin/start-master.sh - 在脚本执行的机器上启动主实例。
sbin/start-slaves.sh- 在conf/slaves文件中指定的每台机器上启动一个从机实例。
sbin/start-slave.sh - 在脚本执行的机器上启动一个从机实例。
sbin/start-all.sh - 如上所述启动主站和多个从站。
sbin/stop-master.sh- 停止通过sbin/start-master.sh脚本启动的主站。
sbin/stop-slaves.sh- 停止conf/slaves文件中指定的机器上的所有从机实例。
sbin/stop-all.sh - 如上所述停止主站和从站。

Hive

安装版本：2.3.2
环境需要：Java 7 JDK以上
下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-2.3.2/