Spark+Hadoop集群搭建:(零)简介与说明
注:未完成,待修改
1 背景
2 主要内容
利用虚拟机实现Linux操作系统上的Spark+Hadoop大数据集群,并进行一些简单的实验。主要包括
1 单节点Hadoop环境搭建
2 多节点(集群)Hadoop环境搭建
3 Spark安装及pyspark的使用
4 Spark Standalone Cluster的使用
3 使用工具版本说明
jdk 8
hadoop 2.7.7
sprak 2.4.0
scala 2.11
4 文章列表
Spark+Hadoop集群搭建:(零)简介与说明
Spark+Hadoop集群搭建:(一)单一节点上搭建Hadoop环境
Spark+Hadoop集群搭建:(二)集群节点上搭建Hadoop环境
Spark+Hadoop集群搭建:(三)在Hadoop集群上安装Spark
5 参考文献
1 Python+Spark 2.0+Hadoop机器学习与大数据实战. 林大贵. 清华大学出版社
2 Spark快速大数据分析, Holden Karau, Andy Konwinski等, 人民邮电出版社
3 图解Spark核心技术与案例实战, 郭景瞻, 电子工业出版社
4 普通用户SSH无密码互信建立 出现的问题以及解决办法https://blog.csdn.net/JLongSL/article/details/78157112