spark
尘缘未了-
执着
展开
-
hive2.1.0 on spark1.6.0 on yarn配置
spark安装版本:hadoop2.6.0 hive-2.1.0 spark-1.61、编译spark因为hive使用的是apache-hive-2.1.0,不需要spark集成的hive,所以需要自己手动编译spark源码,编译过程大约1个小时。编译前提:安装scala环境,联网,setting配置成阿里云的修改sh脚本,修改一下maven_home,$MAVEN_H...原创 2019-01-25 11:15:10 · 354 阅读 · 0 评论 -
spark笔记
1、概述一种快速通用的集群计算系统它提供Java,Scala,Python和R中的高级API支持通用执行图的优化引擎SQL和结构化数据的处理,MLlib机器学习,GraphX用于图形处理和spark流-------------------------------------Spark在Windows和类UNIX系统(例如Linux,Mac OS)上运行需要java在系统上安装P...原创 2019-04-08 09:40:40 · 158 阅读 · 0 评论