spark
文章平均质量分 75
语旅
在学习中分享经验,使后人少走弯路。
展开
-
spark1.0.2分布式集群安装
环境配置:安装路径/usr/local/已经搭建好hadoop集群,也可以不用搭建HADOOP集群,搭建HADOOP集群是为了利用HDFS系统版本:ubuntu14.04jdk版本:1.8scala版本:2.11.4hadoop版本:2.2.0附:scala2.11.4的安装方法1.到官网下载scala2.11.4的安装包2.解压安装包到目录/usr/l原创 2014-12-31 16:22:28 · 541 阅读 · 0 评论 -
spark2.x shell 客户端操作sparkSQL
1.客户端启动shell进入spark安装目录bin/spark-shell --master spark://IP:7077 --executor-memory 1g2.scala操作(1)把HDFS上的文件映射为表启动sparkSession对象:val spark = org.apache.spark.sql.SparkSession.builder().原创 2017-01-07 14:04:36 · 4763 阅读 · 0 评论