![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
qq_27593415
这个作者很懒,什么都没留下…
展开
-
ambari搭建spark
ambari搭建spark应该默认是local,但我希望也是一个集群环境,在ambari server上辗转了一圈,没能找到配置项。 ambari spark history: 要做成集群环境,我是去改本地的配置: spark-env.sh SPARK_MASTER_IP=rm.hadoop SPARK_LOCAL_DIRS=/usr/hdp/2.原创 2016-09-29 10:27:14 · 3255 阅读 · 0 评论 -
spark sql dataframe操作
package com.xmgps.yfzx.sparkhadoopimport com.xmgps.yfzx.sparkhadoop.TraceData.Trace import org.apache.spark.sql.SQLContext import org.apache.spark.{SparkConf, SparkContext}object SparkHadoopFileDF {原创 2016-11-10 16:59:48 · 410 阅读 · 0 评论 -
spark hbase
package com.xmgps.yfzx.sparkhbaseimport org.apache.hadoop.hbase.{HBaseConfiguration, TableName} import org.apache.hadoop.hbase.client.{ConnectionFactory, HTable, Put, Result} import org.apache.hadoop.h原创 2016-11-10 17:00:51 · 434 阅读 · 0 评论 -
spark-sql初体验
package com.xmgps.sparksql import java.util.Date import java.util.concurrent.TimeUnit import com.xmgps.util.XDate import org.apache.hadoop.conf.Configuration import org.apache.hadoop.fs.{File原创 2016-10-20 14:52:43 · 260 阅读 · 0 评论