spark
文章平均质量分 61
Rosen_Luo
这个作者很懒,什么都没留下…
展开
-
spark集群动态增加worker节点
spark集群有4台机器,集群环境如下:新增S30这台机器:1. 先在S30这台机器把spark环境配置好,从M29复制过来,包括:scala,spark程序等2. 新增的S30到spark-1.3.0-bin-hadoop2.4/sbin目录下直接启动:start-slave.sh 1 指定master3. 验证worker是否增加成功:4. 修改原创 2015-07-03 09:59:32 · 4884 阅读 · 0 评论 -
IntelliJ IDEA开发Spark1.4.0环境部署
1:IDEA的安装 官网jetbrains.com下载IntelliJ IDEA,有Community Editions 和& Ultimate Editions,前者免费,用户可以选择合适的版本使用。根据安装指导安装IDEA后,需要安装scala插件,有两种途径可以安装scala插件:启动IDEA -> Welcome to IntelliJ IDEA -> Con原创 2015-07-09 10:09:44 · 977 阅读 · 0 评论 -
spark1.4 读取hbase 0.96 报错 java.io.NotSerializableException: org.apache.hadoop.hbase.io.ImmutableBytes
spark接hbase读取数据: val sc = new SparkContext(sparkConf) val conf = HBaseConfiguration.create() conf.set("hbase.zookeeper.property.clientPort", "port..") conf.set("hbase.zookeeper.quoru原创 2015-07-14 10:30:36 · 3510 阅读 · 0 评论 -
map 与 flatMap 的区别
今天写程序遇到取数据时用map报错,用flatmap就可以正常使用,想分析其原因如下:通过sc.textFile取文件后先map切割:scala> val mrdd = line.map(_.split(" "))mrdd: org.apache.spark.rdd.RDD[Array[String]] = MapPartitionsRDD[4] at map at :23查看map原创 2015-07-16 16:59:50 · 7467 阅读 · 0 评论 -
Spark-sql支持的sql语法
版本:1.3.0 protected val ABS = Keyword("ABS") protected val ALL = Keyword("ALL") protected val AND = Keyword("AND") protected val APPROXIMATE = Keyword("APPROXIMATE") protected val AS =原创 2015-08-10 10:06:30 · 4604 阅读 · 1 评论 -
spark各种函数解析
1.combineByKey:使用用户设置好的聚合函数对每个Key中的Value进行组合(combine)。可以将输入类型为RDD[(K, V)]转成成RDD[(K, C)]。函数原型def combineByKey[C](createCombiner: V => C, mergeValue: (C, V) => C, mergeC原创 2015-08-10 10:08:16 · 2465 阅读 · 0 评论 -
spark-submit提交kafka测试
spark-submit --jars /home/aus/spark/lib/spark-streaming-kafka_2.10-1.0.0.jar,/home/aus/spark/lib/kafka_2.8.0-0.8.1.jar --master spark://10.21.17.202:7074 --class KafkaWordCount /home/aus/spark/data/原创 2015-08-10 10:12:16 · 2265 阅读 · 0 评论 -
Spark核心RDD的研究
1背景介绍现今分布式计算框架像MapReduce和Dryad都提供了高层次的原语,使用户不用操心任务分发和错误容忍,非常容易地编写出并行计算程序。然而这些框架都缺乏对分布式内存的抽象和支持,使其在某些应用场景下不够高效和强大。RDD(Resilient Distributed Datasets弹性分布式数据集)模型的产生动机主要来源于两种主流的应用场景:Ø 迭代式算法:迭代式机器原创 2016-02-18 10:38:02 · 631 阅读 · 0 评论