![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
文章平均质量分 67
baiyangfu
富贵有定数,学问则无定数。求一分,便得一分。一个大牛说的,共勉
展开
-
spark 编程学习
众所周知,spark编程中最重要的的rdd,关于rdd原创 2014-04-11 20:02:31 · 1532 阅读 · 0 评论 -
spark 配置整理
spark 的配置有很多,这里一方面总结一下官方文档中的内容,一方面原创 2014-10-28 20:32:37 · 4381 阅读 · 0 评论 -
贝叶斯学习,spark mlib 朴素贝叶斯使用
贝叶斯算法属于监督类机器学习算法,他的原理很简单,但是他的用处很原创 2014-11-11 18:49:21 · 5012 阅读 · 2 评论 -
spark 几种transformation 的计算逻辑和测试
1、union(otherRDD) union() 与mysql中的union 操作类型,原创 2014-10-10 16:52:35 · 5489 阅读 · 0 评论 -
执行spark sql 遇到的问题
总结一下执行spark sql遇到的问题:没原创 2014-10-23 20:33:18 · 12596 阅读 · 1 评论 -
maven 编译 spark1.0.0
首先,下载源码:原创 2014-06-20 20:44:48 · 1381 阅读 · 0 评论 -
spark 1.0 安装
最近忙其他的工作,多日已经不弄spark,发现最新版本原创 2014-07-11 12:11:14 · 1383 阅读 · 0 评论 -
Spark RDDs(弹性分布式数据集):为内存中的集群计算设计的容错抽象
本文是阅读《Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing》过程中,抽了局部一些关注点翻译出来的文章,没有将全文都翻译。希望这些碎片化甚至不通顺的记录,可以帮助读者取代阅读原论文。论文地址http://www.cs.berkeley.edu/~matei/p转载 2014-04-11 15:15:20 · 1194 阅读 · 0 评论 -
spark任务error 一例
14/04/10 20:07:13 INFO ui.SparkUI: Started Spark Web UI at http://hadoop01:5929914/04/10 20:07:13 ERROR spark.SparkContext: Error adding jar (java.io.FileNotFoundException: wordcount.jar (没有那个文件或目录))原创 2014-04-10 20:10:16 · 1965 阅读 · 2 评论 -
shark 安装 遇到的问题
shark官网:http://shark.cs.berkeley.edu/原创 2014-04-15 18:59:12 · 5805 阅读 · 7 评论 -
shark 简介
1、shark 是什么?转载 2014-04-17 12:04:15 · 4446 阅读 · 0 评论 -
spark sql udf 解析json数据表的嵌套数组
使用spark sql 的时候,加载json数据作为表的基础数据。发现其中的json数据中有些字段对应的是一个嵌套数组:{“schema1”:"hello",“schema2” : [ {"a":1","b":"11"}, {“a”:"2","b":"22"}…… ]将json数据加载到spark sql 中:val sqlContext = new org.apache.spark.原创 2014-12-15 19:03:00 · 7176 阅读 · 0 评论