- 博客(7)
- 资源 (2)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 Spark系列(五)共享变量累加器
累加器(accumulator)累加器是共享变量的一种，它提供了信息聚合的一种方法，提供了将工作节点中的值聚合到驱动器程序中的简单语法，累加器常常被作为Rdd的map，filter操作的副产品，这仍然是由于行动操作之前的转化操作仍然是惰性的，只有进行了行动操作之后，才会触发累加器的求值操作。spark快速大数据分析只有在执行了saveAsTextFile之后，累加器blankLines才能保存正确...
2018-03-23 21:30:34
1155
原创 Scala学习(二)groupByKey和reduceByKey
大数据处理中有一个典型的例子WordCount,类似与Hello World的作用，map阶段主要是将单词转换为(word,1)的形式，在reduce阶段则是将Key值相同的1累加求和，最终得到的结果就是单词的count数。假设map的结果为(word,(m,n))如果按照key值将对应的列累加起来呢？比如经过map的数据集是这样的("happy",1,3),("hello",2,6),("hap...
2018-03-18 21:25:41
18209
原创 Scala学习(一)Scala特性解析
在很多地方Scala都很像Java，但是比Java更为函数式编程，这句话主要从三句话就可以理解“一切都是对象”，“一切都是函数”以及“一切都是表达式”三方面理解。首先是一切都是对象，这大概和Python很像，因为即便是数字1都有一系列的方法，所以我们可以调用1.toDouble将Int类型的1转换为Double类型的1。然后是一切都是函数，表现为可以重载操作符，Python很像，在一定程度上我总觉...
2018-03-18 00:23:20
3030
原创 Spark系列(四)RDD编程
Spark大数据处理的核心是RDD,RDD的全称为弹性分布式数据集，对数据的操作主要涉及RDD的创建、转换以及行动等操作，在Spark系列(二)中主要介绍了RDD根据SparkContext的textFile创建RDD的方法，本小节将介绍RDD编程之转换（Transform）和行动（Action）两种操作。RDD是分布式数据集的抽象RDD是不可变的数据集合，每个RDD都被分成多个分区，这些分区运行...
2018-03-17 21:46:31
390
原创 Spark系列(三)Spark的工作机制
什么时候才能回归到看论文，写感想的日子呀~刚刚交完房租的我血槽已空。看了师妹关于Spark报告的PPT，好怀念学生时代开组会的时光啊，虽然我已经离开学校不长不短两个月，但我还是非常认真的翻阅了，并作为大自然的搬运工来搬运知识了。Spark的执行模式1、Local，本地执行，通过多线程来实现并行计算。2、本地伪集群运行模式，用单机模拟集群，有多个进程。3、Standalone，spark做资源调度，...
2018-03-11 22:47:43
5367
原创 Spark系列(二)Spark的数据读入
真的是超级忙碌的一周，所幸的是我们迎来了新的家庭成员一只小猫咪--大王。取名为大王的原因竟然是因为之前作为流浪猫的日子总是被其他猫所欺负，所以希望他能做一只霸气的霸王猫啦。言归正传，在周一见的悲伤中唯有写一篇博客才能缓解我的忧伤吧。Spark读取文本文件--textFile()def textFile( path: String, minPartitions: Int ...
2018-03-11 21:10:59
4685
2
原创 Spark系列(一) 认识Spark
怀念看论文的日子~/打算写一个Spark系列，主要以Scala代码实现，请赐予我力量吧！！！Spark的特点运行速度：Spark拥有DAG执行引擎，支持在内存中对数据进行迭代计算。官方提供的数据表明，如果数据由磁盘读取，速度是Hadoop MapReduce的10倍以上，如果数据从内存中读取，速度可以高达100多倍。适用性强：能够读取HDFS、Cassandra、HBase、S3和Techyon为...
2018-03-04 18:07:56
754
DropDownList 的获取值的问题
2015-05-01
Response.Redirect ("indexp.aspx")在跳转时没有反应
2015-04-29
TA创建的收藏夹 TA关注的收藏夹
TA关注的人