- 博客(9)
- 资源 (2)
- 收藏
- 关注
原创 Spark RDD- Partitioner
partitioner是Spark RDD的重要组成部分,记录了数据split的逻辑是shuffle过程中key重新分区的策略,决定了key被分到哪个分区内,RDD是k-v二元组数据形式时可继承Partitioner自定义分区。** * * 自定义分区逻辑:对words集合中每个word只分到一个分区内 * * @param words */class MyPartitio...
2018-07-31 20:20:17 213
原创 Spark常用算子-transformation
spark常用算子有两种:transformation:RDD中所有转换算子都是延迟加载,从一个RDD到另一个RDD转换没有立即转换,仅记录数据的逻辑操作,只有要求结果还回到Driver时的动作时才会真正运行。 action:触发action时才会真正的执行action操作动作 transformation常用算子类型如下:1.textFile (path: String) : RDD[S...
2018-07-25 00:37:44 2721
原创 Spark常用算子-action
spark action常用算子类型如下:1.collectAsMap(): Map[K, V]:二元组RDD转为Map数据类型countByKey(): Map[K, Long]:统计RDD中每个key出现的次数,还回Map类型表示每个key出现了几次countByValue(): Map[T, Long]:统计RDD中每个元素出现的次数,还回Map类型表示每个元素出现了几次val rdd...
2018-07-25 00:36:01 1795
原创 Android常见错误总结
1,导入以前的Android程序或使用以前的开发工具有时会出现Error generating final archive: Debug certificate expired on 12/05/01这种错误原因分析:android要求所有的程序必须有签名,否则就不会安装该程序。在我们开发过程中,adt使用debug keystore,在 preference->android->buid
2013-05-27 12:35:04 341
原创 Android小计一
从考研结束今天重新回到Android开发中,回忆中整理总结遗忘的笔记1,Eclipse 中修改android的Default debug keystore路径 :ANDROID_SDK_HOME=D:\android\android_avd
2013-05-24 13:37:08 492
转载 如何提高阅读源代码的效率
要想快速并高效地阅读源码,一定要有好方法,不然看着会挺费劲,当然,用什么方法取决于具体的情况。我就把自己总结的方法给大家show一下,互相交流交流:1、一边阅读代码一边写注释。这是我用过的最好的方法,对代码理解得更深入,看一些重要代码或者特别难懂的代码时挺有用。更何况,注释也是一种文档嘛。2、一边阅读代码一边绘制UML。这个方法适用于类之间的关系较复杂和调用层次较深的情况,我一般都是先绘制
2011-11-22 22:19:54 239
原创 如何在模拟器上安装apk
1,下图是我的安装效果图,可以体验与真机一样的效果,QQ也能聊天、也能聊天。桌面效果图2,在模拟器上安装apk的步骤如下A,正确安装Android模拟器B,配置环境变量(我的环境变量Android的SDK安装在了E:\Android目录下面)配置如下:Path=E:\Android\android-sdk-windows\tools3,执行安装命令打开cmd窗口
2011-11-17 11:10:43 603
原创 计算机统考资料下载网址总汇
数据结构考研指导http://bbs.kaoyan.com/thread-1437578-1-1.html操作系统考研指导http://bbs.kaoyan.com/thread-1437489-1-1.html计算机组成原理考研指导http://bbs.kaoyan.com/thread-1437549-1-1.html完整版《数据结构1800题+答案》http://bbs.kaoyan.com
2010-04-07 20:58:00 3864 3
基于CDH5的Hadoop2大数据集群详解
2016-11-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人