自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(2)
  • 资源 (10)
  • 收藏
  • 关注

原创 利用coalesce加速Spark迭代计算

问题:join导致partition数量膨胀Spark把每一个RDD分割为若干个partition,每一个partition上的计算是一个独立的task。每个task在执行的时候都是独立schedule的,都需要执行一遍完整的排序、系列化、计算、反序列化工作。这其中很大一部分工作的开销基本都是恒定的,不随partition中数据的多少而变化。所以当一个RDD的partition过多的时候,计算时会有很大的overhead。在计算的过程中,我们经常需要把两个或更多的变量放在一起做些计算,我们通常会用到j

2020-10-13 07:39:02 340

原创 巧用localCheckpoint加速Spark上的迭代计算(break lineage)

Spark和迭代计算Spark是一个基于lineage的计算框架。它通过lineage记录了数据从加载以来的所有操作,这样一方面让spark可以轻松地实现lazy execution,另一方面当发生问题的时候,可以准确地进行数据恢复。我们可以这样理解:Spark把一个数据X抽象为一个RDD。在这个RDD里面Spark不仅记录了X的值X.data,还通过一个DAG记录了它是怎么计算得来的X.lineage。这种设计非常适合对于普通的数据处理任务,但是对于数据需要不断循环优化的分析任务(特别是迭代优化类

2020-10-09 13:00:27 711

gdb-pretty-printer

GCC官方的pretty-priinter脚本,用于在gdb中优雅的展开STL组件。 (我以前传资源都是设置成不要分数直接可以下载的,现在好像不能设置成0分资源了,我在百度云再上传一份吧,不方便的同学请移步 https://pan.baidu.com/s/11mWDYO60CsSNt8hcz66zOw 。) 具体使用方法请参考:https://blog.csdn.net/yanxiangtianji/article/details/80579236 (gcc版本261180时备份,本脚本非常稳定,除非gcc重大更新,否则是不会变的。)

2018-06-05

latex链接包hyperref各种选项的官网简明说明

latex链接包hyperref,可以非常方便甚至是自动化地构建文档中的交叉索引间的链接功能,并且提供链接到外部url的功能。并且还支持unicode。 它包含大量选项,这是一份来自官网的简明说明。 包扩选项名称、含义、默认值。

2014-01-02

Lua 5.2.2 windows平台可执行文件、头文件和库文件

我整理和生成的适用于windows平台的Lua5.2.2和混合编程需要的工具,以及我的几个小例子。 Lua官网不提供原生的windosw平台的bin版本,自行编译困难重重。 这里我整理和生成的基于Lua 5.2.2的windows平台开发所需要的文件。 包括: 1,lua解释器,编译器(lua+luac) 2,lua的动态库文件(lua52.dll) 3,lua嵌入c/c++需要的头文件 4,链接dll时用的lib文件(非静态库) 5,几个小例子 6,lua打包exe的工具(glue+srlua) 一点认识: lua是为嵌入其他高级语言而设计的。因而本身功能较弱,而且内核很小。可以异常方便地被C/C++调用或者使用C/C++开发可供lua调用的函数。 打包方法:命令行下输入glue会有提示,很简单。

2013-11-29

C++标准库 第二版 英文pdf

The C++ Standard Library :A Tutorial and Reference, Second Edition 《C++标准库:自修教程与参考手册》的第二版,包含大量C++11特性。 包含目录和内链。非扫描版。 搬运的不敢要分。

2013-11-17

Beginning Lua with World of Warcraft Add-ons

使用Lua语言开发魔兽世界插件 清晰非扫描版。 国内现在有中文版销售,大家可以对比阅读。 ps:搬运的,不好意思要分。

2013-11-11

gnuplot 4.6.3 windows版

Windows下的4.6.3版的Gnuplot。 Gnuplot是一个开源的命令式的绘图工具,功能强大,而且非常好用,很多学术论文中的图标都是使用这个软件绘制的。 转移官方下载站的资源,方便网络环境不方便的朋友。 顺便鄙视一下低级搬运都要分的人。

2013-10-16

SVN for eclipse4.2(Juno) 包含connector

适用于eclipse 4.2(Juno)的SVN插件。另外我从官网上下载了2个跨平台版本的connector放在了包内,可以直接使用,不需要再等待漫长的在线连接下载了。 旧版本的SVN插件也不是不能用,只是每次启动eclipse的时候都会假死一下弹2个错误窗,使用过程中也经常弹错误窗,很讨厌,所以还是建议大家升级SVN。 按照方法(网上很多详细教程,我只是简单说一下): 方法一:直接解压,把features和plugins拷到eclipse的相应目录。 方法二:在eclipse的dropins下面创建svn.link文件,里面写入path=xxxxx,其中xxxxx是你的SVN解压的目录。 使用注意:在windows->preference->Team->SVN里面的SVN connector选择适用于你的SVN系统的connector版本。

2012-08-08

libnids-mingw-1.22

用mingw32在windows平台下编译实用libnids。 libnids 1.22版本。

2012-08-05

MSDOS7.1 安装镜像

做一些底层的或是系统级的实验经常要用到纯DOS环境,例如调用BIOS中断的实验,但是纯DOS环境编程又远不如Windows下那么多工具有着方便。如果通过一台机器反复重新启动换系统太麻烦,最好是用虚拟机虚拟一个,再把文件通过一些方法直接放到虚拟磁盘上。 推荐需要做实验的同学和需要使用纯DOS的朋友下载使用。 这个版本我一直在用,安装很方便1分钟的事,正常安装之后功能齐全,比网上某些所谓配好的DOS虚拟机好的多。 虚拟机安装方法: 1,新配一个虚拟机,系统选MSDOS(VM在其他里面)然后选择本镜像; 2,务必进虚拟机BIOS改为光盘启动优先,否则会在安装时出现磁盘访问错误, 3,进行安装选择,个人建议选择完整安装,不装Add-On包(这里面有中文支持和很多有趣的小东西,如果有闲情逸致的话可以装来玩玩)

2010-11-26

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除