Spark
文章平均质量分 67
hust_sheng
这个作者很懒,什么都没留下…
展开
-
checkpoint的应用总结
数据库中的checkpoint机制: 一般所说的checkpoint是一个数据库事件(event),checkpoint事件由checkpoint进程发出,当checkpoint事件发生时DBWn会将脏块写入到磁盘中,同时数据文件和控制文件的文件头也会被更新以记录checkpoint信息。 在数据库系统中,写日志和写数据文件是数据库中IO消耗最大的两种操作,原创 2015-08-07 16:39:56 · 1536 阅读 · 0 评论 -
Spark Shuffle过程的一些小结(译 Shuffle Performance in Apache Spark)
题目: Shuffle Performance in Apache Spark发表年份: February - 2015所在会议: International Journal of Engineering Research & Technology 作者: Nirali Rana Department of Computer Engineering GTU PG Scho翻译 2015-08-13 12:41:44 · 1314 阅读 · 0 评论 -
Spark-1.4.0单机部署(Hadoop-2.6.0采用伪分布式)【已测】
安装JDK 1.7+ 【下载网址】http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html环境变量设置(最好不要采用openjdk):export JAVA_HOME=/usr/java/java-1.7.0_71export JRE_HOME=$JAVA_HOME/jreexport原创 2015-08-26 19:24:24 · 1190 阅读 · 0 评论