- 博客(7)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 MapReduce任务参数调优
MapReduce任务参数调优本文主要记录Hadoop 2.x版本中MapReduce参数调优，不涉及Yarn的调优。Hadoop的默认配置文件（以cdh5.0.1为例）：core-default.xmlhdfs-default.xmlmapred-default.xml说明：在hadoop2中有些参数名称过时了，例如原来的mapred.reduc...
2014-10-30 19:58:40
528
原创 从一个经典案例看优化mapred.map.tasks的重要性
dfs.block.size=268435456hive.merge.mapredfiles=truehive.merge.mapfiles=truehive.merge.size.per.task=256000000mapred.map.tasks=2 因为合并小文件默认为true，而dfs.block.size与hive.merge.size.per.task的搭配使得合并后的绝大部分文...
2014-10-28 22:31:02
105
原创 hadoop distributecache新api与旧api用法
转载请注明出处：http://www.codelast.com/现象：和这个帖子描述的一样，简单说来就是，在Hadoop 2.x上，用新的DistributedCache的API，在mapper中会获取不到这个cache文件。下面就详细地描述一下新旧API的用法区别以及解决办法。『1』旧API将HDFS文件添加到distributed cache中：12...
2014-10-28 11:45:35
135
原创 hadoop作业调优参数整理及原理
文章出处：http://www.alidata.org/archives/14701 Map side tuning参数1.1 MapTask运行内部原理当map task开始运算，并产生中间数据时，其产生的中间结果并非直接就简单的写入磁盘。这中间的过程比较复杂，并且利用到了内存buffer来进行已经产生的部分结果的缓存，并在内存buffer中进行一些预排序来优化整个map的性...
2014-10-27 17:20:36
74
原创 java 从jar包中读取资源文件
在代码中读取一些资源文件(比如图片，音乐，文本等等)，在集成环境(Eclipse)中运行的时候没有问题。但当打包成一个可执行的jar包（将资源文件一并打包）以后，这些资源文件找不到，如下代码：Java代码 [java] view plaincopy //源代码1： package edu.hxraid; import java.io.*; ...
2014-10-16 14:38:28
97
原创 Linux下rz，sz与ssh的配合使用
Linux下rz，sz与ssh的配合使用一般来说，linux服务器大多是通过ssh客户端来进行远程的登陆和管理的，使用ssh登陆linux主机以后，如何能够快速的和本地机器进行文件的交互呢，也就是上传和下载文件到服务器和本地； 与ssh有关的两个命令可以提供很方便的操作： sz：将选定的文件发送（send）到本地机器 rz：运行该命令会弹出一个文件选择窗口，从本地选择...
2014-10-11 09:39:20
114
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人