hadoop
关注
分享
扫一扫
JaykeLin
这个作者很懒，什么都没留下…
展开
-
YARN内存使用优化配置
在Hadoop2.0中, YARN负责管理MapReduce中的资源(内存, CPU等)并且将其打包成Container. 这样可以精简MapReduce, 使之专注于其擅长的数据处理任务, 将无需考虑资源调度. 如下图所示YARN会管理集群中所有机器的可用计算资源. 基于这些资源YARN会调度应用(比如MapReduce)发来的资源请求, 然后YARN会通过分配Container来给每个应用...2014-05-30 17:24:57 · 305 阅读 · 0 评论 -
hadoop 2.x升级异常
1、通过FileSystem这个API去访问hdfs上面的文件，需要使用本地库文件libhadoop.so时，当库文件版本不一致时会出现以下异常： Caused by: java.lang.UnsatisfiedLinkError: org.apache.hadoop.security.JniBasedUnixGroupsMapping.anchorNative()V at org.ap...原创 2014-06-19 11:54:05 · 170 阅读 · 0 评论