![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
B1_HADOOP
文章平均质量分 64
jinhong_lu
这个作者很懒,什么都没留下…
展开
-
YARN内存管理
总结一:关于内存的配置总共有以下几个方面:以下的示例数据为gdc中的配置(1)每个节点可用于container的内存与虚拟内存NM的内存资源配置,主要是通过下面两个参数进行的(这两个值是Yarn平台特性,应在yarn-sit.xml中配置) : yarn.nodemanager.resource.memory-mb 94208 yarn.nodemanager.vmem-原创 2015-06-16 16:45:29 · 1356 阅读 · 0 评论 -
Hadoop文件的基本操作
Hadoop提供了大量的API对文件系统中的文件进行操作,主要包括:(1)读取文件(2)写文件(3)读取文件属性(4)列出文件(5)删除文件1、读取文件以下示例中,将hdfs中的一个文件读取出来,并输出到标准输出流中。package org.jediael.hadoopdemo.fsdemo;import java.io.IOException;i原创 2015-06-16 16:00:23 · 422 阅读 · 0 评论 -
单机/伪分布式Hadoop2.4.1安装文档
转载自官方文档,最新版请见:http://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-common/SingleCluster.html补充:建议添加如下环境变量#hadoop configurationexport PATH=$PATH:/home/jediael/hadoop-2.4.1/bin:/hom原创 2015-06-17 10:31:52 · 419 阅读 · 0 评论 -
Hadoop2.4.1入门实例:MaxTemperature
注意:以下内容在2.x版本与1.x版本同样适用,已在2.4.1与1.2.0进行测试。一、前期准备1、创建伪分布Hadoop环境,请参考官方文档。或者http://blog.csdn.net/jediael_lu/article/details/386372772、准备数据文件如下sample.txt:12345679867623119010123456798676231190101原创 2015-06-17 10:31:56 · 418 阅读 · 0 评论 -
何时使用hadoop fs、hadoop dfs与hdfs dfs命令
hadoop fs:使用面最广,可以操作任何文件系统。hadoop dfs与hdfs dfs:只能操作HDFS文件系统相关(包括与Local FS间的操作),前者已经Deprecated,一般使用后者。以下内容参考自stackoverflowFollowing are the three commands which appears same but have原创 2015-06-17 10:32:03 · 540 阅读 · 0 评论 -
protocol buffer介绍(protobuf)
一、理论概述0、参考资料入门资料:https://developers.google.com/protocol-buffers/docs/javatutorial更详细的资料:For more detailed reference information, see the Protocol Buffer Language Guide, the Java API Reference,原创 2015-06-29 17:49:06 · 872 阅读 · 0 评论 -
hadoop远程调试
1、修改etc/hadoop/yarn.sh,增加以下内容export YARN_NODEMANAGER_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,address=8788,server=y,suspend=y”export YARN_RESOUCEMANAGER_OPTS="-Xdebug -Xrunjdwp:transport=dt_soc原创 2015-06-16 16:47:47 · 652 阅读 · 0 评论 -
hadoop性能测试
一、hadoop自带的性能基准评测工具(一)TestDFSIO1、测试写性能(1)若有必要,先删除历史数据 $hadoop jar /home/hadoop/hadoop/share/hadoop/mapreduce2/hadoop-mapreduce-client-jobclient-2.3.0-cdh5.1.2-tests.jar TestDFSIO -clean(原创 2015-06-16 16:49:18 · 8345 阅读 · 0 评论 -
Hadoop常见异常及其解决方案
1、Shell$ExitCodeException现象:运行hadoop job时出现如下异常:14/07/09 14:42:50 INFO mapreduce.Job: Task Id : attempt_1404886826875_0007_m_000000_1, Status : FAILEDException from container-launch: org.apache.原创 2015-06-17 10:31:58 · 517 阅读 · 0 评论