hadoop
yujianzhong520
这个作者很懒,什么都没留下…
展开
-
hadoop完全分布式配置教程
hadoop完全分布式安装配置教程 (本人采用的是三台虚拟机,装的ubuntu12.04的系统) 三台虚拟机,一个namenode节点,两个datanode节点。 1.首先在三台虚拟机建立三个相同用户名的用户,每台虚拟机各建立一个用户。如用户名:hadoop,密码:****** (切记:一定要用户名相同)原创 2013-08-04 23:04:18 · 772 阅读 · 0 评论 -
hadoop文件操作命令
hadoop fs -mkdir /user/hadoop 在HDFS文件系统的根目录下创建user目录,在user目录创建hadoop文件夹。 hadoop fs -ls / 查看根目录下的所有目录和文件。 hadoop fs -lsr / 查看根目录下的所有子目录和文件。区别看图。 hadoop fs -put /home/rao原创 2013-08-05 10:25:18 · 1780 阅读 · 0 评论 -
hadoop之MapReduce打包jar
打包步骤 选择工程,鼠标右键,选择Export...,如图:原创 2013-08-06 21:54:41 · 1458 阅读 · 0 评论 -
Hadoop 作业提交、查看、终止
启动job bin/hadoop jar **.jar input output 终止job bin/hadoop job -kill (jobID) bin/hadoop job -kill job_201308211653_0061 查看正在运行的job bin/hadoop job -list原创 2013-10-18 20:36:38 · 5486 阅读 · 0 评论 -
Hadoop 默认配置的问题
MapReduce时内存溢出,报如下图错误, 通过修改配置文件mapred-site.xml,增加如下属性,默认是200M,提高到400M,不用重启Hadoop集群。 mapred.child.java.opts -Xmx400m Map和Reduce任务运行时Java虚拟机指定的内存的大小,默认-Xmx200m,分配给每个任务200MB内存 应该也可以通过代码设置,采用原创 2013-10-18 20:57:17 · 975 阅读 · 0 评论