Hadoop
siyuetian1943
天将降大任于斯人也,必先灭其QQ、封其微博、删其微信、去其视频、收其电脑、夺其手机、摔其pad、断其WIFI、剪其网线、折其香烟、夺其酒瓶、使其百无聊赖,然后静坐、思过、锻炼、读书、明智、开悟、精进……中枪已躺。
展开
-
Hadoop配置文件参数整理(1)---core-site.xml
Hadoop集群的配置参数实在是太多了,作为初学者,可以先不用管这些参数代表什么意思,也不需要深究每一个参数该如何配置。一般网上搭建环境的教程一搜一大堆,跟着配置一下,让集群先运行起来。之后,在操作的过程中,你可以进一步熟悉Hadoop的工作原理,hdfs文件系统的操作命令等。Hadoop集群配置的参数实在太多了,先列个目录整理下用到的参数,后面有继续用到的,再接着补充。此篇为core-site.x原创 2015-06-11 15:57:41 · 6725 阅读 · 0 评论 -
Hadoop2.x HDFS Shell命令
Hadoop2 HDFS shell命令 1. hdfs dfs -appendToFile ... 可同时上传多个文件到HDFS里面 2. hdfs dfs -cat URI [URI ...] 查看文件内容 3. hdfs dfs -chgrp [-R] GROUP URI [URI ...] 修改文件所属组 4. h转载 2015-11-19 10:30:36 · 661 阅读 · 0 评论 -
hadoop源码学习积累1
原文地址:http://www.aboutyun.com/forum.php?mod=viewthread&tid=8211问题导读:1.如何通过官网src包,获取hadoop的全部代码2.通过什么样的操作,可以查看hadoop某个函数或则类的实现?3.maven的作用是什么?我们如果想搞开发,研究源码对我们的帮助很大。不明白原理就如同黑转载 2015-10-20 10:31:40 · 527 阅读 · 0 评论 -
Hadoop源码学习积累2
此篇是从零教你如何获取hadoop2.4源码并使用eclipse关联hadoop2.4源码基础上的一个继续,上文其实已经把源代码下载下来了。下载之后,我们如何查看源码代码。我们还是通过eclipse的导入功能,这里简略描述一下,详细可以查看零基础教你如何导转载 2015-10-20 10:29:56 · 429 阅读 · 0 评论 -
Hadoop之HA验证
引言:前面转载过一篇团队兄弟【伊利丹】写的NN HA实验记录,我也基于他的环境实验了NN HA对于Client的透明性。见 http://www.linuxidc.com/Linux/2014-09/106290.htm本篇文章记录的是亲自配置NN HA的详细全过程,以及全面测试HA对客户端访问透明性的全过程,希望对大家有帮助。实验环境:Hadoop2.2.0的4节点集转载 2015-09-30 12:08:34 · 1563 阅读 · 0 评论 -
Hadoop配置文件参数整理(3)---mapred-site.xml
占坑,后面慢慢整理。原创 2015-06-11 16:01:27 · 1144 阅读 · 0 评论 -
Hadoop配置文件参数整理(2)---hdfs-site.xml
占个坑,慢慢整理。原创 2015-06-11 15:59:05 · 728 阅读 · 0 评论 -
Hadoop配置文件参数整理(4)---yarn-site.xml
占坑,后续整理。原创 2015-06-11 16:03:19 · 1061 阅读 · 0 评论 -
hadoop集群搭建过程中几个配置参数
一、配置文件hadoop_env.sh(1) JAVA_HOME: 必须设置,即使我们当前的系统中设置了JAVA_HOME,它也是不认识的,因为Hadoop即使是在本机上执行,它也是把当前的执行环境当成远程服务器,JAVA_HOME环境变量设置(可以改该文件中的也可以直接在后面导入即export JAVA_HOME): export JAVA_HOME=你的Java安装路径(2)HADOOP_P原创 2015-06-10 16:34:23 · 624 阅读 · 0 评论 -
Hadoop YARN配置参数剖析(2)—权限与日志聚集相关参数
hadoop YARN配置参数转载 2015-05-21 16:10:08 · 589 阅读 · 0 评论 -
Hadoop日志存放路径详解
hadoop日志存放路径转载 2015-05-21 11:15:43 · 1938 阅读 · 0 评论 -
Hadoop的日志存在哪里?
hadoop系统日志转载 2015-05-21 10:46:09 · 1714 阅读 · 0 评论 -
Hadoop YARN配置参数剖析(1)—RM与NM相关参数
Hadoop2 Yarn配置参数转载 2015-05-21 15:19:18 · 618 阅读 · 0 评论 -
HBase默认参数说明
hbase.rootdir这个目录是region server的共享目录,用来持久化Hbase。URL需要是'完全正确'的,还要包含文件系统的scheme。例如,要表示hdfs中的 '/hbase'目录,namenode 运行在namenode.example.org的9090端口。则需要设置为hdfs://namenode.example.org:9000 /hbase。默认情况转载 2015-12-02 10:27:22 · 883 阅读 · 0 评论