![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 50
iteye_423
这个作者很懒,什么都没留下…
展开
-
Zookeeper Log4j日志输出修改
原创转载请注明出处。今天配置一下了zookeeper。配置的步骤我就不再写了。就是不习惯zookeeper的log日志输出,他是直接输出到当前zookeeper.out的文件,这是一个控制台的重定向文件。所以想着让zk的操作日志输出到标准的log4j文件。首先修改了:conf/log4j.properties:[code="java"]# Define some d...2013-08-09 11:22:58 · 1328 阅读 · 0 评论 -
hadoop CLASSNAME命令使用注意点
Hadoop中可是使用hadoop CLASSNAME命令。这个CLASSNAME就是你写好的类名。hadoop CLASSNAME命令类似于java classname。使用hadoop CLASSNAM之前,你需要设置HADOOP_CLASSPATH.[code="java"]export HADOOP_CLASSPATH=/home/hadoop/jardir/*.jar:/h...2013-03-21 22:28:00 · 193 阅读 · 0 评论 -
hdfs的文件访问控制
这两天准备研究一下hadoop的文件访问控制。先从hdfs的访问控制来说。这篇文章很简单,主要是提醒自己以及各位注重hdfs上面的访问控制。在hdfs上面的文件以及文件目录的访问控制,跟操作系统的访问控制是一样的,posix文件系统的权限控制模型一样。我只讲怎么验证:[code="java"]drwxrwxrwx - hadoop root 0...2013-03-14 21:40:48 · 444 阅读 · 0 评论 -
Delegation Token
原创,转载请注明出处若设置了dfs.block.access.token.enable=true时,启动时的日志中:会有这样两条日志:2013-02-21 19:59:07,006 INFO org.apache.hadoop.hdfs.server.blockmanagement.BlockManager: dfs.block.access.token.enable=true...原创 2013-02-22 10:18:46 · 531 阅读 · 0 评论 -
Hadoop WEBHDFS简单配置,使用
WEBHDFS是一个基于REST的接口。可以查看文件系统,以及文件的内容:在hdfs-site.xml中配置: dfs.namenode.http-address Hadoop:50070 //这个可以不用配置 dfs.webhdfs.enabled true启动之后,可以看使用如下命令检测,获得目录的列表:...2013-02-21 19:48:07 · 733 阅读 · 0 评论 -
Hadoop Metrics2
Apache Hadoop 0.20.203 and Later, and CDH4 (metrics2)从Apache Hadoop 0.20.203开始,metrics2就必须被使用了,从管理员的角度来说,最值得关注的变化就是配制方法和一些命名系统的变化。其中很多概念和功能集成了metrics1的特点。Metrics1首要的不足之处是其context和插件之间一对一的关系。对于hado...2013-02-21 15:25:34 · 580 阅读 · 0 评论 -
Hadoop Metrics1
本文是对Hadoop Operation(by Eric Sammer)的翻译稿。转载请注明出处Hadoop MetricsHadoop内部包含一套对外开放的各种metrics接口支持。每一个hadoop的守护进程都可以被配置定期去收集其自身内部组件的数据信息,然后可以通过调用某些插件来处理这一批metrics。目前已经有很多与hadoop配套的插件,这些插件可以应用在一般的部署场...原创 2013-02-21 15:24:25 · 156 阅读 · 0 评论 -
HDFS DATANODE 磁盘容量的最小值
[align=left][color=red][size=medium]原创,转载请注明出处[/size][/color][/align]HDFS的DATANODE的剩余空间具体要到多大?关于这个问题,下面记录下对这个问题的调查昨天,讨论群里面给出了一个异常:[code="java"]op@odbtest bin]$ hadoop fs -put ../tmp/file3 ...2014-01-16 11:29:20 · 293 阅读 · 0 评论 -
编译drill +hadoop 2.2
[color=red][size=large]原创,转载请注明出处[/size][/color]花了点时间将drill+apache hadoop2.2 编译出来了。之前在drill邮件列表将编译过程整理了一下,现在也整理一份放在我的iteye上面。。1. add a profile section to pom.xml:[code="java"] a...2013-12-20 15:17:36 · 186 阅读 · 0 评论 -
hadoop 关闭进程时报错no 进程 to stop
[size=large][color=red]原创,转载请注明出处[/color][/size] 前两天和朋友李天王吃饭的时候,聊到了一个hadoop的运维的很简单问题,感觉很有意思,以前也没有注意过,现在加以重现和整理。 感谢李天王的分享。。。。 翻看了yarn-deamon.sh stop部分的脚本:[code="java"] (stop) if...2013-11-19 10:55:11 · 353 阅读 · 0 评论 -
Apach Dril的计算流程说明
[size=large][color=red]原创,转载请注明出处[/color][/size]花了两天时间,学习了Drill的工作流程,这要感谢Timothy Chen提供Drill关于工作流的文章。工作流的图(注:该工作流是针对alpha版本的说明):[img]http://dl2.iteye.com/upload/attachment/0091/1519/e3978b85...2013-11-14 09:37:37 · 126 阅读 · 0 评论 -
Apach Dril的Logical Plan的详解2
[size=large][color=red]原创,转载请注明出处[/color][/size]原文:http://www.confusedcoders.com/bigdata/apache-drill/understanding-apache-drill-logical-planApache Drill在内部会产生2个plan:一个是Logical Plan一个是Physic...2013-11-11 23:12:18 · 184 阅读 · 0 评论 -
Apache Drill的Logical Plan的语法
[size=large][color=red]原创,转载请注明出处。[/color][/size]利用业余时间完成了对Drill的两篇文档的翻译,希望方便大家学习drill。本文是Drill的Logical Plan的翻译稿。drill logical plan是内部信息,虽然我们使用时候不需要关注logical plan,但是对于开发,这个还是需要了解。前言Dri...2013-11-05 17:57:08 · 271 阅读 · 0 评论 -
Apache Drill的ValueVector数据结构说明
原创,转载请注明出处。关注很久的hadoop实时计算框架drill终于发布了他的里程碑的第一版本。官网地址:http://incubator.apache.org/drill/目前开始慢慢学习,首先翻译一份官方文档,介绍Apache drill的数据结构ValueVector。完成于2013年11月03日凌晨0:30[size=large][size=medium]Va...2013-11-03 00:31:08 · 180 阅读 · 0 评论 -
Hbase MTTR介绍
[color=red]翻译一篇关于HBase MTTR的文章介绍,转载请注明出处。[/color]原文的地址http://hortonworks.com/blog/introduction-to-hbase-mean-time-to-recover-mttr/Hbase 是一个always-available的服务,在机器故障的时候保持可用性,集群中的机器都运行region...2013-08-19 13:15:00 · 255 阅读 · 0 评论 -
Cloudera官网上下载hadoop的tar的地址
最近要找资料,要到Cloudera官网找资料,发现熟悉下载页面变得特别大,居然花了几分钟才能找到tar包下载路径了。估计是cloudera要推自己的hadoop的相关产品。所以要下载tar玩hadoop的童鞋么,注意了,下载路径不容易找。我写来是方便一下童鞋们:Cloudera Download页面,找到Cloudera Standard 点击 Individual C...原创 2013-08-14 17:59:17 · 602 阅读 · 0 评论 -
MultipleInputs.addInputPath注意点
原创,转载请注明出处:使用MultipleInputs.addInputPath添加多输入源(超过两个)的时候:[code="java"]MultipleInputs.addInputPath(conf, new Path(otheArgs[0]), TextInputFormat.class,JoinNodeMapper2.class);MultipleInputs.addI...2013-04-08 19:07:52 · 954 阅读 · 0 评论