hadoop
文章平均质量分 81
fengwuwer
这个作者很懒,什么都没留下…
展开
-
hadoop webhdfs rest api
1 介绍 Hadoop提供了一个Java native API来支持对文件系统进行创建,重命名,删除文件或者目录,打开读取或者写文件,设置文件权限等操作。这对于运行在hadoop集群中的应用程序来说是挺棒的,但是,也有许多外部的应用程序需要操作HDFS的情况,怎么办?如果解决这种问题呢?Hortonworks 开发了一些额外的API来支持这些基于标准REST功能的需求。2 Web转载 2016-11-03 17:47:12 · 1967 阅读 · 0 评论 -
jmx 接口访问数据
说到对Hadoop和HBase的集群监控,大家知道的和用的最多的可能还是第三方的监控工具,cacti,ganglia,zabbix之类的。玩的深一些的,会用zenoss之类的。这些工具确实不错,也能发挥很大的作用,但时间长了总感觉监控粒度还是比较粗,不够详细。毕竟是第三方的监控,即便Hadoop自带了ganglia的接口,也还是觉得不够。其实Hadoop本身是带有监控接口的,各公司的发行版还有自己转载 2016-10-28 14:58:44 · 4265 阅读 · 0 评论 -
Hadoop, HBase, Hive, ZooKeeper默认端口说明
Hadoop, HBase, Hive, ZooKeeper默认端口说明组件Daemon端口配置说明HDFSDataNode50010dfs.datanode.addressdatanode服务端口,用于数据传输 50075dfs.datanode.http.addresshttp服务的端口转载 2016-10-28 10:23:30 · 5813 阅读 · 1 评论 -
Log4J配置及参数详解
Log4J的配置文件(Configuration File)就是用来设置记录器的级别、存放器和布局的,它可接key=value格式的设置或xml格式的设置信息。通过配置,可以创建出Log4J的运行环境。1. 配置文件Log4J配置文件的基本格式如下: #配置根Loggerlog4j.rootLogger = [ level ] , appenderN转载 2016-10-28 15:15:02 · 524 阅读 · 0 评论 -
Hadoop 中web服务的REST API介绍
Hadoop YARN中web服务的REST API介绍 Hadoop YARN自带了一系列的web service REST API,我们可以通过这些web service访问集群(cluster)、节点(nodes)、应用(application)以及应用的历史信息。根据API返回的类型,这些URL源归会类到不同的组。一些API返回collector类型的,有些返回singlet转载 2016-10-28 10:51:48 · 2244 阅读 · 0 评论 -
metrics
对于分布式软件系统来说Metrics已经成为了不可缺少的组成部分,通过它我们可以了解系统的运行状况、健康状况、性能状况,通过对历史数据的分析,也可以帮助我们发现系统缺陷以及避免系统不稳定的发生。比如通过JVM数据我们可以优化系统GC策略,通过TPS和latency数据可以获知系统的压力和性能表现。Hadoop作为目前流行的分布式计算系统,提供了一套简单有效的metrics框架。接下来通过对转载 2016-10-28 16:00:15 · 3710 阅读 · 0 评论