Hadoop
bigclouder
专注于金融领域……
展开
-
ambari 启动ganglia server报错
我们知道,ganglia监控主要包括两个主要的进程,gmetad进程是服务器进程,gmond进程是客户端进程。这两个进程的配置可以参照网友的文章http://slaytanic.blog.51cto.com/2057708/808981/在ambari中,ganglia主要通过hdp-gmond,与htp-gmetad这两个service来进行启动的。服务启动的时候,会自动原创 2016-11-16 00:05:48 · 1280 阅读 · 0 评论 -
OIV用户手册
OIV用户手册/Offline Image Viewer Guide官方文档的位置http://hadoop.apache.org/docs/r2.7.0/hadoop-project-dist/hadoop-hdfs/HdfsImageViewer.htmlhttp://hadoop.apache.org/docs/r2.7.0/hadoop-project-dist/had原创 2017-02-06 00:20:37 · 1713 阅读 · 0 评论 -
在手动清楚了hdfs上的一些坏块以后导致启动hbase master报错
在手动清楚了hdfs上的一些坏块以后导致启动hbase master报错查看hbase的报警日志2017-01-04 10:03:14,164 FATAL [kiwi02:60000.activeMasterManager] master.HMaster: Unhandled exception. Starting shutdown.org.apache.hadoop.hbase.uti原创 2017-01-04 10:48:30 · 3755 阅读 · 2 评论 -
Hadoop Journal Node 作用
转自:https://my.oschina.net/u/189445/blog/661561NameNode之间共享数据(NFS 、Quorum Journal Node(用得多))两个NameNode为了数据同步,会通过一组称作JournalNodes的独立进程进行相互通信。当active状态的NameNode的命名空间有任何修改时,会告知大部分的JournalNodes进程转载 2016-12-08 10:16:26 · 30508 阅读 · 0 评论 -
配置NameNode HA
1. 安装zookeeper请见http://blog.csdn.net/kiwi_kid/article/details/534969922,修改相关配置文件core-site.xml 文件 fs.defaultFS hdfs://mycluster ha.zoo原创 2016-12-07 21:10:07 · 1307 阅读 · 0 评论 -
zookeeper 3.4.9配置
1、首先肯定是从官网下载相应的tar包,并解压 网址:https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.4.9/zookeeper-3.4.9.tar.gz 解压:tar -zxvf zookeeper-3.4.9.tar.gz2、添加环境变量export ZOOKEEPER_HO原创 2016-12-07 01:15:52 · 2518 阅读 · 0 评论 -
hadoop常见端口配置
常用的端口配置2.1 HDFS端口 参数描述默认配置文件例子值fs.default.name namenodenamenode RPC交互端口8020core-site.xmlhdfs://master:8转载 2016-12-06 20:49:51 · 9278 阅读 · 0 评论 -
DataNode 启动失败
DataNode启动失败,报错2016-12-06 18:17:35,191 WARN org.apache.hadoop.hdfs.server.common.Storage: Failed to add storage directory [DISK]file:/hadoop/data/java.io.IOException: Incompatible clusterIDs in /ha原创 2016-12-06 20:01:24 · 1932 阅读 · 0 评论 -
Nodemanager 自动关闭,报错Connection refused
启动nodemanager报错INFO org.apache.hadoop.service.AbstractService: Service NodeManager failed in state STARTED; cause: org.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.net.ConnectException:原创 2016-12-06 19:42:00 · 4521 阅读 · 0 评论 -
hbase regionserver 无法启动报错
某天发现,某个节点的regionserver以外关闭,并且在启动以后立即会关闭查看hbase的region server日志,Caused by: org.apache.hadoop.hbase.ipc.RemoteWithExtrasException(org.apache.hadoop.hbase.ClockOutOfSyncException): org.apache.hadoop.原创 2016-11-15 19:29:58 · 2451 阅读 · 0 评论 -
启动ambari-server报错
在安装完ambari-server重新启动的时候报如下的错误:[root@aaa yum.repos.d]# service ambari-server startUsing python /usr/bin/python2.6Starting ambari-serverTraceback (most recent call last): File "/usr/sbin/ambari原创 2016-11-15 16:42:56 · 4820 阅读 · 0 评论 -
如何删除ambari中的服务
1,先手工在web界面上停止相关服务,然后通过curl来后台停止服务curl -u admin:admin -H "X-Requested-By: ambari" -X PUT -d '{"RequestInfo": {"context":"Stop Service"},"Body":{"ServiceInfo":{"state":"INSTALLED"}}}' http://10.134.4原创 2016-11-15 16:36:22 · 2114 阅读 · 0 评论 -
Hadoop 启动resource manager 失败的解决办法
节点resource manager 无法启动在/var/log/hadoop-yarn/yarn/yarn-yarn-resourcemanager-bbb.log发现了这样的错误2016-11-14 16:30:43,101 FATAL resourcemanager.ResourceManager (ResourceManager.java:main(1241)) - E原创 2016-11-14 17:38:19 · 17086 阅读 · 0 评论 -
ganglia启动报错
查看错误日志Fail: Execution of '/etc/init.d/httpd start' returned 1. Starting httpd: (2)No such file or directory: httpd: could not open error log file /etc/httpd/logs/error_log.Unable to open logs原创 2016-11-16 17:40:19 · 770 阅读 · 0 评论 -
Security is enabled, but JCE policy zip is not specified error when enabling security using ambari
Security is enabled, but JCE policy zip is not specified error when enabling security using ambariSymptomWhen enabling security you may see this error during start/stop of services20原创 2017-01-17 15:02:54 · 738 阅读 · 0 评论