2017年03月_程裕强

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 Hbase：PleaseHoldException: Master is initializing

问题：Hbase配置正确，但是一旦在HBase Shell中用create语句就出现问题“Master is initializing”[root@node1 ~]# hbase shell2017-03-18 17:55:42,489 WARN [main] util.NativeCodeLoader: Unable to load native-hadoop library for your

2017-03-19 11:03:12 7248

原创运行ambari-web源代码

参考文献： https://cwiki.apache.org/confluence/display/AMBARI/Ambari+Code+Layout1.配置nodejs1.1 下载nodejs建议下载编译ambari时使用的版本的nodejs（v0.10.44） [root@hadron ~]wget https://nodejs.org/download/release/v0.10.44/no

2017-03-17 16:49:32 5084 5

原创 ambari-server操作与对应的源文件

设置命令：ambari-server setup源文件： apache-ambari-2.4.2-src/ambari-server/src/main/python/ambari_server/serverSetup.py1000行之后## 执行ambari-server setup# Setup the Ambari Server.#def setup(options): if

2017-03-17 13:04:13 3484

原创将博客搬至CSDN

将博客搬至CSDNhttp://blog.csdn.net/blogdevteam/article/details/60961185

2017-03-13 21:00:42 108

原创经典IT博文推荐

序号类别标题标题 1 Maven Maven 那点事儿 https://my.oschina.net/huangyong/blog/194583 2 Git Git教程 http://www.liaoxuefeng.com/wiki/0013739516305929606dd18361248578c67b8067c8c017b000

2017-03-13 20:05:06 934

原创 Ambari-server源码分析：核心类-心跳处理agent.HeartBeatHandler

在上一篇《Ambari-server源码分析：agent-AgentResource类》 http://blog.csdn.net/chengyuqiang/article/details/61914712 的基础上，再来看两一个核心类：HeartBeatHandler。该类位于org.apache.ambari.server.agent包下，如下图。 HeartBeatHandler处理来自A

2017-03-13 11:26:53 4059 4

原创 Ambari-server源码分析：核心类agent.rest.AgentResource

AgentResource类位于org.apache.ambari.server.agent.rest包下，如下图：AgentResource类位于Ambari-Server下，它为Ambari-Agent提供API(REST API)，以获取集群配置更改，以及报告在集群节点上运行的服务的节点属性和状态。源代码如下（添加了部分注释）package org.apache.ambari.server.a

2017-03-13 11:07:17 1309

原创 REST介绍与CURL应用

1、 REST引言越来越多的人开始意识到，网站即软件，而且是一种新型的软件。这种”互联网软件”采用客户端/服务器模式，建立在分布式体系上，通过互联网通信，具有高延时（high latency）、高并发等特点。RESTful架构，就是目前最流行的一种互联网软件架构。它结构清晰、符合标准、易于理解、扩展方便，所以正得到越来越多网站的采用。1.1 名称REST，即Representational Stat

2017-03-11 16:42:23 6557

原创 Hive2：Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

[root@node1 ~]# hivewhich: no hbase in (/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/opt/app/jdk1.7.0_79/bin:/opt/app/zookeeper-3.4.9/bin:/opt/app/hadoop-2.7.3/bin:/opt/app/hadoop-2.7

2017-03-10 23:13:04 15164 7

原创 ERROR 1045 (28000):Access denied for user 'root'@'node1' (using password: YES)

在node1节点上安装了mysql，启动Hive时报错： Caused by: java.sql.SQLException: Access denied for user ‘root’@’node1’ (using password: YES)测试登录MySQL 1. 登录node1(本地节点)节点上的mysql[root@node1 ~]# mysql -h node1 -uroot -p1

2017-03-10 23:01:20 5758 1

原创 Ambari 常用的 REST API 介绍

Ambari 借鉴了很多成熟分布式软件的 API 设计。 Rest API 就是一个很好地体现。通过 Ambari 的 Rest API，可以在脚本中通过 curl 维护整个集群。并且，我们可以用 Rest API 实现一些无法在 Ambari GUI 上面做的操作。下面是一些实例。例1，通过 API 卸载已安装的 Service目前 Ambari 不支持在 GUI 上面卸载已安装的 Serv

2017-03-10 13:08:07 13049 1

原创 Ambari架构源码解析

1.Ambari介绍Ambari是hadoop分布式集群配置管理工具，是由hortonworks主导的开源项目。它已经成为apache基金会的孵化器项目，已经成为hadoop运维系统中的得力助手，引起了业界和学术界的关注。1.1 基本概念参考http://blog.csdn.net/j2eelamp/article/details/25416943 1. Resource：Ambari把可以被管理

2017-03-09 17:11:57 17554 4

原创 Ambari postgres数据库操作

1.先切换用户[root@anode1 ~]# su postgresbash-4.2$2.用psql命令登录PostgreSQL控制台默认的用户和数据库是postgresbash-4.2$ psqlcould not change directory to "/root"psql (9.2.18)Type "help" for help.postgres=# 3.进入ambari库切换数

2017-03-09 10:09:00 6561 1

原创问题记录：NameNode is still loading. Redirecting to the Startup Progress page.

集群启动正常，日志没有报错，但是http://192.168.11.81:50070/ 一直提示“NameNode is still loading. Redirecting to the Startup Progress page.”有人说是“hadoop刚刚启动时，会进入安全模式进行自检，自检完毕就好了”，但是进群运行了很长时间还是这个状态。暂时不知道原因，问题先记录一下。

2017-03-08 18:19:54 7597 6

原创 Ubuntu设置SSH免密登录(不同于CentOS)

Ubuntu设置SSH免密登录(不同于CentOS)1.遇到的坑之前一直在CentOS系统进行Hadoop开发，SSH免密登录配置过N次，今天在Ubuntu平台下设置免密登录遇到了坑：kylin@uk0:~$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsaGenerating public/private dsa key pair.Created directo

2017-03-03 16:56:28 5399 1

原创 HDFS Java API

HDFS Java API官网 http://hadoop.apache.org/docs/r2.7.3/api/index.html1.读取HDFS文件package test;import java.io.IOException;import java.io.InputStream;import java.net.URI;import org.apache.hadoop.conf.Co

2017-03-03 13:15:21 4236

原创虚拟机vmware centos7 扩展磁盘空间

0、思路创建一个新的逻辑分区，将新的逻辑分区格式化ext3（或其他类型）的文件系统，mount到磁盘空间不够的文件系统，就跟原来的分区/文件系统一样的使用1、准备1.1 注意使用VMware自带的Expand功能不能有Snapshot存在，所以在expand之前先把所有的Snapshot删掉了1.2 为了以防万一，把VMware虚拟机copy了一份备用。2、查看挂载点[root@vnode1 ~]#

2017-03-02 13:43:08 15067 4

原创 Ubuntu平台下源码编译Ambari 2.4

Ubuntu/UbuntuKylin平台下源码编译Ambari 2.41、Ubuntu环境配置1.1 网络配置kylin@Ubuntu:~$ sudo vim /etc/network/interfaces\# interfaces(5) file used by ifup(8) and ifdown(8)auto ens32iface ens32 inet staticaddress 19

2017-03-01 15:57:15 3514 3