自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

程裕强的专栏

学习笔记(1.01^365=37.78,0.99^365=0.025)

原创 Hbase:PleaseHoldException: Master is initializing

问题:Hbase配置正确,但是一旦在HBase Shell中用create语句就出现问题“Master is initializing”[root@node1 ~]# hbase shell2017-03-18 17:55:42,489 WARN [main] util.NativeCodeLoader: Unable to load native-hadoop library for your

2017-03-19 11:03:12 3821

原创 运行ambari-web源代码

参考文献: https://cwiki.apache.org/confluence/display/AMBARI/Ambari+Code+Layout1.配置nodejs1.1 下载nodejs建议下载编译ambari时使用的版本的nodejs(v0.10.44) [root@hadron ~]wget https://nodejs.org/download/release/v0.10.44/no

2017-03-17 16:49:32 4130 4

原创 ambari-server操作与对应的源文件

设置命令:ambari-server setup源文件: apache-ambari-2.4.2-src/ambari-server/src/main/python/ambari_server/serverSetup.py1000行之后## 执行ambari-server setup# Setup the Ambari Server.#def setup(options): if

2017-03-17 13:04:13 2823

原创 将博客搬至CSDN

将博客搬至CSDNhttp://blog.csdn.net/blogdevteam/article/details/60961185

2017-03-13 21:00:42 41

原创 经典IT博文推荐

序号 类别 标题 标题 1 Maven Maven 那点事儿 https://my.oschina.net/huangyong/blog/194583 2 Git Git教程 http://www.liaoxuefeng.com/wiki/0013739516305929606dd18361248578c67b8067c8c017b000

2017-03-13 20:05:06 792

原创 Ambari-server源码分析:核心类-心跳处理agent.HeartBeatHandler

在上一篇《Ambari-server源码分析:agent-AgentResource类》 http://blog.csdn.net/chengyuqiang/article/details/61914712 的基础上,再来看两一个核心类:HeartBeatHandler。该类位于org.apache.ambari.server.agent包下,如下图。 HeartBeatHandler处理来自A

2017-03-13 11:26:53 2973 4

原创 Ambari-server源码分析:核心类agent.rest.AgentResource

AgentResource类位于org.apache.ambari.server.agent.rest包下,如下图:AgentResource类位于Ambari-Server下,它为Ambari-Agent提供API(REST API),以获取集群配置更改,以及报告在集群节点上运行的服务的节点属性和状态。源代码如下(添加了部分注释)package org.apache.ambari.server.a

2017-03-13 11:07:17 922

原创 REST介绍与CURL应用

1、 REST引言越来越多的人开始意识到,网站即软件,而且是一种新型的软件。这种”互联网软件”采用客户端/服务器模式,建立在分布式体系上,通过互联网通信,具有高延时(high latency)、高并发等特点。RESTful架构,就是目前最流行的一种互联网软件架构。它结构清晰、符合标准、易于理解、扩展方便,所以正得到越来越多网站的采用。1.1 名称REST,即Representational Stat

2017-03-11 16:42:23 5720

原创 Hive2:Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

[root@node1 ~]# hivewhich: no hbase in (/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/opt/app/jdk1.7.0_79/bin:/opt/app/zookeeper-3.4.9/bin:/opt/app/hadoop-2.7.3/bin:/opt/app/hadoop-2.7

2017-03-10 23:13:04 14787 7

原创 ERROR 1045 (28000):Access denied for user 'root'@'node1' (using password: YES)

在node1节点上安装了mysql,启动Hive时报错: Caused by: java.sql.SQLException: Access denied for user ‘root’@’node1’ (using password: YES)测试登录MySQL 1. 登录node1(本地节点)节点上的mysql[root@node1 ~]# mysql -h node1 -uroot -p1

2017-03-10 23:01:20 4189 1

原创 Ambari 常用的 REST API 介绍

Ambari 借鉴了很多成熟分布式软件的 API 设计。 Rest API 就是一个很好地体现。通过 Ambari 的 Rest API,可以在脚本中通过 curl 维护整个集群。 并且,我们可以用 Rest API 实现一些无法在 Ambari GUI 上面做的操作。下面是一些实例。例1,通过 API 卸载已安装的 Service目前 Ambari 不支持在 GUI 上面卸载已安装的 Serv

2017-03-10 13:08:07 9217 1

原创 Ambari架构源码解析

1.Ambari介绍Ambari是hadoop分布式集群配置管理工具,是由hortonworks主导的开源项目。它已经成为apache基金会的孵化器项目,已经成为hadoop运维系统中的得力助手,引起了业界和学术界的关注。1.1 基本概念参考http://blog.csdn.net/j2eelamp/article/details/25416943 1. Resource:Ambari把可以被管理

2017-03-09 17:11:57 13276 4

原创 Ambari postgres数据库操作

1.先切换用户[root@anode1 ~]# su postgresbash-4.2$2.用psql命令登录PostgreSQL控制台默认的用户和数据库是postgresbash-4.2$ psqlcould not change directory to "/root"psql (9.2.18)Type "help" for help.postgres=# 3.进入ambari库切换数

2017-03-09 10:09:00 5019 1

原创 问题记录:NameNode is still loading. Redirecting to the Startup Progress page.

集群启动正常,日志没有报错,但是http://192.168.11.81:50070/ 一直提示“NameNode is still loading. Redirecting to the Startup Progress page.”有人说是“hadoop刚刚启动时,会进入安全模式进行自检,自检完毕就好了”,但是进群运行了很长时间还是这个状态。暂时不知道原因,问题先记录一下。

2017-03-08 18:19:54 6341 6

原创 Ubuntu设置SSH免密登录(不同于CentOS)

Ubuntu设置SSH免密登录(不同于CentOS)1.遇到的坑之前一直在CentOS系统进行Hadoop开发,SSH免密登录配置过N次,今天在Ubuntu平台下设置免密登录遇到了坑:kylin@uk0:~$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsaGenerating public/private dsa key pair.Created directo

2017-03-03 16:56:28 4134 1

原创 HDFS Java API

HDFS Java API官网 http://hadoop.apache.org/docs/r2.7.3/api/index.html1.读取HDFS文件package test;import java.io.IOException;import java.io.InputStream;import java.net.URI;import org.apache.hadoop.conf.Co

2017-03-03 13:15:21 3661

原创 虚拟机vmware centos7 扩展磁盘空间

0、思路创建一个新的逻辑分区,将新的逻辑分区格式化ext3(或其他类型)的文件系统,mount到磁盘空间不够的文件系统,就跟原来的分区/文件系统一样的使用1、准备1.1 注意使用VMware自带的Expand功能不能有Snapshot存在,所以在expand之前先把所有的Snapshot删掉了1.2 为了以防万一,把VMware虚拟机copy了一份备用。2、查看挂载点[root@vnode1 ~]#

2017-03-02 13:43:08 9287 1

原创 Ubuntu平台下源码编译Ambari 2.4

Ubuntu/UbuntuKylin平台下源码编译Ambari 2.41、Ubuntu环境配置1.1 网络配置kylin@Ubuntu:~$ sudo vim /etc/network/interfaces\# interfaces(5) file used by ifup(8) and ifdown(8)auto ens32iface ens32 inet staticaddress 19

2017-03-01 15:57:15 3074 3

提示
确定要删除当前文章?
取消 删除