K_James-CSDN博客

原创 ganglia收集hbase的metrics

Ganglia监控软件主要是用来监控系统性能的软件，如：cpu 、mem、硬盘利用率， I/O负载、网络流量情况等，通过曲线很容易见到每个节点的工作状态，对合理调整、分配系统资源，提高系统整体性能起到重要作用。本言讲解如何利用ganglia监控hbase指标，过滤无用的指标，并实现单独管理 hadoop metrics system 的功能，修改指标配置不用重启hbase。

2014-07-25 15:03:09 7228

原创 hadoop CDH4.4上Impala集群安装

hadoop-001 10.168.204.55 state-store, catalog, impaladhadoop-002 10.168.204.56 impaladhadoop-003 10.168.204.57 impaladhadoop-004 10.168.204.58 impalad版本: impala 1.2

2013-12-31 17:04:16 5236 4

原创 Vagrant体验之一nginx+keepalived高可用测试

vagrant是个好东西，之前由于网络环境原因，在本地环境安装warden失败，用vagrant轻松搞定，抽空好好体验下。如果想做些集群或单机测试，可以没有服务器资源，或是远程操作太繁琐。那么vagrant就是个很好的工具，可以在本机实现最小单元的集成。这次先测试下nginx+keepalived的高可用。

2013-10-24 10:45:46 2323 1

原创 Capistrano集群部署CloudFoundry

一、什么是capistrano二、基本原理 ssh : non-login login non-interactive interactive三、安装四、目录结构五、部署流程六、示例七、结束语

2013-10-14 17:03:46 2671 2

原创 Openstack上使用BOSH部署CloudFoundry（二）

第二篇：部署BOSHmicro bosh部署完毕后，要利用micro bosh部署bosh，先从bosh-cli target到micro bosh上ubuntu@bosh-cli:~/deployments$ bosh target 10.23.51.26:25555Target already set to `microbosh-openstack'ubuntu@bo

2013-03-05 17:58:57 3041

原创 Openstack上使用BOSH部署CloudFoundry（一）

最近在部署cloudfoundry测试环境，遇到的问题不少，不停地在google group、github以及cf官方之间穿梭，抽空总结出来，分享的同时让大家少走弯路。利用BOSH部署cf-release有几个步骤，BOSH-cli-->MIcroBosh-->Bosh-->cf-release，先安装 bosh-cli，通过bosh-cli部署Miro bosh，再通过Micro bosh部署

2013-02-01 13:14:10 5741 1

原创 CloudFoundry之DEA源码分析

DEA启动分析ruby的代码结构一般都是一样的：bin目录是执行文件conf是配置文件lib则是ruby sourcespec放置一些测试的文件Gemfile+Gemfile.lock为bundler服务，让dea可以找到正确的gem依赖Rakefile是用来做测试的先看下dea的目录结构,bin 放的是脚本,等同shell的

2013-01-22 13:33:54 2278

原创 CloudFoundry之warden使用与原理分析

vagrant-warden安装由于官方的warden独立安装要涉及到一系列手动操作，可能要自己搭虚拟机，配环境，稍显麻烦。 github上找到一个warden集成安装的项目vagrant-warden，就是一键安装虚拟机和warden。本文后半部分的warden使用就是基于vagrant-warden。与官方warden的使用其实就是直接登录虚拟机，和通过vagrant登录虚拟机的区别。

2013-01-21 11:39:47 9411 4

原创 CloudFoundry之warden安装

环境：物理机或虚拟机，ubuntu10.04或更高。假设是一个新的ubutu系统。1. 更新软件源两种方法：（1） ubuntu软件中心-编辑软件源-其他源，一般认为163的源速度比较快。（2）修改/etc/apt/sources.list，请事先备份，sources list请参考：http://wiki.ubuntu.org.cn/%E6%BA%90%E5%8

2013-01-21 10:49:18 2362 1

原创 Hadoop迁移namenode

由于集群中namenode节点的资源太小，想将其中一个datanode跟namenode互换。集群中还安装有hive，impala，主要修改两个地方：1. namenode元数据2. hive数据库3. 将hadoop和hive的配置文件同步到impala一、namenode元数据NameNode主要被用来管理整个分布式文件系统的命名空间(是目录和文件)的元数据信息，同

2014-01-22 15:08:04 3241

原创 Hadoop CDH4.4.0上HIVE安装

接上一篇Hadoop集群安装，hive是少不了的。简单记录下安装过程。hive只在一个节点上安装就行，这里安装在hadoop-001hadoop-001 10.168.204.55 hivehadoop-005 10.168.204.59 mysqlhadoop版本：CDH4.4.0centos版本：6.3一、准备 1.

2013-12-31 16:28:45 1677

原创 Hadoop CDH4.4集群搭建

一、准备 1. jdk 1.7 2. 防火墙关闭 3. selinux disabled 4. 创建hadoop用户，配置为sudoer 5. ssh without passwd二、安装 1. 下载CDH4.4 tar ，解压。 2. 配置文件设置 core-site.xml hdfs-site.xml mapred-site.xml

2013-12-31 15:32:01 2356

K_James的专栏