- 博客(8)
- 收藏
- 关注
原创 如何用php与thrift连接base
前言各位看官可能要说,网上有很多相关的文章介绍如何使用php和thrift连接hbase,为毛你还要写呢?其实我也是无奈之举,本人在开发的过程中,需要使用php去连接hbase,但是拜读过网上的文章后,经过试验,都没有能满足我个人的需求。痛定思痛,耐下心来查看thrift生成的php相关的代码,跟着注释以及自己的猜测,一步步的试验,终于达到目的,为了使自己的努力成果不至于很快遗忘,所以
2017-03-09 15:45:29 838
原创 hive 与 kylin的搭建
hive安装前言由于kylin现在最高支持的hive版本为1.2.1,所以只能安装此版本,不能安装hive2.0。使用hive需要事先安装好ant,具体安装过程不进行介绍,还需要一个mysql来保存hive的元数据。编译hive编译hive一定要保证网络通畅,编译过程中会出现个别的包无法下载,导致错误,换个时间或者调整网络环境,从新编译,就可以了解压源码包。进行编译。
2016-12-26 09:13:28 7785
原创 mesos源码编译及配置及marathon配置安装
前提保证编译服务器与外网联通状态依赖环境安装配置subversion 1.8+需要的yum配置vim /etc/yum.repos.d/wandisco-svn.repo添加如下内容[WandiscoSVN] name=Wandisco SVN Repo baseurl=http://opensource.wandisco.com/centos/6/svn-1.
2016-12-15 09:52:03 1112
原创 redis集群模式运维常用命令及相关说明
进入集群客户端任意选一个redis节点,进入redis 所在目录cd /redis 所在目录/bin/./redis-cli -h 本地节点的ip -p redis的端口号 -a 密码查看集群中各个节点状态进入到redis客户端后,运行如下命令,查看集群中节点状态cluster nodes会得到如下输出模糊的部分为ip
2016-12-13 08:53:01 5957
原创 hbase运维常用命令及相关说明
准备在操作hbase时,一定要切换到hbase 用户,例如hbase的用户为hduser,一定要先使用su hduser,然后再执行相关的命令命令启动整个集群启动整个集群前,需要确认集群中各个节点均未启动,如果有个别节点启动,请杀死该进程。进入一个master节点的服务器cd /hbase所在目录/bin/./start-hbase.sh关闭整个集群c
2016-12-12 15:31:40 2165
原创 hadoop常用运维命令及相关说明
准备在操作hadoop时,一定要切换到hadoop 用户,例如hadoop的用户为hduser,一定要先使用su hduser,然后再执行相关的命令命令整集群启动启动前,需要确认集群中的节点都是没有启动的, zookeeper集群是启动起来的,如果没有启动,请登录到zookeeper各个节点上运行/zookeeper所在目录/bin/zkServer.sh start
2016-12-12 13:58:29 830
原创 spark+yarn调整计算任务的内存占用
调整的背景公司正式环境有一个小小的spark+hadoop集群,yarn的可用内存只有小小的40G,五个节点,每个节点8G内存,因此需要对每个上线的计算任务占用的资源都要精打细算。写了两个sparkstreaming的任务,发现其中一个任务用了三个container,每个container占用了2G的内存,另外一个任务用了四个container,每个container占用了2G的内存,这样
2016-11-17 08:48:40 4395
原创 kafka安装及常用命令总结
前提条件zookeeper已经安装完毕,分别为hd1:2222,hd2:2222,hd3:2222,hd4:2222,hd5:2222已经在官方网站下载好了二进制包,kafka_2.10-0.10.0.0.tgz将二进制包放到所有要安装kafka的节点上,host指定为:mq1,mq2,mq3,mq4设置zookeeper进入hd1, 切换用户为hadoop用户,进入zooke
2016-11-12 10:26:04 5537 2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人