2017年09月_小强签名设计

12月 11月 10月 09月 08月 07月 06月 05月 04月

原创 Hbase压力测试

一、自己写Java程序测试hbase单机模式1.测试数据：插入测试数据的TestTable表结构为一个列族info，一个列data，每行rowkey插入的数据量大小为900个英文字符。如：value=XXXXXXXXXXXXXXXXJJJJJJJJSSSSSSSSRRRRRRRRFFFFFFFFQQQQQQQQKKKKKKKKQQQQQQQQBBBBBBBBJJJJJJJJDDDDDD

2017-09-28 17:54:00 10008

安装环境：Centos7.2 64位jdk1.8.0_91一、安装前准备工作：1.在安装之前首先应将防火墙和SELinux关闭。2.若没有jdk或者版本过低请先安装相应的jdk3.我没有在root用户下安装而是安装在了hadoop用户下，所以先创建hadoop用户4.修改/etc/sysconfig/network和/etc/hosts文件来修改hostname（一开始我以为这一步是可以忽略的，但...

2017-09-28 17:19:04 2198

原创 Kafka配置说明-server.properties

以下是kafka_2.10-0.8.2.0的server.properties文件：############################# Server Basics ############################## The id of the broker. This must be set to a unique integer for each broke

2017-09-27 17:43:23 5531 3

原创 Elasticsearch对Hbase中的数据建索引实现海量数据快速查询

我已将项目代码上传，地址https://github.com/xiazi123/Test一、将项目导入myeclipse中方法1：将下载好的文件（是解压es_hbase6文件夹而不是Test-master）解压到你myeclipse的Workspaces目录中，然后在myeclipse中右键点击Import导入项目方法2：将下载好的文件解压到你的Windows桌面，然后在myeclipse（我这里...

2017-09-19 14:33:44 25904 11

原创 Oozie-4.1.0-cdh5.5.2 安装部署使用

本文大部分内容参考自：http://www.cnblogs.com/ilinuxer/p/6804339.html一. Hadoop常见调度框架：（1）Linux Crontab：Linux自带的任务调度计划，在任务比较少的情况下，可以使用这种方式，直接执行脚本，例如添加一个执行计划： 0 12 * hive -f xxx.sql（2）Azkaban：（3）Oozie：Cl

2017-09-15 09:54:31 1766

转载 RSync实现文件备份同步

前言：本文转自http://www.mike.org.cn/blog/index.php?load=read&id=639###pp=0，但该地址已不存在，我是看到了这篇文章http://www.cnblogs.com/itech/archive/2009/08/10/1542945.html写得，但其中有很多笔误和歧义的地方，我自己也重新实现了一下，修改了其中的一些部分。rsync可

2017-09-14 14:28:22 479

原创 Hue安装部署（Centos 7.2）

一，HUE介绍http://blog.csdn.net/liangyihuai/article/details/54137163二，Hue的安装和部署1,在root用户下用yum安装所依赖的系统包（能联网）yum -y install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi gcc gcc-c++ krb5-d

2017-09-13 11:17:03 6281 1

原创安装spark-1.5.0-cdh5.5.2所踩过的坑

我一开始想安装spark-1.5.0-cdh5.5.2的standalone模式，于是乎（已安装有hadoop集群）：[hadoop@h71 ~]$ tar -zxvf spark-1.5.0-cdh5.5.2.tar.gz[hadoop@h71 ~]$ vi spark-1.5.0-cdh5.5.2/conf/spark-env.shexport JAVA_HOME=/usr/jdk1.7.0_...

2017-09-11 17:04:23 2412 1

原创 Linux时间同步（NTP）

设置NTP服务器不难但是NTP本身是一个很复杂的协议. 这里只是简要地介绍一下实践方法，下面的实验都在RHEL5.5 64位上运行1.时间和时区如果有人问你说现在几点? 你看了看表回答他说晚上8点了. 这样回答看上去没有什么问题,但是如果问你的这个人在欧洲的话那么你的回答就会让他很疑惑,因为他那里还太阳当空呢.这里就有产生了一个如何定义时间的问题. 因为在地球环绕太阳旋转的

2017-09-05 13:55:09 14737 1