原创 ElasticSearch数据操作

插入数据

原创 IDEA设置主题

设置后：

原创 Kylin元数据备份日志

[biadmin@db-1-92-fenqile kylin]$ ./bin/metastore.sh backupKYLIN_HOME is set to /usr/local/fqlhadoop/kylinStarting backup to /usr/local/fqlhadoop/kylin/meta_backups/meta_2016_10_25_10_42_51KYLIN_HOM

原创 大数据平台--存储方向

大数据平台方向，核实是计算和存储，下面是百度马如悦分享中提到的内容：还有时间序列存储，OpenTSDB等。

原创 nmon集群资源使用情况 监控工具

原创 大数据基准测试 TPC-H、TPC-DS

大数据框架，多支持SQL on模式，如何测试？可参考使用TPC-H、TPC-DS。TPC-DS测试基准是TPC组织推出的用于替代TPC-H的下一代决策支持系统（OLAP）测试基准。参考：http://www.csdn.net/article/2015-05-14/2824680

原创 HBase执行命令方法总结

一、echo "scan 'ns_monitor:t_monitor_io',{LIMIT=>1}" | hbase shellecho "scan 'ns_monitor:t_monitor_io',{FILTER=>\"PrefixFilter('2001-01-01|192.168.16.123|io_r_s')\"}" | hbase shell二、hbase shell

原创 Hadoop fs命令对应Java进程

下载到本地FsShell -copyLocal

原创 HBase建表时指定splits_key

cat /usr/local/fqlhadoop/aaronyu/HBase/t_monitor_interface_log_hbase_splits_key_2.txt CoFItgROaOrderIOrderQuerySPrUserAV com.fenqile.acom.fenqile.dcom.fenqile.order.fcom.fenqile.sa

原创 Kylin问题解决 记录

问题Exception: java.net.ConnectException: Call From 5.hadoop.com/192.168.23.232 to 4.hadoop.com:10020 failed on connection exception: java.net.ConnectException: Connection refused; For more details se

原创 Kylin定时增量build

#!/bin/bash##################################################################################################################### 脚本功能：之前脚本任务完成后，使用Kylin命令，增量更新Kylin cube## 修改历史：# #####

原创 Shell获取毫秒时间

#明天凌晨tomorrow=`date -d next-day +%Y-%m-%d`timeStamp=`date -d "$tomorrow 00:00:00" +%s`currentTimeStamp=$(($timeStamp*1000+`date "+%N"`/1000000)) #将current转换为时间戳，精确到毫秒echo $currentTimeStamp#当前时间

原创 HBase集群运维管理 问题记录

一、问题描述hbase-daemon.sh start regionserver启动RegionServer，启动失败，报错日志：问题解决二、问题描述

原创 HBase二次开发 开发环境搭建

git checkout指定版本代码git checkout rel/1.1.2

原创 Hadoop集群管理命令

[biadmin@3 html]$ hdfs haadmin -DFSHAAdmin -getServiceState n1standby[biadmin@3 html]$ hdfs haadmin -DFSHAAdmin -getServiceState n2active

原创 hbase_batch_drop_table

hbase_batch_drop_table.sh#!/bin/bash##################################################################################################################### 脚本功能：批量删除HBase中的表## 修改历史：#

原创 Java记录

Java执行类class的方法 java -classpath "$CLASSPATH" org.apache.hbase.test.T1   java -cp ./KafkaOffsetMonitor-assembly-0.2.0.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb \--zk 192.168.23.2...

原创 集群批量操作

vi operate.sh#!/bin/bashcmd=$1#cmd="jps -l"#cmd="rm -rf /usr/local/fqlhadoop/logs/hbase/*"#cmd="ll /usr/local/fqlhadoop/hbase-1.1.2/logs/*"#cmd="hostname"#cmd="date"#cmd="service gmond rest

原创 Python 时间戳转化为时间格式化字符串

把long型时间戳转化为时间格式化字符串Pythonvi timeTran.py# -*- coding: utf-8 -*-import timefrom datetime import datetimeimport sysdef second_to_strtime(second): """将秒时间戳转化成本地普通时间 (字符串格式)""" retu

原创 hbase hfile中Key的类型对应于源码

hbase hfile -b -v -f /hbase/data/ns_monitor/t_monitor_memory/e15236a1387c7148dfde23022884cde3/monitor_memory/e1f274ed5c6c44f0984ac95de30fa880查看hfile信息Block Index:size=66key=2016-06-17||mem_buffe

原创 131. Node Management

Node Management，下线节点，增加节点。graceful_stop.shrolling-restart.sh

原创 HBase REST Server

##start up# Foregroundhbase rest start -p # Background, logging to a file in $HBASE_LOGS_DIRhbase-daemon.sh start rest -p hbase-daemon.sh stop rest##Use##by the browserhttp://192

原创 69.1. Considerations for Number of Regions

HBase中一台RegionServer，多少个Region比较合适？单个Region大小，设置多少比较合适？Region数量，由少变多，可以split；由多变少，怎么操作？

原创 HBase Tools and Utilities

####129. HBase Tools and Utilities BEGIN#####1hbase org.apache.hadoop.hbase.mapreduce.Driver##1.1hbase org.apache.hadoop.hbase.mapreduce.Driver verifyrep与hbase org.apache.hadoop.hbase.mapreduc

原创 hbase-server-1.1.2.jar中提供的工具类

另，Hadoop、HBase、Kylin等其他Apache项目中一定有很多util工具类。

原创 HBase Replication

Replication是主从同步、主主同步，Snapshot是数据备份。

原创 HBase中Filter总结

待总结HBase中使用不同Filter满足业务需求。

原创 HBase Snapshot

一、测试目的(文档目的)：使用HBase snapshot，测试Phoenix数据备份、HBase数据备份。二、测试步骤：#2.1#定期(如1天)，备份重要表、重要数据snapshot 'PH_MONITOR.T_MONITOR_INTERFACE_LOG', 'PH_MONITOR.T_MONITOR_INTERFACE_LOG_snapshot_20161001

原创 HBase RowKey设计

HBase RowKey设计待参考总结OpenTSDB和《HBase实战》书中的例子。

原创 HBase的并发机制

HBase的并发机制是怎样的？