未知的风fly

踏步时代,不停奔跑,只为留在原地

排序:
默认
按更新时间
按访问量

HBase运维实践-聊聊RIT的那点事

转载自范欣欣个人博客:http://hbasefly.com/ 相信长时间运维HBase集群的童鞋肯定都会对RIT(Region-In-Transition,很多参考资料误解为Region-In-Transaction,需要注意)有一种咬牙切齿的痛恨感,一旦Region处于长时间的RIT就会有些...

2018-09-14 01:11:42

阅读数:26

评论数:0

HBase应用实践专场-HBase问题排查思路

转载自HBase技术社区,http://www.hbase.group/article/49 原文来自 中国HBase技术社区第3届 MeetUp 杭州站 范欣欣的分享 范欣欣,网易杭州研究院技术专家,就职于网易研究院后台技术中心数据库技术组 专注于HBase的开发运维,热衷于MySQL等相...

2018-09-12 12:26:12

阅读数:28

评论数:0

Java代码块与构造方法执行顺序

Java中一般有会区分静态代码块、构造代码块、构造函数执行顺序   静态代码块依赖于类而生存的, 类加载时候最先执行,只执行一次 构造代码块存在于类之下,依赖于对象而生存,不管是创建有参或者无参构造,每次创建对象时候都会执行, 构造函数与类同名,无返回值,创建对象时候执行,创建对象时,对应...

2018-09-09 23:22:08

阅读数:86

评论数:0

Hbase查询性能优化

Hbase虽然能提供海量数据的实时读写,但是一旦数据量非常大,查询延迟也会非常高,所以要做好优化工作。 一、表结构设计 1、列族越少越好 (1)列族(cf)数量,在内存结构中一个cf对应一个store区域,一个store中又存在多个storefile小文件,小storefile是不断合并新的...

2018-09-09 02:02:14

阅读数:39

评论数:0

Java API HbaseUtil工具类

不知不觉,使用hbase一年有余,今天就把hbase 提供的Java API总结一下,虽然不够全,方便个人以及小伙伴们日后使用 1、maven pom坐标引入jar <repositories> <!--clo...

2018-09-02 21:28:07

阅读数:42

评论数:0

初识Hbase

一、Hbase简介 Hbase是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库。依托Hadoop-HDFS作为其文件存储系统,利用MapReduce来处理海量数据,用Zookeeper作为其分布式协同服务,主要用来存储非结构化和半结构化的松散数据(列存 NoSQL 数据库)。 二...

2018-09-02 00:32:10

阅读数:20

评论数:0

离线搭建cdh5.12.2集群

一、安装环境准备 1、服务分布一览表 hostname Server Agent MySQL NN DN RM NM JN ZK DFSZKFC ...

2018-08-26 11:51:36

阅读数:170

评论数:0

centos下安装mysql5.7.23

1、检查是否mysql [root@node01 ~]# rpm -qa | grep -i mysql mysql-5.1.71-1.el6.x86_64 mysql-devel-5.1.71-1.el6.x86_64 perl-DBD-MySQL-4.013-3.el6.x86_64 my...

2018-08-26 00:06:32

阅读数:225

评论数:0

linux监控脚本故障告警

对于部门不健全的公司,项目上线后,往往得开发者自己监控项目运行状况,这时候就需要写简单的脚本监控运行状况 监控进程脚本如下 #!/bin/bash while [ true ] do tdate=`date '+%Y-%m-%d %H:%M:%S'` #grep -...

2018-08-21 22:30:33

阅读数:27

评论数:0

idea分享项目到远程git仓库

1、按1、2步骤,点击箭头所指菜单 2、点击下拉框,选择Git,点击“OK”,交给git管理   3、鼠标右击项目,依次点击"Git",“Add”菜单,添加到暂存区  4、鼠标右击项目,依次点击“Git”,“Commit Directory”...

2018-08-12 00:50:49

阅读数:71

评论数:0

git服务器的搭建与配置

由于yum install git 安装的版本为1.7.1,比较老,所以这里想安装新版本 但git依赖多,找不到不有git新版本的yum源,故用yum安装git依赖与源码安装git相结合 1、源码安装  依赖安装 yum install curl-devel expat-devel ge...

2018-08-07 00:21:56

阅读数:67

评论数:0

定时分割及清除tomcat日志

分catalina.out脚本 编辑split-catalina.sh #!bin/sh ydate=$(date -d '-1 day' +%Y-%m-%d); #获取前一天日期 path=/opt/java_environment/tomcat8-sdkphone8080/logs...

2018-07-28 01:23:46

阅读数:48

评论数:0

linux统计文件关键字出现次数

在实际日常项目中,常常会对生产日志查找异常或者统计一些内容 统计Exception在每天的日志中出现的次数,可知项目运行是否存在问题 新建:vim countex.sh 加入以下 #!bin/sh for file in /logs/task-hbase-transform/* #日志路径...

2018-07-28 00:16:48

阅读数:137

评论数:0

初识SparkSQL

一、简介 1、Shark Shark是基于Spark计算框架之上且兼容Hive语法的SQL执行引擎,由于底层的计算采用了Spark,性能比MapReduce的Hive普遍快2倍以上,当数据全部load在内存的话,将快10倍以上,因此Shark可以作为交互式查询应用服务来使用。除了基于Spark...

2018-07-26 23:48:18

阅读数:39

评论数:0

hbase生存期TTL的设置

TTL简述 TTL缩写Time To Live,即生存期。TTL设置了一个基于时间戳的临界值, 内部的管理会自动检查TTL值是否达到上限,在major合并过程中时间戳被判定为超过TTL的数据会被自动删除。 TTL参数的单位是秒,默认值是Integer.MAX_VALUE,即2^31-1=2 1...

2018-07-20 18:00:10

阅读数:192

评论数:0

hbase shell基本操作命令

1、创建表 #创建表t_task_log,其他保持默认 create 't_task_log', 'data' #创建表t_task_log,列族data,并预分区[0,f],预分区根据row的业务设计 create 't_task_log', 'data', SPLITS =&am...

2018-07-12 14:43:33

阅读数:42

评论数:0

初识sparkCore

1、概念RDD(Resilient Distributed Dataset),弹性分布式数据集 是分布式内存的一个抽象概念,。2、RDD的五大特性:(1)RDD是由一系列的partition组成的        一般有三种生成方式    从 Scala 集合中创建,通过调用 SparkContex...

2018-07-11 23:08:34

阅读数:64

评论数:0

kafka-manager集群管理器配置

kafka-manager是一款优秀的kafka集群管理器,提供可视化的web集群管理界面。此插件管理器由Yahoo公司提供,并在git 上开源:https://github.com/yahoo/kafka-manager1、主要功能(1)管理多个kafka集群(2)便捷的检查kafka集群状态(...

2018-07-10 19:12:56

阅读数:60

评论数:0

linux批量重命名文件

现实中我们常会给文件批量重命名, 利用linux的重命名命令rename可以做到这一点可以看到rename的from、to、files三个参数from:修改的内容,to:改成的内容,files:改的文件,通常用通配符表示比如有这样一批文件,想去掉后边的.COMPLETED,这是可以用rename批...

2018-07-02 16:26:23

阅读数:44

评论数:0

hive的三种模式及配置

hive依赖于hadoop集群和mysql数据库,hadoop集群安装不在详述,mysql见3(3) 1、配置分布     NameNode DataNode Zookeeper DFSZKFC JournalNode hive(单用户) hive(...

2018-06-24 20:02:39

阅读数:56

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭