- 博客(88)
- 收藏
- 关注
RSS订阅转载 HBase api 客户端报Permission denied
keywor：org.apache.hadoop.hbase.security.AccessDeniedException: Insufficient permissions (user=jetty, scope=default:pant est1, params=[table=default...
2017-07-06 09:56:00
925
转载 TF-IDF及其算法
概念 TF-IDF（term frequency–inverse document frequency）是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成...
2017-03-18 11:57:00
155
转载 Linux终端下 dstat 监控工具
dstat 是一个可以取代vmstat，iostat，netstat和ifstat这些命令的多功能产品。dstat克服了这些命令的局限并增加了一些另外的功能，增加了监控项，也变得更灵活了。dstat可以很方便监控系统运行状况并用于基准测试和排除故障。 dstat可以让你实时地看到所有系统资源...
2017-02-08 09:42:00
135
转载 Hbase性能优化
1.hbase.regionserver.handler.count：rpc请求的线程数量，默认值是10，生产环境建议使用100，也不是越大越好，特别是当请求内容很大的时候，比如scan/put几M的数据，会占用过多的内存，有可能导致频繁的GC，甚至出现内存溢出。 2.hbase.maste...
2016-11-21 21:04:00
126
转载 Linux 常用性能排查命令
通过执行以下命令，可以在1分钟内对系统资源使用情况有个大致的了解。 uptime dmesg | tail vmstat 1 mpstat -P ALL 1 pidstat 1 iostat -xz 1 free -m sar -n DEV 1 sar ...
2016-09-02 23:26:00
163
转载 Linux 常用性能排查命令
通过执行以下命令，可以在1分钟内对系统资源使用情况有个大致的了解。 uptime dmesg | tail vmstat 1 mpstat -P ALL 1 pidstat 1 iostat -xz 1 free -m sar -n DEV 1 sar ...
2016-09-02 23:26:00
139
转载 Linux 常用性能排查命令
通过执行以下命令，可以在1分钟内对系统资源使用情况有个大致的了解。 uptime dmesg | tail vmstat 1 mpstat -P ALL 1 pidstat 1 iostat -xz 1 free -m sar -n DEV 1 sar ...
2016-09-02 23:26:00
87
转载 Redis原理详解
数据类型 Redis最为常用的数据类型主要有以下五种： String Hash List Set Sorted set 在具体描述这几种数据类型之前，我们先通过一张图了解下Redis内部内存管理中是如何描述这些不同数据类型的： ...
2016-08-25 21:55:00
118
转载 实时IO监控iotop命令详解
介绍 Linux下的IO统计工具如iostat, nmon等大多数是只能统计到per设备的读写情况, 如果你想知道每个进程是如何使用IO的就比较麻烦. iotop 是一个用来监视磁盘 I/O 使用状况的 top 类工具。iotop 具有与 top 相似的 UI，其中包括 PID、用户、I...
2016-08-22 23:26:00
134
转载 iostat
对于I/O-bond类型的进程，我们经常用iostat工具查看进程IO请求下发的数量、系统处理IO请求的耗时，进而分析进程与操作系统的交互过程中IO方面是否存在瓶颈。 下面通过iostat命令使用实例，说明使用iostat查看IO请求下发情况、系统IO处理能力的方法，以及命令执行结果中...
2016-08-22 23:25:00
84
转载 CPU 排查
CPU排查工具： uptime：检查负载平均数以确认CPU负载时随时间上升还是下降。 负载平均数超过了CPU数量通常代表CPU饱和。 vmstat：每秒运行vmstat，然后检查空闲列，看看还有多少余量。 少于10% 可能是一个问题。 mpstat： 检查单个热点（繁忙）CPU，挑出一个...
2016-08-21 22:12:00
92
转载 性能排查 -- vmstat 使用
vmstat命令是最常见的Linux/Unix监控工具，可以展现给定时间间隔的服务器的状态值,包括服务器的CPU使用率，内存使用，虚拟内存交换情况,IO读写情况。这个命令是我查看Linux/Unix最喜爱的命令，一个是Linux/Unix都支持，二是相比top，我可以看到整个机器的CPU,内存...
2016-08-20 21:52:00
194
转载 metaq架构原理
本来只是想看下metaq的文档，结果发现好乱，现在metaq其实有两个大分支了，一个是庄晓丹维护的已开源的，另外一个是淘宝内部的，本质结构原理没太大区别，只不过开源的已经去掉了对淘系相关的依赖。然后淘系的metaq已经到3.*版本了，但是文档比较乱，深入到细节时，发现好乱，一个点有好几种说法，...
2016-06-06 20:16:00
106
转载 [转载]HBase列族高级配置
HBase有几个高级特性，在你设计表时可以使用。这些特性不一定联系到模式或行键设计，但是它们定义了某些方面的表行为。本节我们讨论这些配置参数，以及你可以如何使用它们。1可配置的数据块大小HFile数据块大小可以在列族层次设置。这个数据块不同于之前谈到的HDFS数据块。其默认值是65,536字...
2016-02-03 21:55:00
103
转载 HBase（0.96以上版本）过滤器Filter详解及实例代码
目录： 引言 -- 参数基础 1. 结构(Structural)过滤器--FilterList 2.列值过滤器--SingleColumnValueFilter 2.1.第一种构造函数情况-- 比较的关键字是字符数组 2.2.第二种构造函数情况-- 比...
2016-01-31 21:16:00
123
转载 hbase RowFilter
RowFilter用于过滤row key OperatorDescription LESS小于 LESS_OR_EQUAL小于等于 [EQUAL等于 NOT_EQUAL不等于 GREATER_OR_EQUAL大于等于 GREATER大于 NO_OP排除所有 Compara...
2016-01-31 21:10:00
102
转载 flume 安装
一、什么是Apache Flume 官网：Flume is a distributed, reliable, and availableservicefor efficientlycollecting, aggregating, and moving large amounts of...
2016-01-23 00:18:00
81
转载 经常遇到的java.lang.OutOfMemoryError: unable to create
刚才在某机器上上xxx用户下压测时遇到这个问题，连xxx都进不去了 说明xxx用户下无法创建跟多的线程了（当然root用户没这个问题） 系统能够创建的最大线程数：(MaxProcessMemory - JVMMemory –系统内存) / (ThreadStackSize) = Numb...
2016-01-12 13:57:00
147
转载 mac os 部署hadoop之后报 Unable to load realm info from
hadoop启动日志里异常信息: Unable to load realm info from SCDynamicStore 搜索后发现很早就有人提交给Hadoop了：https://issues.apache.org/jira/browse/HADOOP-7489 ，这个好像解决的方法...
2016-01-10 23:05:00
115
转载 Tenured 区并发垃圾回收器CMS介绍
转自：http://javis163.iteye.com/blog/1679059 当使用CMS收集器时，当开始进行收集时，old代的收集过程如下所示：1，首先jvm根据-XX:CMSInitiatingOccupancyFraction，-XX:+UseCMSInitiatingOccup...
2015-10-10 19:24:00
67
转载 Neo4j Cypher查询语言详解
转自：http://www.ttlsa.com/nosql/how-to-neo4j-cypher-query-language/ Cypher介绍 “Cypher”是一个描述性的图形查询语言，允许不必编写图形结构的遍历代码对图形存储有表现力和效率的查询。Cypher还在继续发展...
2015-09-27 15:58:00
480
转载 TCP/IP TIME_WAIT状态原理
TIME_WAIT状态原理 ---------------------------- 通信双方建立TCP连接后，主动关闭连接的一方就会进入TIME_WAIT状态。 客户端主动关闭连接时，会发送最后一个ack后，然后会进入TIME_WAIT状态，再停留2个MSL时间(后有MSL的解释)，进...
2015-09-21 22:24:00
63
转载 JAVA 中BIO,NIO,AIO的理解
在高性能的IO体系设计中，有几个名词概念常常会使我们感到迷惑不解。具体如下：序号 问题1 什么是同步？2 什么是异步？3 什么是阻塞？4 什么是非阻塞？5 什么是同步阻塞？6 什么是同步非阻塞？7 什么是异步阻塞？8 什么是异步非阻塞？散仙不才，在查了一部分资料后，愿试着以...
2015-09-17 09:17:00
76
转载 unix(mac)单机安装neo4j
单机版安装 单机安装十分简单： 1）将neo4j的community版本下载完毕后，进行解压，运行的命令是：tar –zvxf neo4j-community-2.0.1.tar.gz 2）修改conf/neo4j-server.properties配置文件，将org.neo4j.ser...
2015-08-28 22:22:00
126
转载 java多线程小结，及解决应用挂死的问题
这两天为了定位JBOSS老是挂死的问题，学习了一下JAVA多线程方面的知识，在此总结一下1、在Java程序中，JVM负责线程的调度。线程调度是指按照特定的机制为多个线程分配CPU的使用权。调度的模式有两种：分时调度和抢占式调度。分时调度是所有线程轮流获得CPU使用权，并平均分配每个线程占用...
2015-07-21 20:23:00
140
转载 Nginx 单IP下 配置多个server https 的问题
我们的负载均衡架构是这样的： 请求 —> 网络 —> LVS集群 —> Nginx 集群 —> APP LVS使用FULLNAT模式，每台Nginx 机器只有一个IP(内网IP)，LVS也是把流量转到这个IP。如果Nginx想对多个域名使用https，...
2015-06-01 20:42:00
1208
转载 hbase 学习（十五）缓存机制以及可以利用SSD作为存储的BucketCache
下面介绍Hbase的缓存机制： a.HBase在读取时，会以Block为单位进行cache，用来提升读的性能 b.Block可以分类为DataBlock(默认大小64K,存储KV)、BloomBlock(默认大小128K,存储BloomFilter数据)、IndexBlock(默认大...
2015-05-12 19:56:00
162
转载 hbase 学习（十六）系统架构图
HBase 系统架构图 组成部件说明 Client： 使用HBase RPC机制与HMaster和HRegionServer进行通信 Client与HMaster进行通信进行管理类操作 Client与HRegionServer进行数据读写类操作 Zookee...
2015-05-12 19:56:00
71
转载 hbase 学习（十四）Facebook针对hbase的优化方案分析
使用hbase的目的是为了海量数据的随机读写，但是在实际使用中却发现针对随机读的优化和gc是一个很大的问题，而且hbase的数据是存储在Hdfs，而Hdfs是面向流失数据访问进行设计的，就难免带来效率的下降。下面介绍一下Facebook Message系统在HBase online stora...
2015-05-12 19:55:00
112
转载 hbase 学习（十三）集群间备份原理
集群建备份，它是master/slaves结构式的备份，由master推送，这样更容易跟踪现在备份到哪里了，况且region server是都有自己的WAL 和HLog日志，它就像mysql的主从备份结构一样，只有一个日志来跟踪。一个master集群可以向多个slave集群推送，收到推送的集群...
2015-05-12 19:53:00
178
转载 hbase 学习（十二）非mapreduce生成Hfile，然后导入hbase当中
最近一个群友的boss让研究hbase，让hbase的入库速度达到5w+/s，这可愁死了，4台个人电脑组成的集群，多线程入库调了好久，速度也才1w左右，都没有达到理想的那种速度，然后就想到了这种方式，但是网上多是用mapreduce来实现入库，而现在的需求是实时入库，不生成文件了，所以就只能自...
2015-05-12 19:52:00
90
转载 Hbase 学习（十） HBase Snapshots
HBase Snapshots允许你对一个表进行快照（即可用副本），它不会对Region Servers产生很大的影响，它进行复制和 恢复操作的时候不包括数据拷贝。导出快照到另外的集群也不会对Region Servers产生影响。 下面告诉你如何使用Snapshots功能 1.开启快照支持功...
2015-05-12 19:50:00
109
转载 Hbase 学习（九） 华为二级索引（原理）
这个是华为的二级索引方案，已经开放源代码了,下面是网上的一篇讲解原理的帖子，发出来和大家共享一下。 经过本人认真阅读了一下代码，发现这个源码仅供参考，想要集成到原有的集群当中是有点儿难度的，它对hbase的源码进行不少的修改。 源码地址：https://github.com/Huawei-...
2015-05-11 08:50:00
119
转载 Hbase 学习（七） rowkey设计
一直以来对rowkey的设计都比较迷茫，《hbase权威指南》倒是给出了个还算靠谱的例子。 下面这个例子有点儿像帖子表结构，它的rowkey设计是这样的，可以简单的理解为，什么人在什么时间发了什么信息，信息包括什么附件，它是用户为主线的一个设计。 <userId>-<da...
2015-05-11 08:49:00
70
转载 Hbase 学习（八） 使用MapReduce
在hbase的demo里面有个IndexBuilder的例子，它就是使用了MapReduce来操作hbase的，例子也比较简单，但是只包括了Mapper。 另外网上还有另外一个例子，也是说明这个的，这个例子更为全面一点，包括了Mapper和Reducer。 http:/...
2015-05-11 08:49:00
137
转载 Hbase 学习（六） 配置文件调优
这部分的内容，网上多了去了，都大同小异的，仅作为备忘录，省得需要的时候又要到处查。 1.zookeeper.session.timeout 默认3分钟，zookeeper和hbase通信的超时时间，设置为1分钟或者更少。 2.hbase.regionserver.handler.cou...
2015-05-11 08:48:00
67
转载 Hbase 学习（五） 调优
1.垃圾回收器调优 当我们往hbase写入数据，它首先写入memstore当中，当menstore的值大于hbase.hregion.memstore.flush.size参数中设置的值后，就会写入硬盘。 在hbase-env.sh文件中，我们可以设置HBASE_OPTS或者...
2015-05-11 08:48:00
63
转载 Hbase 学习（四） hbase客户端设置缓存优化查询
我们在用hbase的api对hbase进行scan操作的时候，可以设置caching和batch来提交查询效率，那它们之间的关系是啥样的呢，我们又应该如何去设置? 首先是我们的客户端代码。 当caching和batch都为1的时候，我们要返回10行具有20列的记录，就要...
2015-05-11 08:47:00
509
转载 Hbase 学习（三）Coprocessors
Coprocessors 之前我们的filter都是在客户端定义，然后传到服务端去执行的，这个Coprocessors是在服务端定义，在客户端调用，然后在服务端执行，他有点儿想我们熟悉的存储过程，传一些参数进去，然后进行我们事先定义好的操作，我们常常用它来做一些比如二次索引啊，统...
2015-05-11 08:46:00
95
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人