- 博客(15)
- 收藏
- 关注
RSS订阅转载 CDH集成YCSB测试工具
Cloudera Lab 在2016.7已经经YCSB 0.10工具集成了，也就是我们不需要通过安装的去安装YCSB了，只需要下载parcel，然后推送至服务器即可。 parcel下载地址： htt...
2017-07-04 17:41:18
99
转载 乱七八糟弹HBASE性能
先来看看Hbase整个结构的图形： 实际上说，hbase结构真的不复杂，相比传统的RDBMS来说，应该要简单。 HBASE整个物理层存储其实最后就是HFile，读内存b...
2017-07-04 17:40:20
109
转载 Hbase性能测试2及预分区
上次通过Hbase自带测试工具，对比不同客户端数量及数据量的插入性能， 由于上次测试对表没有预分区，所以补一个预分区测试，对比一下在分区和不分区的情况下，有什么区别。 hbase的线性扩展得益于多region同...
2017-07-03 14:17:43
159
转载 Hbase性能测试
之前测试过HBASE的参数对性能影响，今天的测试主要针对写吞吐量，通过对比不同客户端的数量，以及插入量，来看看HBASE写的情况下，大概有多少每秒插入。测试硬件：8vcore, 32G内存 ， 8台机器， 5个nodem...
2017-07-02 12:45:17
249
转载 Hbase插入参数测试与对比
HBase读写性能和几个参数有密切关系，比如cache和batch会影响读， 而write buffer会影响写，另外除了参数会影响，在程序里怎么处理也极大的影响插入性能，诸如List比一条一条put性能是否要高呢？ 网上大部...
2017-06-30 16:59:47
144
转载 一次网络异常的Hadoop trouble shooting 过程
实际来说，这个案例大概是1年半之前发生的，在我上一家公司，整个集群大概60个节点， 机器配置大概是128G，24vcores，1T*4硬盘。 因为要迁移，也就是从一个机房迁移到另外一个机房。这里对Hadoop 迁移不做具...
2017-06-30 11:33:29
158
转载 Hbase常用参数
参数列表：hbase.client.write.buffer 写入是BUFFER大小，默认2M，一般2-5M左右，插入时先插入缓存即表示完成，明显速度比不使用缓存要快hbase.client.sca...
2017-06-30 10:52:06
104
转载 Hbase compact以及split跟踪
为了准确了解HBASE内部工作原理，我们需要做一些测试，在大量数据插入的情况下，HBASE内部到底有什么表现？ 比如插入速度， hstore compact，split等相关活动，了解了这些才能更好的维护HBASE系统本身。...
2017-06-29 16:16:07
118
转载 HBASE Rowkey filter
HBASE通过Rowkey可以直接定位行，速度很快，在filter中，有2个API可以过滤主键：1.RowFilter 行过滤器， 依靠行键来过滤 Scan scan = new Scan();...
2017-06-28 18:00:56
251
转载 HIVE外部表到底损失多少性能
我们经常说HIVE外部表比内部表要慢，到底是为什么? 以HBASE为例，如果把HIVE作为一个HBASE客户端的查询工具，语句转义之后发到HBASE，HBASE返回数据，按理不至于慢很多，毕竟只多做了一层SQL到HBASE的语...
2017-06-28 10:56:25
303
转载 Oozie API调用Hue JOB
package com.isesol.zeppelin;import java.util.Properties;import org.apache.oozie.client.OozieClient;i...
2017-06-08 15:10:21
265
转载 Spark读HBASE
scala访问HBASE通常2种方式，一种是使用SPARK方式读取HBASE数据直接转换成RDD， 一种采用和JAVA类似的方式，通过HTable操作HBASE，数据获取之后再自己进行处理。 这2种方式区别应该是RDD是跑在多节...
2017-06-08 13:41:58
112
转载 Spark写HBASE
package com.iesol.high_frequencyimport java.io.BufferedInputStream;import java.io.BufferedReader;import java...
2017-06-08 13:40:17
78
转载 MapReduce读写HBASE
import java.io.IOException;import java.util.ArrayList;import java.util.List;import java.util.StringTok...
2017-06-08 13:36:50
108
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人