自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

大JAVA解决方案

数据科学

转载 关于MemStore的刷新方式

  原创 NoSQL 作者:orchidllh 时间:2013-12-05 13:51:46  149507  0 关于MemStore的刷新方式: 1、MemStore达到上限hbase.hregion.memstore.flush.size 默认是128M的时候,会触发MemStore的...

2018-12-28 16:41:55 52 0

转载 linux下使用vim修改jar包或zip包内文件内容

  作者 : darcy   时间 : 2017-01-22   浏览 : 87 介绍一种通过vim命令不解压压缩包直接更改文件内容的方法。 cd到jar包所在目录,运行命令: vim xxx.jar。 此时便可以看到jar包内根目录下的所有文件,移动光标到需要修改的文件敲回车键可以进入vim...

2018-12-28 10:53:30 1405 1

转载 Spark(一): 基本架构及原理

  2017年03月08日 11:26:45 风语飘摇 阅读数:99174     Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架,最初在2009年由加州大学伯克利分校的AMPLab开发,并于2010年成为Apache的开源项目之一,与Hadoop和Storm等其...

2018-12-26 17:22:15 215 0

转载 HDFS中的集中化缓存管理

  2016年04月19日 21:30:07 Free World 阅读数:783 概述   HDFS中的集中化缓存管理是一个明确的缓存机制,它允许用户指定要缓存的HDFS路径。NameNode会和保存着所需快数据的所有DataNode通信,并指导他们把块数据缓存在off-heap缓存中。...

2018-12-26 17:00:27 113 0

原创 spark 的各种参数配置

  2018年01月03日 11:19:46 hankl1990 阅读数:1784 https://www.jianshu.com/p/9b243c0a7410       1 spark on yarn常用属性介绍 属性名 默认值 属性说明 spark.yarn...

2018-12-26 16:55:29 855 0

转载 spark运行方式及其常用参数

  2016年09月19日 18:27:47 jiewuyou 阅读数:1224 标签: spark 更多 个人分类: 云计算 所属专栏: spark私房菜 本文将介绍spark的几种运行方式,及常用的参数 yarn cluster模式 例行任务一般会采用这种方式运行 指定固定的ex...

2018-12-26 16:46:48 206 0

转载 spark-shell运行spark任务参数设置

  2016年09月23日 11:02:02 zrc199021 阅读数:12548 之前初学spark用spark-shell执行小程序的时候, 每次执行action操作(比如count,collect或者println),都会报错: WARN TaskSchedulerImpl: In...

2018-12-26 16:27:41 824 0

原创 Spark core优化配置参数

Spark core优化配置参数 2018年06月08日 12:30:27 张行之 阅读数:674  版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq_33689414/article/details/80621578 Spark cor...

2018-12-25 15:24:54 150 0

转载 centos6永久修改主机名

centos6永久修改主机名 2017年10月11日 22:16:22 lijie12233 阅读数:8321更多 个人分类: linux vi /etc/sysconfig/network HOSTNAME=localhost.localdomain  #修改localhost.loca...

2018-12-25 11:52:55 285 0

转载 HAProxy安装配置详解

  简介 HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理,支持虚拟主机,它是免费、快速并且可靠的一种解决方案。 HAProxy特别适用于那些负载特大的web站点,这些站点通常又需要会话保持或七层处理。 HAProxy运行在当前的硬件上,完全可以支持数以万计的并发连接...

2018-12-25 09:22:44 59 0

转载 Azkaban 3.0 Documentation

Azkaban Downloads Documentation Contributing License Contact GitHub  Azkaban 3.0 Documentation Overview Getting Started Building from Source ...

2018-12-24 10:10:49 1367 0

转载 初识Azkaban

学而不思则罔,思而不学则殆 一个人的奋斗...... CnBlogs Home New Post Contact Admin Rss Posts - 101  Articles - 17  Comments - 10  初识Azkaban 先说下hadoop 内置工作流的不足 ...

2018-12-22 13:38:34 195 0

转载 Azkaban2.5安装部署

Azkaban2.5安装部署(系统时区设置 + 安装和配置mysql + Azkaban Web Server 安装 + Azkaban Executor Server安装 + Azkaban web server插件安装 + Azkaban Executor Server 插件安装)(博主推荐)...

2018-12-22 13:01:06 277 0

转载 大数据学习笔记之azkaban

大数据学习笔记之azkaban 2018年12月09日 15:04:42 HeartisTiger 阅读数:245 版权声明:此博客为学习笔记所用不得转载! https://blog.csdn.net/weixin_43704599/article/details/84928184 Azak...

2018-12-22 10:03:36 454 0

转载 运行时候报异常could only be replicated to 0 nodes instead of minReplication (=1). There are 2 datanode(s) r

运行时候报异常could only be replicated to 0 nodes instead of minReplication (=1). There are 2 datanode(s) running and no node(s) are excluded in this operat...

2018-12-22 09:46:53 295 0

转载 hadoop三个配置文件的参数含义说明

  2016年06月05日 21:03:07 hallelujahCTX 阅读数:4570 hadoop常用端口配置 1. HDFS端口 参数 描述 默认 配置文件 例子值 ...

2018-12-21 13:41:56 130 0

转载 spark高可用集群搭建及运行测试

  文中的所有操作都是在之前的文章spark集群的搭建基础上建立的,重复操作已经简写; 之前的配置中使用了master01、slave01、slave02、slave03;   本篇文章还要添加master02和CloudDeskTop两个节点,并配置好运行环境;   一、流程: 1...

2018-12-21 13:01:37 70 0

转载 Hadoop2.7.3+Spark2.1.0完全分布式集群搭建过程

Hadoop2.7.3+Spark2.1.0完全分布式集群搭建过程 1.选取三台服务器(CentOS系统64位)   114.55.246.88 主节点   114.55.246.77 从节点   114.55.246.93 从节点      之后的操作如果是用普通用户操作的话也必须知道...

2018-12-20 10:47:28 347 1

转载 《从零开始学Storm》试读:在这一章,你将学会如何在Storm拓扑的不同组件之间传输元组,以及如何部署拓扑到一个运行中的Storm集群。

《从零开始学Storm》试读:在这一章,你将学会如何在Storm拓扑的不同组件之间传输元组,以及如何部署拓扑到一个运行中的Storm集群。 3.1 什么是拓扑 要使用Storm做实时计算,首先需要创建所谓的“拓扑(Topology)”。一个拓扑是一个有向图的计算。在一个拓扑中的每个节点包含处理逻...

2018-12-19 17:36:38 111 0

转载 Hadoop添加新的节点

  2012年09月19日 14:56:07 oO寒枫Oo 阅读数:5412 版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/lxpbs8851/article/details/7996059 1.修改host  1) 新的slave的ip...

2018-12-19 13:40:09 169 1

原创 hash值相等,equals一定相等吗,equals相等,hash值一定相等吗

  2017年10月21日 21:44:23 XiaopinOo 阅读数:3968 标签: equalshashhash值相等equals相等hash值是否相等更多 个人分类: java基础 两者之间唯一的必然关系被你说反了,equls返回为true,则两者的hashcode一定相等,意即相...

2018-12-18 16:57:52 1932 0

原创 数据类型说明:int16,int32,int64,WORD

  一开始看到Int16, Int32, Int64这三种类型就觉得有点怪, 为什么要整个数字结尾的, 这么干就是想让大家一眼就知道这个数据类型占多大空间吧. Int16, 等于short, 占2个字节. -32768 32767 Int32, 等于int, 占4个字节. -21474836...

2018-12-18 16:07:00 4471 0

转载 int型的数到底最大值是多少?

  本文摘自:http://blog.csdn.net/friendbaby/article/details/6822690   刚才在百度知道上看见一个网友问int型的数最大能存多少。这个问题其实计算机系统结构里有讲解。   首先,我们要知道在计算机里怎么存储数字的。在计算机里,对数字编码...

2018-12-18 15:59:08 19593 0

转载 一个字母占几个字节

一个字母占几个字节  (2010-11-06 10:41:24) 转载▼ 标签:  杂谈   我真的搞不清楚你到底想问什么,而且你有的表述也不准确严谨 所以只好把基本的单位先说下。 比特(bit)即一个二进制位  例如100011就是6比特 字节(byte)这是计算机...

2018-12-18 15:53:21 4730 1

转载 JVM内存结构--新生代及新生代里的两个Survivor区(下一轮S0与S1交换角色,如此循环往复)、常见调优参数

  2017年06月13日 15:10:12 含笑半步癫123 阅读数:4003 转自http://www.cnblogs.com/duanxz/p/6076662.html   一、为什么会有年轻代     我们先来屡屡,为什么需要把堆分代?不分代不能完成他所做的事情么?其实不分代完...

2018-12-17 16:54:41 140 0

转载 批量执行hbase shell 命令 major_compact('t_abc')

  ? 1 2 3 4 5 6 7 8 9 10 #!/bin/bash source /etc/profile exec $HBASE_HOME/bin/hbase she...

2018-12-17 15:03:25 685 0

转载 hbase优化操作与建议

    一、服务端调优   1、参数配置     1)、hbase.regionserver.handler.count:该设置决定了处理RPC的线程数量,默认值是10,通常可以调大,比如:150,当请求内容很大(上MB,比如大的put、使用缓存的scans)的时候,如果该值设置过大则会占用...

2018-12-17 11:27:59 123 0

转载 hbase中region分裂设置

  2014年02月26日 19:08:34 IT路上跑不动的猪 阅读数:2892   在hbase-0.96.0中,默认状态下,region分裂策略是IncreasingToUpperBoundRegionSplitPolicy,即根据table的region个数的平方乘以memstore...

2018-12-17 08:59:33 1402 0

转载 运行时候报异常could only be replicated to 0 nodes instead of minReplication (=1). There are 2 datanode(s) r

运行时候报异常could only be replicated to 0 nodes instead of minReplication (=1). There are 2 datanode(s) running and no node(s) are excluded in this operat...

2018-12-16 09:20:47 777 0

转载 HBase最佳实践-HBase中的写性能优化策略

  2016年12月10日 14:37:03 ourpush 阅读数:1452   上一篇文章主要介绍了HBase读性能优化的基本套路,本篇文章来说道说道如何诊断HBase写数据的异常问题以及优化写性能。和读相比,HBase写数据流程倒是显得很简单:数据先顺序写入HLog,再写入对应的缓存M...

2018-12-14 17:28:18 221 0

转载 大数据-OpenTSDB

全部文章>  排序: 默认 按更新时间 按访问量 RSS订阅 原 OpenTSDB PreSplit Table Reference Issure Ref2 如果metric热度相差不大,即没有某些metric的time series特别多,比如百万级别,而某些metr...

2018-12-14 16:52:34 332 1

转载 hbase手动compact与split

  2016年08月28日 14:07:25 小小程序员1986 阅读数:1405 版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/jethai/article/details/52345352 #!/bin/bash die () { ...

2018-12-14 16:51:20 688 0

转载 Hbase compact以及split跟踪

  2017年06月30日 10:13:48 tom_fans 阅读数:847 版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/tom_fans/article/details/73937375 为了准确了解HBASE内部工作原理,我们需要做...

2018-12-14 16:50:29 189 0

转载 HBase(3):内部机制flush & compact & split

  2018年11月27日 23:36:48 RayBreslin 阅读数:15 1.实现功能 当向hbase数据库中存储数据的时候,实际存储过程是有三个阶段:flush & compact & split。  2.分步说明 (1)flush       ...

2018-12-14 16:19:42 127 0

转载 HBase之Rowkey设计总结及易观方舟实战篇

  置顶 2018年06月02日 21:52:46 代立冬 阅读数:1699 标签:  Rowkey设计经验hbase经验总结易观方舟rowkey设计实践rowkey实战 更多 个人分类: ●HBase--------【HBase优化】 所属专栏: 大数据实战系列 版权声明:*******...

2018-12-13 14:42:36 68 0

原创 hbase-site.xml配置

版本:0.94-cdh4.2.1   hbase.tmp.dir 本地文件系统tmp目录,一般配置成local模式的设置一下,但是最好还是需要设置一下,因为很多文件都会默认设置成它下面的 线上配置 <property>      &...

2018-12-13 14:40:28 1327 0

转载 HBase的compact分析

cxzdy   博客园 首页 新闻 新随笔 联系 管理 订阅 随笔- 304  文章- 11  评论- 7    HBase是基于LSM树存储模型的分布式NoSQL数据库。LSM树对比普遍的B+树来说,能够获得较高随机写性能的同时,也能保持可靠的随机读性能(可参考这里)。在进行...

2018-12-13 13:54:12 127 0

转载 服务器性能监控工具软件Nmon和ServerAgent对比

  2018年01月08日 10:36:51 zwliu6 阅读数:664 标签: 服务器性能监控对比 服务器性能监控工具软件Nmon和ServerAgent对比 软件 Nmon+nmon_analyser ServerAgent(Jeme...

2018-12-13 10:43:40 447 0

转载 hbase性能调优

  标签: hbase 性能调优 | 发表时间:2014-05-17 23:10 | 作者:无尘道长 出处:http://www.iteye.com 一、服务端调优  1、参数配置    1)、hbase.regionserver.handler.count:该设置决定了处理RPC的线程...

2018-12-13 09:45:32 72 0

原创 hbase集群负载均衡与高性能的关键——region分割与合并

  2018年06月04日 20:25:56 Tony_仔 阅读数:1188 版权声明:欢迎给我留言,多提意见。互相交流、共同进步! https://blog.csdn.net/qq_31598113/article/details/80572535 HBase通过对表的Region数量实现...

2018-12-12 14:00:00 178 0

提示
确定要删除当前文章?
取消 删除