小黑

English:Talk is cheap,show me the code. 中文:P话少说,放码过来。

排序:
默认
按更新时间
按访问量

HBase生产环境配置与使用优化

https://yq.aliyun.com/articles/665520?spm=a2c4e.11155435.0.0.407c3312acd7td HBase上线至今,承载了线上所有实时交易量,虽然大部分请求都能够保证服务稳定(99.56%响应时间毫秒级),但是一旦HBase出现问题就是鸡飞狗...

2018-11-12 10:16:19

阅读数:28

评论数:0

HBase性能优化指南

垃圾回收优化当region服务器处理大量的写入负载时,繁重的任务会迫使JRE默认的内存分配策略无法保证程序的稳定性 所以我们可能需要对region服务器的垃圾回收机制进行一些参数调整(因为master并不处理实际任务,所以没有优化的必要)首先来了解JAVA内存中的几个概念在HBase构架中我们可...

2016-07-19 16:55:24

阅读数:4665

评论数:0

HBase构架

存储结构HBase构架如上图所示,一个HBase集群是由Zookeeper、HMaster和HRegionServer构成的HRegionServerHBase集群上的各个节点,一个数据量很大的表可能被保存在不同RegionServer上HLogHBase将数据存储在各个HRegionServer...

2016-07-12 19:34:19

阅读数:3242

评论数:0

MapReduce高级特性

计数器因为计数器的查看往往比查看集群日志来的方便快捷 所以有些情况下计数器信息比集群日志更加有效用户自定义的计数器关于Hadoop的内置计数器的介绍可以参考Hadoop权威指南第九章MapReduce Features中的Build-in Counts小节 这里限于篇幅不再说明MapReduc...

2016-05-10 20:35:43

阅读数:2026

评论数:1

KMeans算法检测网络异常入侵

非监督学习技术在决策树算法预测森林植被中 我们可以体会到属于监督学习的分类和回归技术的强大,可以预测“即将发生”的事情 使用监督学习技术有一个很关键的前提:需要大量的数据对模型进行训练,模型能够从已知的数据中学习规律进而预测未知的数据然而在某些场景下,并不是都能提供监督学习所需要的样本数据来训...

2016-05-09 17:09:08

阅读数:6248

评论数:2

MapReduce工作机制

运行流程当你在MapReduce程序中调用了Job实例的Submit()或者waitForCompletion()方法,该程序将会被提交到Yarn中运行 其中的过程大部分被Hadoop隐藏起来了,对开发者来说是透明的 程序运行的过程涉及到个概念: 1.Client:提交程序的客户端 ...

2016-05-07 12:54:34

阅读数:6111

评论数:2

决策树算法预测森林植被

算法介绍回归和分类回归算法和分类算法通常会被联系在一起,因为两者都可以通过一个或者多个值来预测一个或者多个值 he 为了能够做出预测,两者需要从一组输入和输出中学习预测规则,在学习过程中需要告诉它们问题以及问题的答案 因此,回归和分类都属于监督学习类的算法回归是预测一个数值型的结果,例如温...

2016-05-07 08:58:41

阅读数:2848

评论数:1

Hadoop核心组件之HDFS

Namenode和Datanode的关系Namenode 维护树状目录结构(NameSpace) 分配并记录每个文件由哪些块组成,以及每个块的信息(大小、时间戳等) 将HDFS的文件和目录元数据存储在一个叫fsimage的文件中, 每次保存fsimage之后到下次保存之间的所有h...

2016-03-20 10:56:01

阅读数:1731

评论数:0

CDH5.3配置Kerberos+LDAP+Sentry记录

系统环境说明 操作系统:Centos6.5 CDH版本:5.3 JDK版本:1.7 操作用户:root Kerberos版本:1.10.3 LDAP版本:2.4.40 Sentry版本:1.4 集群配置 机器数量:5 内存:64G 硬盘:10T CPU核心数:24...

2016-09-06 11:35:55

阅读数:12159

评论数:11

HBase客户端API使用

篇幅中使用的HBase版本为1.1.2 Java API HBase提供了一套Java API来支持Java程序对HBase数据库的请求操作,在hbase shell中能够使用的都可以通过这套API来实现 HBase有两套API,分别是1.0和2.0,在较新版本的HBase中使用1.0...

2016-07-21 19:07:59

阅读数:5836

评论数:0

HBase集群管理

通过之前文章的描述,我们已经有能力设计并部署搭建HBase集群了 当我们的HBase集群开始运行的时候,新的挑战又来了 例如,我们可能会遇到在集群运行的时候添加或者删除节点 又或者需要拷贝/备份整个集群的数据等等 如何在集群运行的时候以最小的代价来执行这些操作呢? 下面总结一下HBas...

2016-07-20 19:01:21

阅读数:987

评论数:0

HBase概览

近期准备系统的学习一下HBase的知识,包括构架和原理等方面,以便为后续的开发工作做准备,做到知其然而之所以然的状态,而不再是瞎子摸象般的搞开发 本篇作为开篇,只是对HBase做一个大体的介绍,各个小节没有很大的关联性,很多只是将系统中一些繁杂又有用的东西记录下来,以备日后查阅学习路线整理了一下...

2016-07-20 13:43:45

阅读数:1377

评论数:0

HBase高级用法

行健设计在HBase中有两类基本的键结构:行健和列键 这两者都存储着有意义的信息,不仅仅是该键对应的值: 键本身存储的内容 键的排列顺序 在HBase中,键的排序顺序是十分重要的概念如之前所说,HBase的键分为两种: 列键:包括了列族名和限定符,...

2016-07-18 09:52:35

阅读数:5773

评论数:0

Hadoop集群管理

HDFS进程目录结构对于一个集群管理员来说,理解HDFS各个进程存储在磁盘上的数据含义是十分有用的,可以帮助你诊断和排查一些集群问题Namenode的目录结构HDFS进行初次格式化之后将会在$dfs.namenode.name.dir/current目录下生成一些列文件: ${dfs.name...

2016-05-22 11:30:14

阅读数:1053

评论数:0

构架Hadoop集群

Hadoop的安装包可以从以下渠道获取: Apache tarballs:Hadoop官网提供的tar包,包括二进制和源码文件,使用这种方式部署Hadoop集群灵活性比较高,但是要自己进行很多额外的操作 Packages:Hadoop也提供RPM和Debian包,先对比tar包...

2016-05-14 09:59:11

阅读数:682

评论数:0

MapReduce的类型与格式

输入格式输入分片与记录之前讨论过,输入数据的每个分片对应一个map任务来处理 在MapReduce中输入分片被表示为InputSplit类,原型如下:public abstract class InputSplit{ //该分片的长度,用于排序分片,有限处理大分片 public ...

2016-05-08 17:48:47

阅读数:2341

评论数:0

MapReduce程序开发

通过API操作之前要先了解几个基本知识基本数据类型Hadoop的基本数据类型和Java的基本数据类型是不一样的,但是都存在对应的关系如下图 如果需要定义自己的数据类型,则必须实现Writable hadoop的数据类型可以通过get方法获得对应的java数据类型 而java的数据类型可以通过...

2016-05-05 19:56:53

阅读数:7099

评论数:0

Hadoop I/O

HDFS中的数据完整性HDFSZ在写入数据的时候会计算数据的校验和,针对每个由dfs.bytes.per.checksum指定字节的数据计算校验和,默认为512个字节 当客户端读取数据的时候,会对数据的校验和进行检查,如果发现数据出现损坏,则会执行以下步骤: 1.向Namenode报告其正在...

2016-05-04 21:50:10

阅读数:3993

评论数:0

Hadoop核心组件之Yarn

程序在Yarn上的运行流程如图所示,Yarn上的应用程序运行会经过如下步骤: 1.客户端提交应用程序 2.RM找到一个NM启动第一个container来运行AM 3.AM会向RM请求资源的分配并通过心跳机制来汇报作业的运行状态 4.AM在分配的NM上启动container来运...

2016-05-02 11:10:50

阅读数:1470

评论数:0

Drools KIE API

在搭建Drools开发环境中我们接触了几个Drools的API,例如: KieServices KieContainer KieSession 还有kmodule.xml文件中的几个选项: kmodule kbase kses...

2016-03-29 17:04:29

阅读数:8433

评论数:1

提示
确定要删除当前文章?
取消 删除
关闭
关闭