hbase region split

自动splitting 当一个region达到一定的大小,他会自动split称两个region。如果我们的Hbase版本是0.94 ,那么默认的有三种自动split的策略,ConstantSizeRegionSplitPolicy,IncreasingToUpperBoundRegionSpli...

2019-04-02 17:12:18

阅读数 19

评论数 0

storm原理

1.hadoop有master与slave,Storm与之对应的节点是什么? 2.Storm控制节点上面运行一个后台程序被称之为什么? 3.Supervisor的作用是什么? 4.Topology与Worker之间的关系是什么? 5.Nimbus和Supervisor之间的所有协调工作有maste...

2018-09-20 23:29:40

阅读数 55

评论数 0

HDFS架构及原理

(一) HDFS主要是用于做什么的?        HDFS(Hadoop Distributed File System)是Hadoop项目的核心子项目,是分布式计算中数据存储管理的基础,是基于流数据模式访问和处理超大文件的需求而开发的,可以运行于廉价的商用服务器上。它所具有的高容错、高可...

2018-09-19 23:42:04

阅读数 72

评论数 0

Mapreduce工作原理

MapReduce1.x架构 客户端向JobTracker提交一个作业,JobTracker把这个作业拆分成很多份,然后分配给TaskTracker(任务执行者)去执行,TaskTracker会隔一段时间向JobTracker发送心跳信息,如果JobTracker在一段时间内没有收到TaskT...

2018-09-19 23:25:24

阅读数 116

评论数 0

flume原理

一、Flume简介   flume 作为 cloudera 开发的实时日志收集系统,受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG(original generation),属于 cloudera。   但随着 FLume 功能的扩展,Flume OG 代...

2018-09-19 23:08:26

阅读数 128

评论数 0

linux 清洗文件

1、去除文件fileName1中字符串的所有空格,并将去除掉空格的数据放入fileName2文件中 sed s/[[:space:]]//g fileName1 > fileName2   2、去除文本中的空行 grep -v "^$&quo...

2018-08-30 13:21:02

阅读数 121

评论数 0

Hadoop中Combiner和Partitioner应用场景

Combiner和Partitioner是用来优化MapReduce的。可以提高MapReduce的运行效率。 Combiner 集群上的可用带宽限制了MapReduce作业的数量,因此尽量避免map和reduce任务之间的数据传输是有利的。Hadoop允许用户针对map任务的输出指定一个co...

2018-08-15 23:49:53

阅读数 625

评论数 0

Hadoop数据倾斜处理

何为数据倾斜? 在弄清什么是数据倾斜之前,我想让大家看看数据分布的概念:     正常的数据分布理论上都是倾斜的,就是我们所说的20-80原理:80%的财富集中在20%的人手中, 80%的用户只使用20%的功能 , 20%的用户贡献了80%的访问量 , 不同的数据字段可能的数据倾斜一般有两种情...

2018-08-15 23:11:27

阅读数 423

评论数 0

Java内存与垃圾回收调优

要了解Java垃圾收集机制,先理解JVM内存模式是非常重要的。今天我们将会了解JVM内存的各个部分、如何监控以及垃圾收集调优。 Java(JVM)内存模型 正如你从上面的图片看到的,JVM内存被分成多个独立的部分。广泛地说,JVM堆内存被分为两部分——年轻代(Young Generatio...

2018-08-03 13:47:18

阅读数 27

评论数 0

SqlServer查看锁表与解锁

某些情况下,sqlserver的表会被锁住,比如某个会话窗口有数据一直没提交,窗口又没关闭,这时表就会被锁住 其他任何连接查询表数据时都不会返回 这时需要手工杀掉产生死锁的会话ID,才能恢复正常     查看被锁表: select   request_session_id   spid...

2018-07-18 11:22:39

阅读数 3934

评论数 0

Sqoop使用

  Sqoop的本质还是一个命令行工具,和HDFS,MapReduce相比,并没有什么高深的理论。 我们可以通过sqoop help命令来查看sqoop的命令选项,如下:   16/11/13 20:10:17 INFO sqoop.Sqoop: Running Sqoop version...

2018-07-16 18:16:47

阅读数 66

评论数 0

maven开发web项目

初步接受maven项目,创建maven项目1、选择新建,选择maven project2、选择workspace路径3、选择项目类型,一般用到的就两种,java项目和web项目java项目web项目4、建好之后,可能会少几个目录资源目录,可以新建5、修改jdk版本,配置pom文件本地jar包可以安...

2018-07-15 19:35:03

阅读数 632

评论数 0

Kafka分区与分组原理

 一、1、原理图2、原理描述一个topic 可以配置几个partition,produce发送的消息分发到不同的partition中,consumer接受数据的时候是按照group来接受,kafka确保每个partition只能同一个group中的同一个consumer消费,如果想要重复消费,那么...

2018-07-04 11:02:13

阅读数 1890

评论数 0

mapreduce二次排序(自定义分区、分组)

问题描述:输入文件格式如下:name1    2name3    4name1    6name1    1name3    3name1    0要求输出的文件格式如下:name1    0,1,2,6name3    3,4要求是按照第一列分组,name1与name3也是按照顺序排列的,组内升...

2018-06-29 21:53:37

阅读数 142

评论数 0

mapreduce中Partitioner数量与reducetask数量对结果影响

图中可以看出Partition主要作用就是将map的结果发送到相应的reduce。1.现在测试一下第一种情况,Partition数量为1,返回值0,reduce数量为3。设置reduce数量设置Partition数量结果输出3个文件,但只有part-r-00000有内容,其它两个为0字节。2.现在...

2018-06-29 21:48:37

阅读数 175

评论数 0

hbase shell执行命令的方式

一、[plain] view plain copyecho "scan 'ns_monitor:t_monitor_io',{LIMIT=>1}" | hbase shell    echo "scan 'ns_monit...

2018-05-31 20:02:24

阅读数 929

评论数 0

Hive分区参数配置

Hive本身是不支持动态分区的..但动态分区是真的方便啊..不然手动维护要累死..按日期甚至小时来分区时动辄就好几千上万的分区..手动到哪一年去..?想要用动态分区要先做一些设置来修改默认的配置..set hive.exec.dynamic.partition=true;(可通过这个语句查看:se...

2018-05-22 10:45:06

阅读数 423

评论数 0

Dbeaver 连接impala配置

以下以 Dbeaver 为例,其他数据库连接工具,如 Dbvisualizer 、 PlSQL 等也可以用类似的方法连接,只要新建 DriverManager 并将 Impala的JDBC Jar包加载进来就可以这个方法也可以应用于其他支持JDBC连接的数据库,如Hive等下载Impala JDB...

2018-05-08 15:16:43

阅读数 1487

评论数 2

Yarn 内存分配管理机制及相关参数配置

理解Yarn的内存管理与分配机制,对于我们搭建、部署集群,开发维护应用都是尤为重要的,对于这方面我做了一些调研供大家参考。一、相关配置情况关于Yarn内存分配与管理,主要涉及到了ResourceManage、ApplicationMatser、NodeManager这几个概念,相关的优化也要紧紧围...

2018-05-07 13:56:18

阅读数 107

评论数 0

CDH基于Kerberos身份认证和基于Sentry的权限控制功能的测试

本文旨在展示CDH基于Kerberos身份认证和基于Sentry的权限控制功能的测试示例。1. 准备测试数据123456cat /tmp/events.csv10.1.2.3,US,android,createNote10.200.88.99,FR,windows,updateNote10.1.2...

2018-05-03 14:57:56

阅读数 470

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭