博客声明--博文导览

成功,唯有积累,没有奇迹!!!!!! 博客中的文章分类: 一、大数据 1、Hadoop及周边产品详解 《HDFS详解》、《MapReduce详解》、《Pig详解》、《hive详解》 《Sqoop详解》、《Flume详解》、《HBase详解》、《oozie详解》 《Solr详解》、《...

2014-06-17 18:56:40

阅读数 23

评论数 0

原创:数据仓库架构和建设方法

1.数据仓库概要 1.1.数据仓库起因      在建设数据仓库之前,数据散落在企业各部门应用的数据存储中,它们之间有着复杂的业务连接关系,从整体上看就如一张巨大的蜘蛛网:结构上错综复杂,却又四通八达。在企业级数据应用上单一业务使用方便,且灵活多变;但涉及到跨业务、多部门联合应用就会存在:...

2017-06-23 11:27:10

阅读数 147

评论数 0

数据仓库建设:维度处理

1.代理关键字 代理关键字一般是指维度表中使用顺序(序列)分配的整数值作为主键,也称为“代理建” 代理关键字用于维度表和事实表的连接。在kimball的维度建模领域里,强烈推荐使用代理关键字的。在维度表和事实表的每一个连接中都应该使用代理关键字,而不应该使用自然关键字或者智能关键字(Sm...

2017-06-15 19:17:06

阅读数 51

评论数 0

hive文件类型与压缩

1.概述     数据仓库在建设使用的过程中,主要消耗的资源包含:CPU、MEMORY、DISK三部分。 数据仓库在计算过程中主要消耗CPU和Memory资源,当然也会消耗一些DISK资源用来存储计算过程中的临时结果。但是主要优化的方向,还是降低CPU和MEMORY的消耗,这方面主要依赖...

2017-05-23 23:16:20

阅读数 36

评论数 0

hive小文件合并

    hive仓库表数据最终是存储在HDFS上,由于Hadoop的特性,对大文件的处理非常高效。而且大文件可以减少文件元数据信息,减轻NameNode的存储压力。但是在数据仓库中,越是上层的表汇总程度就越高,数据量也就越小,而且这些表通常会有日期分区,随着时间的推移,HDFS的文件数目就会逐...

2017-05-21 22:15:28

阅读数 154

评论数 0

JVM项目实践

一、启动分配内存     关于GC有一个常见的疑问是,在启动时,我们内存如何分配?用-Xmn,-Xmx,-Xms,-Xss,-XX:NewSize,-XX:MaxNewSize,-XX:MaxPermSize,-XX:PermSize,-XX:SurvivorRatio,-XX:Preten...

2016-12-05 11:11:48

阅读数 40

评论数 0

JVM监视与调优

    学习Java GC机制的目的是为了在JVM出现问题时分析原因并解决。JVM监控与调优主要着眼于如何配置、如何监控、如何优化3点。 一、参数配置     在Java虚拟机的参数中,有3种表示方法,用“ps -ef | grep java”命令,可以得到当前Java进程的所有启动参数和...

2016-12-04 15:39:11

阅读数 23

评论数 0

JVM监控与故障处理

    现实企业级java开发中,有时候我们会碰到下面这些问题: OutOfMemoryError内存不足 内存泄露 线程死锁 锁争用(lock Contention) Java进程消耗CPU过高 ... ... 等等     这些问题在日常开发中可能被很多人忽视(比如遇到...

2016-11-21 15:00:03

阅读数 27

评论数 0

hbase rowkey 查询

一、hbase查询方式     hbase的查询实现只提供两种方式: 按指定rowkey获取唯一一条记录:get方法。 按指定条件获取一批记录:scan方法。     实现条件查询功能使用的就是scan方式,scan在使用时有以下几点值的注意: scan可以通过setCachi...

2016-07-07 15:46:08

阅读数 729

评论数 0

HBase Rowkey设计

一、HBase的Schema和cf列族 1、Schema的创建修改     Hbase模式建立或更新可以通过Hbase shell工具或者Hbase java API中的Admin类。当列族发生变动时hbase表必须处于disabled状态。例如: Configuration confi...

2016-07-07 15:00:23

阅读数 35

评论数 0

hbase热点问题(数据倾斜)解决方案---rowkey散列和预分区设计

     Hbase的表会被划分为1....n个Region,被托管在RegionServer中。Region二个重要的属性:Startkey与EndKey表示这个Region维护的rowkey的范围,当我们要读写数据时,如果rowkey落在某个start-end key范围内,那么就会定位到...

2016-07-05 14:39:42

阅读数 303

评论数 0

java高并发编程:11--ReentrantReadWriteLock深入分析

一、ReentrantReadWriteLock与ReentrantLock     说到ReentrantReadWriteLock,首先要做的是与ReentrantLock划清界限。它和后者都是单独的实现,彼此之间没有继承或实现的关系。     ReentrantLock 实现了标...

2016-06-27 15:43:49

阅读数 17

评论数 0

java高并发编程:10--ReentrantLock深入分析

一、什么是reentrantlock     java.util.concurrent.lock 中的 Lock 框架是锁定的一个抽象,它允许把锁定的实现作为 Java 类,而不是作为语言的特性来实现。这就为 Lock 的多种实现留下了空间,各种实现可能有不同的调度算法、性能特性或者锁定语义...

2016-06-27 15:29:56

阅读数 20

评论数 0

java高并发编程:9--Atomic原子变量与原子类

一、何谓Atomic?     Atomic一词跟原子有点关系,后者曾被人认为是最小物质的单位。计算机中的Atomic是指不能分割成若干部分的意思。如果一段代码被认为是Atomic,则表示这段代码在执行过程中,是不能被中断的。通常来说,原子指令由硬件提供,供软件来实现原子方法(某个线程进入该...

2016-06-24 16:10:33

阅读数 28

评论数 0

java高并发编程:8--Copy-On-Write容器

    Copy-On-Write简称COW,是一种用于程序设计中的优化策略。其基本思路是,从一开始大家都在共享同一个内容,当某个人想要修改这个内容的时候,才会真正把内容Copy出去形成一个新的内容然后再改,这是一种延时懒惰策略。从JDK1.5开始Java并发包里提供了两个使用CopyOnWr...

2016-06-24 11:25:34

阅读数 22

评论数 0

java高并发编程:7--原子操作的实现原理

一、引言     原子(atom)本意是“不能被进一步分割的最小粒子”,而原子操作(atomic operation)意为"不可被中断的一个或一系列操作" 。在多处理器上实现原子操作就变得有点复杂。本文让我们一起来聊一聊在Intel处理器和Java里是如何...

2016-06-24 11:07:56

阅读数 19

评论数 0

java高并发编程:5--ConcurrentLinkedQueue的实现原理分析

1. 引言     在并发编程中我们有时候需要使用线程安全的队列。如果我们要实现一个线程安全的队列有两种实现方式:一种是使用阻塞算法,另一种是使用非阻塞算法。使用阻塞算法的队列可以用一个锁(入队和出队用同一把锁)或两个锁(入队和出队用不同的锁)等方式来实现,而非阻塞的实现方式则可以使用循环C...

2016-06-23 11:23:18

阅读数 15

评论数 0

java高并发编程:6--深入分析ConcurrentHashMap

1.术语定义 术语 英文 解释 哈希算法 hash algorithm 是一种将任意内容的输入转换成相同长度输 出的加密方式,其输出被称为哈希值。 哈希表 hash table 根据设定的哈希函数H(key)和处理冲突方法将 一组关键字映象到一个有...

2016-06-23 10:52:37

阅读数 41

评论数 0

Java高并发编程:3----Synchronized

1 引言 在多线程并发编程中Synchronized一直是元老级角色,很多人都会称呼它为重量级锁,但是随着Java SE1.6对Synchronized进行了各种优化之后,有些情况下它并不那么重了,本文详细介绍了Java SE1.6中为了减少获得锁和释放锁带来的性能消耗而引入的偏向锁和轻量级...

2016-06-21 11:51:10

阅读数 17

评论数 0

java高并发编程:4--Java中的阻塞队列

1. 什么是阻塞队列? 阻塞队列(BlockingQueue)是一个支持两个附加操作的队列。这两个附加的操作是:在队列为空时,获取元素的线程会等待队列变为非空。当队列满时,存储元素的线程会等待队列可用。阻塞队列常用于生产者和消费者的场景,生产者是往队列里添加元素的线程,消费者是从队列里拿元素...

2016-06-21 11:15:33

阅读数 11

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭