- 博客(13)
- 资源 (12)
- 收藏
- 关注
RSS订阅原创 Hive之管理表 外部表 分区表
一Hive 创建表的三种方式1.1普通创建1.2查询语句创建CREATETABLE IF NOT EXISTS ext_1 AS SELECT deptno,dname,loc FROMdept;1.3like创建CREATETABLE IF NOT EXISTS ext_like like emp;二 内部表与外部表的比较Hive表概念和关
2016-10-29 18:36:21
2459
原创 Hive之安装 & 部署
一 解压apache-hive-0.13.1-bin.tar.gz并重命名tar-zxf apache-hive-0.13.1-bin.tar.gz -C /opt/modules/mvapache-hive-0.13.1-bin/ hive-0.13.1 二 创建目录HDFS目录/user/hive/warehouse& /tmp/opt/modules/hadoop
2016-10-29 15:55:29
484
原创 Hive之架构 & 功能
一 Hive的定义Hive是一个使用SQL对分布式存储上的大数据进行读写和管理的一个数据仓库软件或者框架。本质上讲，就是将SQL转化成MapReduce程序。它具有以下几个特征：1使用HQL作为查询接口2使用HDFS 进行存储3使用MapReduce进行计算4适合处理离线数据处理 二 Hive能做什么？与MapReduce的比较2.1 Hive 能做什么提供
2016-10-29 11:42:47
741
原创 JDK1.8 IdentityHashMap
首先对于这个IdentityHashMap和HashMap相比，最大的不同在于什么呢？它允许两个key，只要引用不一样，就可以存储；但是HashMap则是根据equals方法来比较值是否一样。举个例子：MapidentityMap = new IdentityHashMap();identityMap.put("key1","val1");identityMap.put
2016-10-26 17:23:14
531
原创 JDK1.7 深入理解 LinkedHashMap
我们知道我们遍历HashMap的时候，并不是按照插入顺序取出的。而是按照计算的hash然后再去计算应该存放的桶的哪一个位置。即是按照桶的顺序来遍历的，如果在同一个位置，然后接着去按照链表的顺序……如果我们希望实现按照插入顺序来遍历，怎么办呢，LinkedHashMap就派上用场了。那么，LinkedHashMap具有哪些特性呢？首先：可以按照元素的添加顺序进行迭代；其次：可以根据元
2016-10-25 12:54:47
505
原创 Hadoop系列-YARN RM HA 高可用集群
三 ResourceManager HA集群3.1修改 yarn-site.xml 3.2 yarn-site.xml分发到其他节点scpyarn-site.xml hadoop@hadoop-cluster-02:/opt/app/hadoop-2.5.0/etc/hadoopscpyarn-site.xml hadoop@hadoop-cluster-0
2016-10-23 20:43:34
4343
原创 Hadoop系列-HDFS HA高可用集群
前言：在HDFS集群的时候我们知道，NameNode只有一个，如果现在NameNode挂掉了，或者NameNode需要硬件或者软件的升级，那么势必就有单点问题。那么HDFS HA就是来解决这个问题的。HA架构图： 集群需要考虑的问题：1 我们要考虑两个NM之间的元数据是共享或者同步的NM启动的时候，会去读取fsimage和 edits文件，那么备份NM也需要读取这两个文
2016-10-23 19:27:30
2296
原创 Hadoop系列-分布式集群
一 分布式集群机器规划本机物理机：内存32G，硬盘1T, CPUi7 四核我规划三台虚拟机参与集群，每一台分配3G内存，30G硬盘，CPU 单核。 二 克隆虚拟机clone--> 修改机器名称-->Full Done --> clone然后vim/etc/udev/rules.d/70-persistent-net.rules把第一行删掉把第二条
2016-10-23 11:43:54
506
原创 JDK1.8 HashSet
原理：HashSet实现了Set接口，但是内部实现却是基于HashMap的。它的原理就是添加到集合里的值或者对象都成为了HashMap的key. 而HashMap有了Key之外，值怎么办呢。HashSet默认提供了一个供所有key共享的一个Object对象PRESENT.什么意思呢？下面会分析到。也正是HashSet是基于HashMap的，那么我们知道HashMap的key允不允许重复，是
2016-10-21 15:59:27
1010
原创 JDK1.7 ConcurrentHashMap
static final class Segment extends ReentrantLock implements Serializable { transient volatile int count; transient int modCount; transient int threshold; transient volatile
2016-10-21 15:06:23
737
转载 JDK1.8 HashMap 深入理解
转自：http://blog.csdn.net/zdsicecoco/article/details/51775545一 什么是HashMap，HashMap的工作原理HashMap是一个基于哈希表的Map接口实现。首先先看一下，在JDK1.8的时候，HashMap数据存储jniego工作原理：当我们使用put(KEY,VALUE)存储键值对象到HashMap ,首先会对
2016-10-21 14:40:55
1125
原创 ActiveMQ Destination高级特性
1.1通配符1"." 用于作为路径上名字间的分割符2">" 用于递归的匹配任何以这个名字开始的Destination3 "*"用于作为路径上任何名字 1.2组合队列（Composite Destination）组合队列允许用一个虚拟的destination代表多个destionations。这样就可以通过组合的destination在操作中同时向多个queue发
2016-10-16 15:21:22
4931
1
转载 shell 脚本字符串 分割或截取
${expression}一共有9种使用方法：${parameter:-word}${parameter:=word}${parameter:?word}${parameter:+word}上面4种可以用来进行缺省值的替换。${#parameter}上面这种可以获得字符串的长度。${parameter%word} 最小限度从后面截取word${p
2016-10-01 14:44:43
7311
Percona-XtraBackup-2.4.9-ra467167cdd4-el7-x86_64-bundle.tar
2017-12-31
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人