实战Spark分布式SQL引擎

Spark SQL除了使用spark-sql命令进入交互式执行环境之外,还能够使用JDBC/ODBC或命令行接口进行分布式查询,在这个模式下,终端用户或应用可以直接和Spark SQL进行交互式SQL查询而不需要写任何scala代码。

2015-06-24 20:57:56

阅读数:3337

评论数:0

kubernetes实战-基于redis和docker的留言簿案例

本案例基于Kubernetes和Docker,其中包括 1、web前端 2、redis master 其中web前端通过javascript redis api和redis master交互

2015-06-22 19:41:07

阅读数:13348

评论数:6

Docker入门实战

Docker 是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的 Linux 机器上。 Docker是一个重新定义了程序开发测试、交付和部署过程的开放平台,Docker则可以称为构建一次,到处运行,这就是docker提出的“Build once...

2015-06-14 13:30:04

阅读数:87565

评论数:13

Hbase 布隆过滤器BloomFilter介绍

1、主要功能 提高随机读的性能 2、存储开销 bloom filter的数据存在StoreFile的meta中,一旦写入无法更新,因为StoreFile是不可变的。Bloomfilter是一个列族(cf)级别的配置属性,如果你在表中设置了Bloomfilter,那么HBase会在生成S...

2015-06-11 09:47:23

阅读数:11478

评论数:0

深入浅出Symfony2 - 结合MongoDB开发LBS应用

简介 随着近几年各类移动终端的迅速普及,基于地理位置的服务(LBS)和相关应用也越来越多,而支撑这些应用的最基础技术之一,就是基于地理位置信息的处理。我所在的项目也正从事相关系统的开发,我们使用的是Symfony2+Doctrine2 ODM+MongoDB的组合。 我们将这些技术要点...

2015-06-29 21:13:18

阅读数:1499

评论数:0

从缓存行出发理解volatile变量、伪共享False sharing、disruptor

volatile关键字 当变量被某个线程A修改值之后,其它线程比如B若读取此变量的话,立刻可以看到原来线程A修改后的值   注:普通变量与volatile变量的区别是volatile的特殊规则保证了新值能立即同步到主内存,以及每次使用前可以立即从内存刷新,即一个线程修改了某个变量...

2015-06-28 09:37:39

阅读数:5342

评论数:0

内存对齐的规则以及作用

首先由一个程序引入话题: //环境:vc6 + windows sp2 //程序1 #include using namespace std; struct st1 { char a ; int b ; short c ; }; struct st2 { ...

2015-06-27 23:47:13

阅读数:686

评论数:0

搭建Hadoop Yarn on Docker

Docker基于Linux Container技术整合了一堆易用的接口用于构建非常轻量级的虚拟机。Docker Container Executor(DCE)使得Yarn NodeManager服务可以将其container进程运行在Docker容器中。用户可以自定义运行Yarn containe...

2015-06-22 22:23:33

阅读数:7907

评论数:3

Docker集中化web界面管理平台shipyard

Shipyard(github)是建立在docker集群管理工具Citadel之上的可以管理容器、主机等资源的web图形化工具。包括core和extension两个版本,core即shipyard主要是把多个 Docker host上的 containers 统一管理(支持跨越多个host),...

2015-06-19 19:15:57

阅读数:3949

评论数:1

使用export/import导出和导入docker容器

1、导出容器 如果要导出本地某个容器,可以使用 docker export 命令,导出容器快照到本地文件。 $ sudo docker ps -aCONTAINER ID        IMAGE               COMMAND             CREATED   ...

2015-06-19 10:34:21

阅读数:48802

评论数:0

Hive 合并输入输出文件

如果HIVE的输入文件是大量的小文件,而每个文件启动一个map的话是对yarn资源的浪费,同样的,Hive输出的文件也远远小于HDFS块大小,对后续处理也是不利的

2015-06-18 10:59:52

阅读数:4985

评论数:0

Docker网络详解及pipework源码解读与实践

Docker作为目前最火的轻量级容器技术,有很多令人称道的功能,如Docker的镜像管理。然而,Docker同样有着很多不完善的地方,网络方面就是Docker比较薄弱的部分。因此,我们有必要深入了解Docker的网络知识,以满足更高的网络需求。本文首先介绍了Docker自身的4种网络工作方式,然后...

2015-06-18 10:17:17

阅读数:1682

评论数:0

HIVE动态分区实战

hive中支持两种类型的分区:静态分区SP(static partition),动态分区DP(dynamic partition) 静态分区与动态分区的主要区别在于静态分区是手动指定,而动态分区是通过数据来进行判断。详细来说,静态分区的列实在编译时期,通过用户传递来决定的;动态分区只有在SQL执行...

2015-06-17 20:44:50

阅读数:14607

评论数:2

两款Docker管理UI:DockerUI & Shipyard

本文主要介绍两款Docker Web管理工具:DockerUI及Shipyard,并对它们的部署、功能及使用进行对比。

2015-06-14 20:28:49

阅读数:14223

评论数:5

剖析Docker文件系统:Aufs与Devicemapper

Docker在启动容器的时候,需要创建文件系统,为rootfs提供挂载点。最初Docker仅能在支持Aufs文件系统的Linux发行版上运行,但是由于Aufs未能加入Linux内核,为了寻求兼容性、扩展性,Docker在内部通过graphdriver机制这种可扩展的方式来实现对不同文件系统的支持。...

2015-06-14 19:12:10

阅读数:3625

评论数:0

centos6.5升级linux内核

1、升级内核到3.10.x 方式一、yum安装 cd /etc/yum.repos.d wget http://www.hop5.in/yum/el6/hop5.repoyum install kernel-ml-aufs kernel-ml-aufs-devel 方式二、r...

2015-06-14 12:25:12

阅读数:6634

评论数:0

Twitter发布新的大数据实时分析系统Heron

Twitter发布了新开发的数据实时分析平台Heron,以下为官方文档摘译: 我们每天在Twitter上处理着数十亿的事件。正如你猜测的那样,实时分析这些事件是一个巨大的挑战。目前,我们主要的分析平台是开源的分布式流计算系统Storm。但是随着Twitter数据规模变大和多样化,我们的需求已...

2015-06-13 19:22:57

阅读数:1474

评论数:0

HBase常用操作之namespace

在HBase中,namespace命名空间指对一组表的逻辑分组,类似RDBMS中的database,方便对表在业务上划分。Apache HBase从0.98.0, 0.95.2两个版本开始支持namespace级别的授权操作,HBase全局管理员可以创建、修改和回收namespace的授权。

2015-06-12 14:04:21

阅读数:32644

评论数:1

HBase表的架构原理

HBase整体架构图 Hbase Table的基本单位是Region,一个Table对应多个Region,Table层级关系如下: Table       (HBase table)     Region       (Regions for the table)          ...

2015-06-11 09:44:25

阅读数:2673

评论数:0

MapReduce小文件处理之CombineFileInputFormat实现

在MapReduce使用过程中,通常会遇到输入文件特别小(几百KB、几十MB),而Hadoop默认会为每个文件向yarn申请一个container启动map,container的启动关闭是非常耗时的。Hadoop提供了CombineFileInputFormat,一个抽象类,作用是将多个小文件合并...

2015-06-10 10:21:01

阅读数:2999

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭