DataFlow范式

背景CDC，Change Data Capture，直译为变更数据捕获，反正能理解就对了。答案在哪里你是否在调研数据库数据实时复制方面，遇到以下问题：基于 binlog（transact...

今天，笔者将和读者一起聊聊一个令人轻松愉快的话题，关于深度学习。题外话最近，笔者取关了不少微信公众号，套路太深且广告太多，难道不明白大部分人的时间都不够用吗！说什么文正香，意更深，甚荒唐...

在本文中，笔者将详细研究 HDFS EC（Erasure Coding，纠删码），讲解什么是 HDFS EC，引入 EC 的原因，用于 EC 的算法，以及在 Hadoop 社区中为 EC...

插曲在上篇文章《推荐升级四部曲之 CDH 升级重头戏，收藏了！》中，一些人因为善良而容易相信初次看到的事情，觉得升级过程那么那么那么地顺风顺水，正准备养精蓄锐，大干一场，升级换代，大数据...

特别提醒为了保证文章整体的阅读性，笔者并没有将升级过程中遇到的所有问题都记录在本篇文章中，比如 Phoenix 版本不兼容和数据迁移，Hive 集成 Atlas 等。特别需要注意，HBa...

概要笔者最近在研究 CDH 大版本升级（CDH 5.16.2 -> CDH 6.3.3）的细节内容，涉及到每个组件的方方面面，确保升级过程中出现各种意外情况能够自主可控，降低未来生...

既然来了，就留下呗。笔者在之前的文章《物联网遇到流计算》中介绍过 Apache NiFi，虽比不上 StreamSets 华丽的外表，但是功能却很强大，在开源方面，NiFi 的企业级功能...

今天，笔者和大家聊一聊物联网（IoT），不少人都说物联网开启了万物互联时代，尤其是 5G 的逐渐普及和应用，将会构建万物互联的智能世界，实现物理世界的数...

今天笔者来聊一聊 ClickHouse 中的一个新特性，即 Live View 表。MA（Moving Average）提到 MA，估计大家最先想到的应...

温习下面的几张图片，感受一下今天将带来的主题氛围。笔者早在好几年前，做过一段时间的音视频流媒体技术的开发，当然大部分都是自娱自乐，没有实际的生产项目。那么多年过去了，音视频技术成熟度...

MIT 6.824，笔者在几年前刷完了一遍，过程还是相当折磨人的，但受益颇多。如今已是 2020 年了，这个特殊的一年，笔者想和大家一起拿起小板凳，准备好笔记本，再来完整地学习 MIT ...

在本篇文章中，笔者将给大家带来 Spark SQL 中关于自适应执行引擎（Spark Adaptive Execution）的内容。在之前的文章中，笔者介绍过 Flink SQL，目前 ...

据不完全统计，在生产环境中部署 Impala 集群时，大部分大数据工程师也会赠送一套 Kudu 环境，当然用不用另说。如果只部署了 Impala 而没有 Kudu，那应该是一个意外。如果...

风雨送春归，飞雪迎春到。已是悬崖百丈冰，犹有花枝俏。俏也不争春，只把春来报。待到山花烂漫时，她在丛中笑。选自《卜算子·咏梅》图片来自网络，如侵权，请联系删除有不少读者反馈，参考上篇文章《...

等疫情过去了，我们一起看春暖花开。Apache Spark 什么时候开始支持集成 Hive 功能？笔者相信只要使用过 Spark 的读者，应该都会说这是很久以前的事情了。那Apache...

图片来自网络，如侵权，请联系删除人生天地之间，若白驹过隙，忽然而已。对于每个人来说，每一年总会有那么一两件让自己铭记不忘的事情，或大或小，或轻或重。对笔者来说，其中一件就是开始坚持不定期...

流感无情，人间有情，总会有雨过天晴的时候。希望大家都能够平平安安，一切顺利。一些读者在公众号后台留言，希望笔者能对 PostgreSQL 的主备进行比较全面的介绍。正好春节前，笔者计划再...

众所周知，PostgreSQL 在国内的整体份额比不上 MySQL/MariaDB，但是号称世界上功能最为强大（没有更强，只有更强）的开源数据库之一，它在国内近几年发展势头明显。在大数据...

在大数据生态系统里面，分析型数据库产品众多，那么如何展示和洞察其中的数据价值呢？最直观的当然是可视化方式，如果没有可视化，再好的数据分析看起来也是苍白无力的，不完美的。数据可视化也是 B...

最近天气时好时坏，忽冷忽热，感冒的人有点多，注意防寒保暖。笔者讲解 Apache Flink 培训系列课程已经有一段时间了，一些读者反馈完成了所有实验并应用到生产实际案例，这真的非常棒，...

今天笔者给大家带来 Grafana 在 ClickHouse 项目中的应用。为了内容的完整性，笔者会从 Grafana 讲起，简单普及一下，毕竟业界使用度已经非常高了。GrafanaGr...

最近笔者忙着发布 ClickHouse 生产环境，应用于一些业务需求，以及丰富 ClickHouse 周边的生态系统，包括集成 BI 报表、数据迁移、数据备份、监控运维、分析数据可视化平...

笔者最近工作有点忙，加上培训较多，近期文章更新慢了一拍。不过，今天为 ClickHouse 的爱好者带来一篇非常不错的文章，部分内容来自 Altinity，以及笔者补充和整理而成。长期使...

今天笔者继续讲解 Apache Flink 培训系列课程中的实验2 - 有状态计算，带读者练习如何将每次乘车的 TaxiRide 和 TaxiFare 记录进行 join 操作。输入数据...

今天笔者带大家走进 Databricks，基于 Databricks Cloud 社区版本进行实验，并在 Databricks Notebook 中对 Delta Lake 商业版本进行...

臣本布衣，躬耕于南阳，苟全性命于乱世，不求闻达于诸侯。先帝不以臣 ...打住，打住！百家讲坛，谈古论今，今天我们不讲三国，我们来讲地球脉动...啊，停停停，爬错楼梯了，跑题啦，专业，...

无状态的 Transformation官网没有给出实战的代码，笔者为了大家可以练习，将会提供完整代码。map()在上面的实验 1 中，我们通过 GeoUtils.isInNYC 过滤出位...

Apache Flink 是一个分布式大数据处理引擎，可对有界数据流和无界数据流进行有状态计算。可部署在各种集群环境，对各种大小的数据规模进行快速计算。笔者三言两语本次培训课程围绕 tr...

在《Delta Lake - 数据写入的旅程》和《Delta Lake - 数据更新的旅程》文章中，我们已经从源码层面掌握了 Delta Lake 数据写入和数据更新的实现过程，并结合案...

笔者今天给大家讲一下 HBase 生产环境中的实践，包括资源隔离、参数配置、性能优化等方面，部分内容参考《HBase原理与实践》（非常建议大家好好读一读，一定会大有收获），以及笔者的实战...

对于许多用户来说，ClickHouse 中存在很多神秘而陌生的功能，这些功能给 ClickHouse 带来了非常高的查询性能。LowCardinality 数据类型就是 ...

在《Delta Lake - 数据写入的旅程》文章中，我们已经从源码层面掌握了 Delta Lake 数据写入的实现过程，再结合 Delta Lake 的实战，相信读者应...

在《Delta Lake 事务日志实现的源码剖析》文章中，我们已经从源码层面大致熟悉了 Delta Lake 事务日志的实现过程。最近不少读者反馈，希望笔者从 Delta...

今天笔者将分享一位大神关于 Delta Lake 的演讲内容。这位是 Apache Spark 的 committer 和 PMC 成员，也是 Spark SQL 的最初...

笔者在之前的文章《实战深入理解 Delta Lake 事务日志》中带大家把 Delta Lake 的事务日志大致操作了一遍，并进行了具体的分析。有了之前的基础，笔者将在本...

1. 背景为了更深入地研究 Apache Doris 开源项目，今天笔者和大家聊一下 Doris 项目所使用的 Google Mesa 技术。关于该项目的详细论文资料可以...

背景项目计划基于 Apache Doris 构建在线实时数据查询平台，目前准生产环境部署的版本为 0.10.13-release ，来自百度内部发布的分支版本，和 Apa...

笔者在介绍 Delta Lake 的上篇文章中提到过，Delta Lake 的 事务日志是非常重要的，Delta Lake 提供的多个特性都和事务日志相关，比如 ACID...

最近在 Spark + AI Summit 峰会上，Databricks 和 Linux 基金会共同宣布 Delta Lake 现在由 Linux 基金会托管，将成为数据...

在集群的每个机器上面建立本地表这里需要谨记，在进行下面的操作前（使用ReplicatedMergeTree表引擎），必须保证集群配置中internal_replication=true且配置了zookeeper。1. 先任选一台机器建个表插入数据(方便测试)CREATE TABLE IF NOT EXISTS bank (\age UInt16, \job String, \marit...

目前Kylin已经可以与superset进行集成，详细的说明可参考kylin官方文档： [ superset ]。但是superset原生并不支持kylin，因此我们需要安装Kyligence公司提供的kylinpy工具。这是一个python的kylin客户端工具，可以通过输入命令获取相应的kylin信息。安装好这个工具之后，我们就可以通过superset连接kylin进行访问了。相应的安装步骤和...

ClickHouse的显著特性1.  真正的面向列的DBMS在一个真正的面向列的DBMS中，没有任何“垃圾”存储在值中。例如，必须支持定长数值，以避免在数值旁边存储它们的长度“数字”。例如，十亿个UInt8类型的值实际上应该消耗大约1GB的未压缩磁盘空间，否则这将强烈影响CPU的使用。由于解压缩的速度（CPU使用率）主要取决于未压缩的数据量，所以即使在未压缩的情况下，紧凑地存储数据（没有任何“垃圾

什么是ClickHouse?ClickHouse 是面向OLAP 的分布式列式DBMS.在“正常”的面向行的DBMS中，数据按顺序进行存储：5123456789123456789    1     Eurobasket - Greece - Bosnia and Herzegovina - example.com     1      2011-09-01 01:03:02    6274717 

笔者之前在一些博客中给大家介绍过Linkedin开源的Gobblin，它也是一个通用的数据抽取框架，可以将很多数据源（大家可以访问http://gobblin.apache.org，查看到具体的数据源有哪些，有动画演示）抽取到Hadoop大数据平台上，而且也具备了一些企业级的功能，比如可扩展，容错，事务，统一资源管理等等。这里就不再对Gobbin进行过多的介绍和研究。 今天笔者给大家带来另外一个开...

作为中间件，消息队列是分布式应用间交换信息的重要组件。消息队列可驻留在内存或磁盘上, 队列可以存储消息直到它们被应用程序读走。通过消息队列，应用程序可以在不知道彼此位置的情况下独立处理消息，或者在处理消息前不需要等待接收此消息。所以消息队列可以解决应用解耦、异步消息、流量削锋等问题，是实现高性能、高可用、可伸缩和最终一致性架构中不可以或缺的一环。下面对消息队列就直接使用MQ表示。现在比较常见的MQ...

Hive Metastore高可用此文档是为了系统管理员准备的，他们需要配置Hive Metastore高可用服务。 重要提示：支持HiveMetastore本身的关系型数据库也应该使用数据库系统所定义的最佳实践提供高可用性。 用例和故障转移场景本节提供关于Hive Metastore高可用（HA）的用例和故障转移场景的信息。 用例Metastore HA解决方案被设计用来处理metastore服

本篇说明的是Callable和Future，它俩很有意思的，一个产生结果，一个拿到结果。        Callable接口类似于Runnable，从名字就可以看出来了，但是Runnable不会返回结果，并且无法抛出返回结果的异常，而Callable功能更强大一些，被线程执行后，可以返回值，这个返回值可以被Future拿到，也就是说，Future可以拿到异步执行任务的返回值，下面来看一个简单的例子

在本篇博客中，我将给大家带来关于Kylin的Cube方面的分析，其中包括如何去查看Cube中Cuboid统计信息，Cube大小等，但是不涉及Cube方面的优化。如果对Cube优化比较感兴趣的话，可以去查阅我之前写的关于Cube优化的文章。 1.      Cuboid，Cube和Segment理解什么是Cuboid？什么是Cube？什么是Segment？我们这里简单说，不搞专业术语，不然人心惶惶的

本篇博客主要简单介绍一下Kylin从v2.0.0版本开始，kylin.properties中的配置参数名称方式了变化。当然老的配置参数仍然生效，建议针对v2.0.0开始的新版本Kylin使用新的配置参数名称。

分享一篇对NameNode HA总结的不错的文章NameNode 高可用整体架构概述在 Hadoop 1.0 时代，Hadoop 的两大核心组件 HDFS NameNode 和 JobTracker 都存在着单点问题，这其中以 NameNode 的单点问题尤为严重。因为 NameNode 保存了整个 HDFS 的元数据信息，一旦 NameNode 挂掉，整个 HDFS 就无法访问，同时 Hadoo

本文档适合Cloudera Manager 5的所有版本的升级，而且使用tarballs进行升级，Tarballs包含Cloudera Manager Server和Cloudera ManagerAgent。https://www.cloudera.com/documentation/enterprise/latest/topics/cm_ag_ug_cm5_tarballs.html#cm_a

本文档将介绍在CentOS 7.3上部署图数据库Neo4j，包括使用Python访问Neo4j图数据库。 步骤一：安装JDK(略) 步骤二：安装Python 2.7版本[root@openstack-node1 tmp]# python -VPython 2.7.5 步骤三：安装neo4j[root@openstack-node1 tmp]# cd /tmp[root@openstack-node

名称配额（Name Quota）名称配额是在对应的目录下所有文件和目录名称的数量上的限制。当超过这个配额的时候，文件或目录就会创建失败，重命名后名称配额仍然有效。因为比较简单，所以我们直接测试：步骤一：创建一个测试目录[root@testbig1 ~]# hdfs dfs -mkdir /data/test_quota1 步骤二：设置创建的目录的名称配额[root@testbig1 ~]# hdf

环境信息：Zeppelin版本：0.7.0Kylin版本：1.6.0 Zeppelin部署：1.      修改$ZEPPELIN_HOME/conf/shiro.ini文件，配置Zeppelin集成LDAP：### A sample for configuring LDAP DirectoryRealmldapRealm = org.apache.zeppelin.realm.LdapGroup

说明：不少读者反馈，想使用开源组件搭建Hadoop平台，然后再部署Kylin，但是遇到各种问题。这里我为读者部署一套环境，请朋友们参考一下。如果还有问题，再交流。系统环境以及各组件版本信息Linux操作系统：# cat /etc/redhat-release CentOS Linux release 7.2.1511 (Core) JDK版本：# java -versionjava version

MariaDB Galera Cluster 介绍Galera Cluster是由第三方公司Codership所研发的一套免费开源的集群高可用方案，实现了数据零丢失，官网地址为http://galeracluster.com/。其在MySQLInnoDB存储引擎基础上打了wrep(虚拟全同步复制)，Percona/MariaDB已捆绑在各自的发行版本中。 MariaDB Galera Cluste

MariaDB主从复制MySQL的二进制日志(binglog)会记录所有对数据库进行更改的操作，也就是说只要是会对数据库产生修改的操作都会被记录到二进制日志中去。记录二进制日志的主要目的有两方面：1.      恢复2.      复制 MySQL的复制就是基于二进制日志而完成的，其工作原理如下：当MySQL的Master节点的数据有更改的时候，Master会主动通知Slave，让Slave主动来

Apache Kylin社区非常高兴地宣布 v2.0.0 beta package 已经可以下载并测试了。下载链接: http://kylin.apache.org/cn/download/源代码: https://github.com/apache/kylin/tree/kylin-2.0.0-beta自从v1.6.0版本发布已经2个多月了。这段时间里，整个社区协力开发完成了一系列重大的功能，希

在使用Kylin从Kafka来进行Streaming Cubing时，构建过程中出现如下错误： 从这个步骤的日志中简单显示：killed by admin 如果无法知道具体原因，那么我们可以从Yarn的作业中来查看： 进入到MR作业中，查看具体日志为：MAP capability required is more than thesupported max container capability

Impala包含一些特性，可以在CDH集群中平衡和最大化资源。本章将说明如何使用Impala提升CDH集群的利用效率。 创建静态服务池使用静态服务池可以给Impala和其他服务分配专用的资源，以考虑到预计的资源需求。 静态服务池将服务彼此隔离开来，因此一个高负载的服务对其他服务的影响是有限的。你可以使用CM来配置静态服务池，控制内存，CPU和磁盘I/O。 l  HDFS通常最少需要5-10%的资源

本章节我们将介绍为什么需要在Kylin创建Cube过程中使用Hive视图；而如果使用Hive视图，能够带来什么好处，解决什么样的问题；以及需要学会如何使用视图，使用视图有什么限制等等。 1.      为什么需要使用视图Kylin创建Cube的过程中使用Hive的表数据作为输入源。但是有些情况下，Hive中的表定义和数据并不能满足分析的需求，例如有些列的值需要进行处理，有些列的类型不满足需求，甚至

Kylin提供了标准的ODBC和JDBC接口，能够和传统BI工具进行很好的集成。分析师们可以用他们最熟悉的工具来享受Kylin带来的快速。本章节介绍通过Java程序调用Kylin的JDBC接口访问Kylin的Cube数据。首先我们来看一下连接Kylin的URL格式为：jdbc:kylin://:/注：如果“ssl”为true话，那么上面的端口号应该为Kylin服务的HTTPS端口号。kylin_p

1. 首先查看镜像

今天给朋友们带来一款开源的用来管理Docker的UI工具，名字也很直接：UI For Docker。UI For Docker是一个使用Docker RemoteAPI的web接口，目的是提供一个简洁纯净的客户端实现，为了连接和管理Docker。 希望达到的目的：1.      最少依赖。保持项目是一个简洁纯净的html/js应用。2.      一致性。保持Web UI应该与Docker CLI

简介Harbor是VMware公司开源的企业级DockerRegistry项目，项目地址为https://github.com/vmware/harbor。其目标是帮助用户迅速搭建一个企业级的Dockerregistry服务。它以Docker公司开源的registry为基础，提供了管理UI，基于角色的访问控制(Role Based Access Control)，AD/LDAP集成、以及审计日志(

安装DockerDocker的安装请参考官网（http://www.docker.com），非常详细的介绍了各个操作系统的部署过程。对于CentOS 7.x操作系统的在线安装Docker，请参考如下：https://docs.docker.com/engine/installation/linux/centos 搭建Docker私有仓库Docker官方提供了一个公有的registry叫做Docke

背景：Apache Kylin在1.5.3以及之前版本中使用精确去重只支持int类型，而目前1.5.4版本中已经支持其他数据类型的精确去重了，下面我们来验证一下对字符串进行精确去重。环境：Hadoop：2.6.0HBase：1.1.4Hive：1.2.1Kylin：1.5.4.1 准备数据：维表：region_tbl和city_tbl数据如下：region_tbl：regionid  region

安装DockerDocker的安装请参考官网（http://www.docker.com），非常详细的介绍了各个操作系统的部署过程。对于CentOS 7.x操作系统的在线安装Docker，请参考如下：https://docs.docker.com/engine/installation/linux/centos如果使用离线RPM包安装Docker请参考另一个篇博客：http://blog.csdn

组件介绍Calico：Calico是一个纯三层的协议，为OpenStack和Docker容器提供多主机间通信。Calico不使用重叠网络，使用虚拟路由代替虚拟交换，每一台虚拟路由通过BGP协议传播可达信息（路由）到剩余数据中心。 etcd：etcd是一个高可用的键值（key/value）存储系统，主要用于共享配置和服务发现，etcd 会在集群的各个节点中复制这些数据并保证这些数据始终正确。etcd

数字证书就是互联网通讯中标志通讯各方身份信息的一串数字，提供了一种在Internet上验证通信实体身份的方式，数字证书不是数字身份证，而是身份认证机构盖在数字身份证上的一个章或印（或者说加在数字身份证上的一个签名）。它是由权威机构——CA机构，又称为证书授权（Certificate Authority）中心发行的，人们可以在网上用它来识别对方的身份。当前我们的信息系统中通过加密来安全的传输信息，

发现问题：[root@mydocker network-scripts]# wget http://mirrors.163.com/.help/CentOS7-Base-163.repo--2016-10-01 09:43:12--  http://mirrors.163.com/.help/CentOS7-Base-163.repo正在解析主机 mirrors.163.com (mirrors.

JobManager高可用(HA)JobManager协调每一个Flink集群环境，它负责作业调度和资源管理。默认情况下，一个Flink集群中只有一个JobManager实例，这很容易造成单点故障（SPOF）。如果JobManager奔溃了，那么将没有新的程序被提交，同时运行的程序将失败。 对于JobManager高可用来说，我们可以从失败的JobManager中恢复，因此可以消除单点故障的问题。

环境信息：Hadoop版本：2.6.0Flink版本：1.1.2 快速部署Flink on Yarn环境：比如启动一个有4个TaskManager（每个节点都有4GB堆内存）的Yarn会话：1.      下载Flink的软件包，如flink-1.1.2-bin-hadoop26-scala_2.11.tgz（因为我的Hadoop集群版本为2.6.0，Flink的Binary包是包含Yarn客户端

ApacheFlink 是一个开源的分布式流处理和批处理系统。Flink的核心是在数据流上提供了数据分发、通信、具备容错的分布式计算。同时，Flink 在流处理引擎上构建了批处理引擎，原生支持了迭代计算、内存管理和程序优化。 Apache Flink的特性1.      流处理特性l  高吞吐、低延迟Flink 的流处理引擎只需要很少配置就能实现高吞吐率和低延迟。下图展示了一个分布式计数的任务的性

本篇博客，我将讨论Yarn资源管理方面的最佳实践，如果有写的不对的地方，请朋友们多多指教。本篇文章也参考了网上的一些资料。 Hadoop2中引入Yarn组件，将MRv2(Yarn)分为两个主要组件，一个是资源管理，一个是作业调度和监控，并且使用独立的守护进程，全局的ResourceManager(RM)以及每个应用程序的ApplicationMaster(AM)。 ResourceManager(

MapReduce程序的执行过程分为两个阶段：Mapper阶段和Reducer阶段。其中Mapper阶段可以分为6个步骤：第一阶段：先将HDFS中的输入文件file按照一定的标准进行切片，默认切片的类为FileInputFormat。FileInputFormat这个类继承自InputFormat，InputFormat这个类会将文件file按照逻辑进行划分，划分成的每一个split切片将会被分配

Hive 是一个基于 Hadoop 文件系统之上的数据仓库架构。它为数据仓库的管理提供了许多功能：数据 ETL （抽取、转换和加载）工具、数据存储管理和大型数据集的查询和分析能力。同时 Hive 还定义了类 SQL的语言 – Hive QL. Hive QL 允许用户进行和 SQL 相似的操作，它可以将结构化的数据文件映射为一张数据库表，并提供简单的 SQL 查询功能。还允许开发人员方便地使用 M

在这篇博客中，我们将一起分析通过Spark访问Hive的数据，主要分享以下几点内容：1.      如何通过Spark Shell交互式访问Spark2.      如何读取HDFS文件和创建一个RDD3.      如何通过Spark API交互式地分析数据集4.      如何创建Hive的ORC格式的表5.      如何使用Spark SQL查询Hive表6.      如何以ORC格式存

1.      项目说明关于Docker方面的内容，我们这里就不做介绍了，大家可以访问Docker官方网站（https://www.docker.com）获取详细的信息，包括Docker安装部署，基本操作命令等等。 我这个项目的目标是将Hadoop集群运行在Docker容器中，使Hadoop开发者能够快速便捷地在本机搭建多节点的Hadoop集群，即通过一台Ubuntu节点运行Hadoop集群环境。

Docker是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的 Linux 机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口。 Docker架构Docker 使用客户端-服务器(C/S)架构模式，使用远程API来管理和创建Docker容器。Docker容器通过Docker镜像来创建。容器与镜像的关系类似于面向对象编程中的

问题来源：我们使用sudo命令，让hadoop用户使用root身份执行命令时报错：[hadoop@mydocker ~]$ sudo date[sudo] password for hadoop: hadoop 不在 sudoers 文件中。此事将被报告。可以看到hadoop用户没有权限使用sudo命令以root身份执行命令。解决方法：打开终端，先以root身份登录，然后执行如下命令：visudo

1.      概述Presto是一个分布式SQL查询引擎，用于查询分布在一个或多个不同数据源中的大数据集。 Presto通过使用分布式查询，可以快速高效的完成海量数据的查询。如果你需要处理TB或者PB级别的数据，那么你可能更希望借助于Hadoop和HDFS来完成这些数据的处理。作为Hive和Pig（Hive和Pig都是通过MapReduce的管道流来完成HDFS数据的查询）的替代者，Presto

Phoenix现在支持在WHERE 和FROM 中使用子查询。子查询可以被指定在很多地方，比如 IN/NOT IN, EXISTS/NOTEXISTS等。Subqueries with INor NOT IN与传统数据库一样，例如：SELECT ItemNameFROM Items WHERE ItemID IN     (SELECT ItemID     FROM Orders     WHE

估计Phoenix中支持Joins，对很多使用HBase的朋友来说，还是比较好的。下面我们就来演示一下。首先看一下几张表的数据：Orders表： OrderID CustomerID ItemID Quantity Date 1630781 C004 I001 650 09-01-2013 1630782 C003 I006 2500 09-02-2013

序列作为标准SQL特性，允许生成递增的序列并应用在典型的ID中。为了创建一个序列，可以使用：0:jdbc:phoenix:SZB-L0023780:2181:/hbase114> CREATE SEQUENCE my_sequence;这将创建一个序列，初始化值为1，步长大小为1，序列生成器的值达到限制值后不循环，缓存定义存放序列的100个值（此值由phoenix.sequence.cacheSi

Apache Phoenix支持JDBC ARRAY类型，任何原生的数据类型就可以在ARRAY中使用。下面我介绍一下在创建的表中使用ARRAY类型。 先看一下创建表的SQL语句：CREATE TABLE regions (    region_name VARCHAR,   zips VARCHAR ARRAY[10],CONSTRAINT pk PRIMARY KEY (region_name)

数据类型 Java Map 占用大小 (byte) 范围 INTEGER java.lang.Integer 4 -2147483648 to 2147483647 UNSIGNED_INT java.lang.Integer 4 0 to 2147483647 BIGINT java.lang.Long 8 -922337203685477580

1.      如何映射一个Phoenix的表到一个HBase的表？你可以通过Create table/create view DDL语句在一个已经存在的HBase表上创建一个Phoenix表或者视图。对于Createtable来说，我们将创建任何元数据(表，列族)，这些之前都是不存在的。我们也将对于每行记录添加一个空的key值，以便查询时按照我们的方式（不需要在scan过程中对所有的列进行投影）

上一篇博客：http://phoenix.apache.org/installation.html，我们已经将phoenix部署好了，并且测试都没有问题。本篇我们将介绍phoenix的一些基本操作。1.      如何使用Phoenix输出Hello World？1.1   使用sqlline终端命令sqlline.py SZB-L0023780:2181:/hbase1140:jdbc:phoe

Apache Phoenix是一个HBase的开源SQL引擎。你可以使用标准的JDBCAPI代替HBase客户端API来创建表，插入数据，查询你的HBase数据。 为了你更好更快地了解Apache Phoenix，官方给出了15分钟快速了解Apache Phoenix的文档说明：http://phoenix.apache.org/Phoenix-in-15-minutes-or-less.html

之前我在博客中介绍了HDFS的Block数据balancer重分布实战内容：http://blog.csdn.net/jiangshouzhuang/article/details/51879102 本篇文章我们再来简单介绍一下优化Hadoop Balancer平衡的速度涉及到的几个重要参数。1.  dfs.datanode.max.transfer.threads修改dfs.datanode.m

默认的HBase客户端的参数配置是没有做过优化的，所以对于低延时响应的HBase集群，需要对客户端的参数进行优化。1.      hbase.rpc.timeout以毫秒计算的所有HBase RPC超时，默认为60s。该参数表示一次RPC请求的超时时间。如果某次RPC时间超过该值，客户端就会主动关闭socket。 如果经常出现java.io.IOException: Connection rese

背景      hbase主集群在生产环境已稳定运行有1年半时间，最大的单表region数已达7200多个，每天新增入库量就有百亿条，对hbase的认识经历了懵懂到熟的过程。为了应对业务数据的压力，hbase入库也由最初的单机多线程升级为有容灾机制的分布式入库，为及早发现集群中的问题，还开发了一套对hbase集群服务和应用全面监控的报警系统。总结下hbase优化(针对0.94版本)方面的一些经验也

package com.zy.hive.udf;import java.util.UUID;import org.apache.hadoop.hive.ql.exec.Description;import org.apache.hadoop.hive.ql.exec.UDF;import org.apache.hadoop.hive.ql.udf.UDFType;import org.apache

从事Hadoop，HBase，Spark等大数据相关工作的朋友都知道，我们部署大数据平台时，经常会配置xml文件，但是往往配置的参数比较乱，而且有可能格式也会配置错误，所以希望能有一个工具能够帮助我们对于xml文件进行格式化和验证正确性。xmllint便是一个很方便的处理及验证xml的工具，linux下只要安装libxml2就可以使用这个命令，而且一般Linux默认已经部署libxml2了。查看安

Hive客户端工具后续将使用Beeline 替代HiveCLI ，并且后续版本也会废弃掉HiveCLI 客户端工具。 Beeline是Hive新的命令行客户端工具。Beeline是从 Hive 0.11版本引入的。 HiveServer2 支持一个新的命令行Shell，称为Beeline，它是基于SQLLine CLI的JDBC客户端。Beeline支持嵌入模式(embedded mode)和远程

介绍         Kibana是一个与Elasticsearch一起工作的开源的分析和可视化平台。你可以使用Kibana进行搜索、查看并与存储在elasticsearch索引的数据进行交互操作。你也可以使用kibana执行高级的数据分析，并能以图表、表格和地图的形式查看数据。          通过Kibana使得理解大容量的数据变得非常容易。它非常简单，基于浏览器的接口使我们能够快速的创建和

elasticsearch-head是一个界面化的集群操作和管理工具，可以对集群进行傻瓜式操作。你可以通过插件把它集成到ES（首选方式），也可以安装成一个独立webapp。elasticsearch-head主要有以下方面的操作（官网）： 显示集群的拓扑，并且能够执行索引和节点级别操作 搜索接口能够查询集群中原始json或表格格式的检索数据 能够快速访问并显示集群的状态 有一个输入窗口，允许任意调