2017年01月_数据源的港湾

原创 HBase 数据模型

在HBase中，数据存储在表中，表有行和列，这看起来跟关系型数据库类似，但其实又不同。下面具体介绍一下HBase中的结构，表(TABLE) 一个HBase表包含多行。行(Row) 行由行键(row key)及一或多个相关的列组成。行是按照行键存储的，因此合理的设计行键十分重要。由此可以看出，HBase表类似于一个索引的结构。列(Column) 一个列由列族和列标识符组成，列族和列标识符以:分隔

2017-01-22 11:14:53 764

1 什么是odbodb是一款平台无关的，多线程的，基于ODBC的命令行工具。Trafodion数据库使用odb来做以下事情：并行数据加载/抽取查询驱动SQL解释器2 安装配置Trafodion ODBC Driver(1) 下载unixODBC[centos@cent-1 clients]$ sudo yum install unixODBC -y[centos@cent-1 clients]$ l

2017-01-20 15:55:32 2035

原创 YARN与MapReduce的区别

首先介绍一下老的MapReduce的机制，老的MapReduce的具体流程如下， JobClient提交Job给Job Tracker，Job Tracker与集群所有机器通信(heartbeat)，管理所有job失败、重启等操作。Task Tracker是在每一台机器上都有的，主要用来监视自己所在机器的task运行情况及机器的资源情况，然后把这些信息通过heartbeat发送给Job Track

2017-01-20 15:33:20 11850

原创 Trafodion 查看原生HBase表

前面一篇文章我们谈到从Trafodion层面可以查看有哪些Hive表，而不用从hive中查看，本文介绍如何从Trafodion中查看原生的HBase表，用到的命令是get hbase objects，关于get hbase objects的具体用法请参考官方文档： http://trafodion.incubator.apache.org/docs/sql_reference/index.html#

2017-01-20 11:57:05 990

原创 Trafodion 查看原生Hive表

Trafodion中的get命令可以用来查看Hive中有哪些表，具体方法如下，1 hive命令查看hive中的表hive> show tables in default;OKaaeboxdataeboxdata30weboxdata_30meboxdata_30m_tmpnative_zhiyiTime taken: 0.024 seconds, Fetched: 6 row(s)h

2017-01-20 11:44:26 872

原创 Zookeeper 实现原理

一直以来只知道Zookeeper是一个分布式协调组件，但究竟其中的原理一直也没深究过，今天看了一点书籍及文章，在此总结一下自己的心得。Zookeeper的概念 Zookeeper是一个分布式的、开源的分布式应用程序协调服务，包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等，它是Google的 Chubby一个开源实现。Zookeeper的特点 1 简单: Zook

2017-01-20 10:39:33 764

原创 CDH5 添加数据节点

本文介绍如何在CDH Hadoop集群中动态添加数据节点。添加节点之前需要准备好一台新的机器，Linux版本最好跟原有集群中其他机器保持相同，然后便是基本的Hadoop安装之前的配置，如关闭防火墙、开启ntpd服务、关闭Selinux、配置/etc/hosts等等，具体可参考另一篇文章“CDH 5.8 离线安装 ”中关于安装前配置那一部分， http://blog.csdn.net/post_yua

2017-01-19 11:18:42 7190

原创 CDH 5.8 离线安装

本文介绍在CentOS 6环境下离线安装CDH 5.8(两个节点)。主要步骤如下，1 安装前配置(1)配置host name，同步集群每个节点[root@cent-1 centos]# cat /etc/hosts127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4::1 lo

2017-01-17 14:53:24 3314

原创 Trafodion 配置LDAP安全认证

本文主要介绍如何配置Trafodion的LDAP安全认证，关于LDAP的安装与使用，参考我的另外一篇“OpenLDAP服务端+PhpLdapAdmin 基本安装与配置 ”http://blog.csdn.net/post_yuan/article/details/53129735这里假设我们已经提前安装并配置好了OpenLDAP服务端环境，通过PhpLDAPAdmin可以查看到，如下图，通过Open

2017-01-16 15:41:14 1629 2

原创 Kerberos 基本安装与配置

由于最近环境需要用到Kerberos认证，之前对Kerberos这块了解甚少，今天抽空自己手动安装一下Kerberos，以此加深对Kerberos的理解。1 选择一台机器运行KDC，安装Kerberos相关服务[root@cent-1 ~]# yum install -y krb5-server krb5-libs krb5-auth-dialog krb5-workstation[root@ce

2017-01-13 13:33:24 27533 1

原创 Linux YUM下载指定rpm包

1 yum install yum-utils -y[root@cent-2 ~]# yum install yum-utils -y...Downloading Packages:(1/3): libxml2-2.7.6-21.el6_8.1.x86_64.rpm

2017-01-12 16:19:08 3876

原创 Linux 查看网络带宽是千兆还是万兆

查看机器端口[trafodion@n12 ~]$ ifconfigeth1 Link encap:Ethernet HWaddr 5C:B9:01:9A:48:5D inet addr:10.10.11.12 Bcast:10.10.11.255 Mask:255.255.255.0 inet6 addr: fe80::5eb9:1ff:f

2017-01-12 16:12:35 38184 1

原创 Trafodion Bulk Load 对比 Native HBase Bulk Load

从之前的一些文章我们知道，Trafodion在加载数据这一块有Bulk Load的功能，相比Trickle Load, Bulk Load在性能上要提升很多倍。如果我们熟悉HBase的话，也知道HBase也有Bulk Load的概念。那么Trafodion的Bulk Load与原生HBase的Bulk Load究竟有什么区别呢？本文就详细介绍一下。HBase Bulk LoadHBase的Bulk

2017-01-11 09:42:40 757

原创 CDH5 配置LZO

本文通过实例讲述在CDH5下面配置LZO压缩的过程，1 下载parcel（选择合适的版本），下载地址： http://archive-primary.cloudera.com/gplextras/parcels/latest/ ；下载.parcel文件及manifest.json文件，下载完成后在manifest.json中找到对应的hash值并写到.parcel.sha文件[root@cent-1

2017-01-09 11:39:44 2222

原创 Trafodion 资源配置需求

1. 进程(Processing Usage)(1) 对于典型的高性能配置，管理节点必须和数据节点独立开来。管理节点和数据节点在存储、网络和内存方面要求都有所不同。 (2) 对于小型测试环境，数据节点和管理节点不必区分太明显，甚至可以装在一个节点上。只能要满足基本的要求且配置是合法的都没有问题。下面是关于评估节点相关的要素， (1) 相比较于更少的节点数及每节点更多的内核数，应该选择更多的节

2017-01-03 17:59:14 609

原创 Trafodion 性能优化之常用优化技巧

HBASE_FILTER_PERDS ‘2’: 当表是默认行格式且查询在非主键(簇键)列上做过滤时，这个cqd可以把过滤下推到region服务器去执行以减少数据流动。默认不开启。运用此cqd时注意timeout错误，需要最小化扫描cache size。HBASE_NUM_CACHE_ROWS_MAX: 默认值是10000。当需要在regin服务器中做过滤时可能需要把这个值设的小一点如1000。还有

2017-01-03 11:13:26 1087

数据源的港湾