- 博客(9)
- 收藏
- 关注
RSS订阅
原创 Hbase底层原理
HBase基本介绍简介hbase是bigtable的开源java版本。是建立在hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写nosql的数据库系统。它介于nosql和RDBMS之间，仅能通过主键(row key)和主键的range来检索数据，仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。主要用来存储结构化和半结构化的松散数据。Hbase查询数据功能很简单...
2019-12-17 18:13:38
16985
1
原创 Phoenix安装介绍与常用命令
Phoenix介绍目标：了解什么是Phoenixphoenix，中文译为“凤凰”，很美的名字。Phoenix是由saleforce.com开源的一个项目，后又捐给了Apache基金会。它相当于一个Java中间件，提供jdbc连接，操作hbase数据表。Phoenix是一个HBase的开源SQL引擎。你可以使用标准的JDBC API代替HBase客户端API来创建表，插入数据，查询HBase数据...
2019-12-30 14:53:36
3823
2
原创 ZooKeeper安装
安装zookeeper的注意事项：安装前需要安装好jdk检测集群时间是否同步检测防火墙是否关闭检测主机 ip映射有没有配置下载安装包、解压下载地址：CDH版本：http://archive.cloudera.com/cdh5/cdh/5/zookeeper-3.4.5-cdh5.14.0.tar.gzapache版本：https://archive.apache.org/dist/...
2019-12-12 20:39:53
3274
2
原创 Apache Hue详解安装及软件的集成
一、 Apache Hue介绍1． Hue是什么HUE=Hadoop User ExperienceHue是一个开源的Apache Hadoop UI系统，由Cloudera Desktop演化而来，最后Cloudera公司将其贡献给Apache基金会的Hadoop社区，它是基于Python Web框架Django实现的。通过使用Hue，可以在浏览器端的Web控制台上与Hadoop集群进行...
2019-12-12 08:58:26
7065
2
原创 Apache Sqoop
1． sqoop介绍Apache Sqoop是在Hadoop生态体系和RDBMS体系之间传送数据的一种工具。来自于Apache软件基金会提供。Sqoop工作机制是将导入或导出命令翻译成mapreduce程序来实现。在翻译出的mapreduce中主要是对inputformat和outputformat进行定制。Hadoop生态系统包括：HDFS、Hive、Hbase等RDBMS体系包括：My...
2019-12-12 08:32:02
7518
原创 HBase的集群环境搭建
注意事项：HBase强依赖zookeeper和hadoop，安装HBase之前一定要保证zookeeper和hadoop启动成功，且服务正常运行第一步：下载对应的HBase的安装包所有关于CDH版本的软件包下载地址如下http://archive.cloudera.com/cdh5/cdh/5/HBase对应的版本下载地址如下http://archive.cloudera.com/cdh...
2019-12-11 09:27:33
3215
1
原创 Azkaban工作流调度
1． 工作流产生背景工作流（Workflow），指“业务过程的部分或整体在计算机应用环境下的自动化”。是对工作流程及其各操作步骤之间业务规则的抽象、概括描述。工作流解决的主要问题是：为了实现某个业务目标，利用计算机软件在多个参与者之间按某种预定规则自动传递文档、信息或者任务。一个完整的数据分析系统通常都是由多个前后依赖的模块组合构成的：数据采集、数据预处理、数据分析、数据展示等。各个模块单元之...
2019-12-10 20:19:07
4789
1
原创 Flume的安装及7种应用和详解
前言在一个完整的离线大数据处理系统中，除了hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop生态体系中都有便捷的开源框架，如图所示：日志采集框架FlumeFlume介绍概述Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。Flume可以采集文件，socket数据...
2019-12-05 18:24:42
6367
1
原创 Hive中的复合数据类型
hive中的复合数据类型Arrayarray中的数据为相同类型，例如，假如array A中元素[‘a’,‘b’,‘c’]，则A[1]的值为’b’数据结构如下：zhangsan beijing,shanghai,tianjin,hangzhouwangwu shanghai,chengdu,wuhan,haerbincreate table complex_array(name s...
2019-12-03 17:10:28
3258
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人