- 博客(21)
- 收藏
- 关注
RSS订阅原创 Apache Impala 安装
软件下载下载地址：https://archive.cloudera.com/cdh5/redhat/7/x86_64/cdh/5.14.0/RPMS/x86_64/impala-2.11.0+cdh5.14.0+0-1.cdh5.14.0.p0.50.el7.x86_64.rpmimpala-catalog-2.11.0+cdh5.14.0+0-1.cdh5.14.0.p0.50.el7....
2020-01-14 16:12:37
345
原创 Apache Impala介绍&架构
概述Impala直接对存储在HDFS，HBase或Amazon Simple Storage Service（S3）中的Apache Hadoop数据提供快速，交互式SQL查询。除了使用相同的统一存储平台之外，Impala还使用与Apache Hive相同的元数据，SQL语法（Hive SQL），ODBC驱动程序和用户界面（Hue中的Impala查询UI）。这为实时或面向批处理的查询提供了一个熟...
2020-01-13 14:02:31
572
原创 Phoenix JDBC测试
1、在项目导入phoenix-4.10.0-HBase-1.2-client.jar 依赖2、并且将hbase-site.xml导入到项目的resources目录0: jdbc:phoenix:CentOS> select * from t_user;+-----+-----------+--------+--------------------------+---------+|...
2020-01-12 22:22:18
217
原创 Phoenix SQL语法
数据库CREATE SCHEMACREATE SCHEMA [IF NOT EXISTS] 数据库名字0: jdbc:phoenix:CentOS> create schema if not exists jiangzz;Error: ERROR 725 (43M08): Cannot create schema because config phoenix.schema.isN...
2020-01-12 21:21:30
2571
原创 Apache Hive自定义函数-了解
概述UDF函数其实就是一个简单的函数，执行过程就是在Hive转换成MapReduce程序后，执行java方法，类似于像MapReduce执行过程中加入一个插件，方便扩展。目前Hive除去一些内置的函数以外，还提供了一些内置的函数的扩扎接口：UDF：针对单行数据操作，需要继承UDFUDTF:操作一个数据行，产生多个数据行或者是多个列，需要用户继承GenericUDTFUDAF:操作多个数据行...
2020-01-12 17:44:07
347
原创 GUI Phoenix客户端安装
概述如果您希望使用客户端GUI与Phoenix进行交互，请下载并安装SQuirrel。由于Phoenix是JDBC驱动程序，因此与此类工具的集成是无缝的。以下是下载和安装步骤：点击：http://squirrel-sql.sourceforge.net/下载相应的版本由于小编使用的Mac操作系统，因此小编下载的是install jar of SQuirreL 4.0.0 for Mac...
2020-01-12 17:18:32
386
原创 Apache Zeppelin介绍&安装
概述基于数据驱动的网络笔记本，允许用户使用SQL，Scala等进行交互式数据分析和协作文档。Zeppelin允许您无缝连接任何JDBC数据源。 PostgreSQL，Mysql，MariaDB，Redshift，Apache Hive等。官网直达 | 下载zeppelin-0.8.2-bin-all.tgz下载地址：https://mirrors.tuna.tsinghua.edu.cn/...
2020-01-11 21:23:45
408
原创 Apache Sqoop导入&导出
RDBMS->HDFS全表导入sqoop import \--driver com.mysql.jdbc.Driver \--connect jdbc:mysql://CentOS:3306/test?characterEncoding=UTF-8 \--username root \--password root \--table t_user \--num-mappers...
2020-01-11 18:48:53
342
原创 hbase-handler解决hive冲突
问题描述1、准备数据7369,SMITH,CLERK,7902,1980-12-17 00:00:00,800,\N,207499,ALLEN,SALESMAN,7698,1981-02-20 00:00:00,1600,300,307521,WARD,SALESMAN,7698,1981-02-22 00:00:00,1250,500,307566,JONES,MANAGER,7839...
2020-01-11 13:56:47
886
原创 Hbase架构详解
架构组成HBase采用Master/Slave架构搭建集群，它隶属于Hadoop生态系统，由一下类型节点组成：HMaster节点、HRegionServer节点、ZooKeeper集群，而在底层，它将数据存储于HDFS中，因而涉及到HDFS的NameNode、DataNode等，总体结构如下：在物理上，HBase由master/slave类型体系结构中的三种服务器组成。RegionServe...
2020-01-07 14:15:47
1447
原创 Hbase-2.2.2源码编译与安装
编译下载Hbase-2.2.0源码https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/2.2.2/hbase-2.2.2-src.tar.gz安装Maven环境，配置M2_HOMEJAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_221.jdk/Contents/HomeM...
2020-01-06 22:14:35
1276
原创 MariaDB 安装
MariaDB 数据库管理系统是 MySQL 的一个分支，主要由开源社区在维护，采用 GPL 授权许可。开发这个分支的原因之一是：甲骨文公司收购了 MySQL 后，有将 MySQL 闭源的潜在风险，因此社区采用分支的方式来避开这个风险。MariaDB完全兼容mysql，使用方法也是一样的.有的centos7已经默认安装了Mariadb，可以查看自己的有没有安装，没有安装的再进行安装，已经安装了可以...
2020-01-06 15:51:59
602
原创 Apache Sqoop介绍&安装
概述Apache Sqoop（TM）是一种旨在在Apache Hadoop和结构化数据存储（例如关系数据库）之间高效传输批量数据的工具。通过内嵌的MapReduce程序实现关系型数据库和HDFS、Hbase、Hive等数据的倒入导出。安装1、访问sqoop的网址http://sqoop.apache.org/，选择相应的sqoop版本下载，本案例选择下载的是1.4.7下载地址：https:...
2020-01-05 21:47:03
520
原创 Azkaban任务调度
概述Azkaban是由Linkedin公司推出的一个批量工作流任务调度器，主要用于在一个工作流内以一个特定的顺序运行一组工作和流程，它的配置是通过简单的key:value对的方式，通过配置中的dependencies 来设置依赖关系，这个依赖关系必须是无环的，否则会被视为无效的工作流。Azkaban使用job配置文件建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。...
2020-01-05 20:46:23
7565
2
原创 Hive SQL案例分析
数据筹备7369,SMITH,CLERK,7902,1980-12-17 00:00:00,800,\N,207499,ALLEN,SALESMAN,7698,1981-02-20 00:00:00,1600,300,307521,WARD,SALESMAN,7698,1981-02-22 00:00:00,1250,500,307566,JONES,MANAGER,7839,1981-0...
2020-01-05 16:06:22
666
原创 Apache Kafka -消息队列（最新版）
概述Apache Kafka是Apache软件基金会的开源的流处理平台，该平台提供了消息的订阅与发布的消息队列，一般用作系统间解耦、异步通信、削峰填谷等作用。同时Kafka又提供了Kafka streaming插件包实现了实时在线流处理。相比较一些专业的流处理框架不同，Kafka Streaming计算是运行在应用端，具有简单、入门要求低、部署方便等优点。总体来说Kafka这门课程需要大家掌握...
2020-01-04 18:34:29
741
原创 Hive常规操作-DML操作
加载文件数据到表中LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]0: jdbc:hive2://CentOS:10000> load data local inpath '/root/t_employee...
2020-01-04 17:57:46
291
原创 Hive常规操作-Hive DDL操作
Database查看数据库0: jdbc:hive2://CentOS:10000> show databases;+----------------+--+| database_name |+----------------+--+| default || test |+----------------+--+2 rows select...
2020-01-04 16:37:32
412
原创 Apache Hive 概述
Apache Hive概述Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。 Hive 查询操作过程严格遵守Hadoop MapReduce 的作业执行模型，Hive 将用户的HiveQL 语句通过解释器转换为提交到Hadoop 集群上，Hadoop 监控作...
2020-01-03 18:13:27
683
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人