自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

麦田里的守望者-蒋中洲【相信相信的力量】

做一位有灵魂的技术传播者,欢迎大家关注订阅 jiangzz_wy微信公众账号!

  • 博客(21)
  • 收藏
  • 关注

转载 Kafka Manager 安装

https://www.cnblogs.com/frankdeng/p/9584870.html

2020-01-15 11:06:13 194

原创 Apache Impala 安装

软件下载下载地址:https://archive.cloudera.com/cdh5/redhat/7/x86_64/cdh/5.14.0/RPMS/x86_64/impala-2.11.0+cdh5.14.0+0-1.cdh5.14.0.p0.50.el7.x86_64.rpmimpala-catalog-2.11.0+cdh5.14.0+0-1.cdh5.14.0.p0.50.el7....

2020-01-14 16:12:37 344

原创 Apache Impala介绍&架构

概述Impala直接对存储在HDFS,HBase或Amazon Simple Storage Service(S3)中的Apache Hadoop数据提供快速,交互式SQL查询。除了使用相同的统一存储平台之外,Impala还使用与Apache Hive相同的元数据,SQL语法(Hive SQL),ODBC驱动程序和用户界面(Hue中的Impala查询UI)。这为实时或面向批处理的查询提供了一个熟...

2020-01-13 14:02:31 571

原创 Phoenix JDBC测试

1、在项目导入phoenix-4.10.0-HBase-1.2-client.jar 依赖2、并且将hbase-site.xml导入到项目的resources目录0: jdbc:phoenix:CentOS> select * from t_user;+-----+-----------+--------+--------------------------+---------+|...

2020-01-12 22:22:18 216

原创 Phoenix SQL语法

数据库CREATE SCHEMACREATE SCHEMA [IF NOT EXISTS] 数据库名字0: jdbc:phoenix:CentOS> create schema if not exists jiangzz;Error: ERROR 725 (43M08): Cannot create schema because config phoenix.schema.isN...

2020-01-12 21:21:30 2570

原创 Apache Hive自定义函数-了解

概述UDF函数其实就是一个简单的函数,执行过程就是在Hive转换成MapReduce程序后,执行java方法,类似于像MapReduce执行过程中加入一个插件,方便扩展。目前Hive除去一些内置的函数以外,还提供了一些内置的函数的扩扎接口:UDF:针对单行数据操作,需要继承UDFUDTF:操作一个数据行,产生多个数据行或者是多个列,需要用户继承GenericUDTFUDAF:操作多个数据行...

2020-01-12 17:44:07 347

原创 GUI Phoenix客户端安装

概述如果您希望使用客户端GUI与Phoenix进行交互,请下载并安装SQuirrel。由于Phoenix是JDBC驱动程序,因此与此类工具的集成是无缝的。以下是下载和安装步骤:点击:http://squirrel-sql.sourceforge.net/下载相应的版本由于小编使用的Mac操作系统,因此小编下载的是install jar of SQuirreL 4.0.0 for Mac...

2020-01-12 17:18:32 386

原创 Apache Phoenix介绍&安装

概述安装基本使用

2020-01-12 15:27:56 459

原创 Apache Zeppelin介绍&安装

概述基于数据驱动的网络笔记本,允许用户使用SQL,Scala等进行交互式数据分析和协作文档。Zeppelin允许您无缝连接任何JDBC数据源。 PostgreSQL,Mysql,MariaDB,Redshift,Apache Hive等。官网直达 | 下载zeppelin-0.8.2-bin-all.tgz下载地址:https://mirrors.tuna.tsinghua.edu.cn/...

2020-01-11 21:23:45 408

原创 Apache Sqoop导入&导出

RDBMS->HDFS全表导入sqoop import \--driver com.mysql.jdbc.Driver \--connect jdbc:mysql://CentOS:3306/test?characterEncoding=UTF-8 \--username root \--password root \--table t_user \--num-mappers...

2020-01-11 18:48:53 341

原创 hbase-handler解决hive冲突

问题描述1、准备数据7369,SMITH,CLERK,7902,1980-12-17 00:00:00,800,\N,207499,ALLEN,SALESMAN,7698,1981-02-20 00:00:00,1600,300,307521,WARD,SALESMAN,7698,1981-02-22 00:00:00,1250,500,307566,JONES,MANAGER,7839...

2020-01-11 13:56:47 884

原创 Hbase架构详解

架构组成HBase采用Master/Slave架构搭建集群,它隶属于Hadoop生态系统,由一下类型节点组成:HMaster节点、HRegionServer节点、ZooKeeper集群,而在底层,它将数据存储于HDFS中,因而涉及到HDFS的NameNode、DataNode等,总体结构如下:在物理上,HBase由master/slave类型体系结构中的三种服务器组成。RegionServe...

2020-01-07 14:15:47 1446

原创 Hbase-2.2.2源码编译与安装

编译下载Hbase-2.2.0源码https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/2.2.2/hbase-2.2.2-src.tar.gz安装Maven环境,配置M2_HOMEJAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_221.jdk/Contents/HomeM...

2020-01-06 22:14:35 1276

原创 MariaDB 安装

MariaDB 数据库管理系统是 MySQL 的一个分支,主要由开源社区在维护,采用 GPL 授权许可。开发这个分支的原因之一是:甲骨文公司收购了 MySQL 后,有将 MySQL 闭源的潜在风险,因此社区采用分支的方式来避开这个风险。MariaDB完全兼容mysql,使用方法也是一样的.有的centos7已经默认安装了Mariadb,可以查看自己的有没有安装,没有安装的再进行安装,已经安装了可以...

2020-01-06 15:51:59 602

原创 Apache Sqoop介绍&安装

概述Apache Sqoop(TM)是一种旨在在Apache Hadoop和结构化数据存储(例如关系数据库)之间高效传输批量数据的工具。通过内嵌的MapReduce程序实现关系型数据库和HDFS、Hbase、Hive等数据的倒入导出。安装1、访问sqoop的网址http://sqoop.apache.org/,选择相应的sqoop版本下载,本案例选择下载的是1.4.7下载地址:https:...

2020-01-05 21:47:03 520

原创 Azkaban任务调度

概述Azkaban是由Linkedin公司推出的一个批量工作流任务调度器,主要用于在一个工作流内以一个特定的顺序运行一组工作和流程,它的配置是通过简单的key:value对的方式,通过配置中的dependencies 来设置依赖关系,这个依赖关系必须是无环的,否则会被视为无效的工作流。Azkaban使用job配置文件建立任务之间的依赖关系,并提供一个易于使用的web用户界面维护和跟踪你的工作流。...

2020-01-05 20:46:23 7562 2

原创 Hive SQL案例分析

数据筹备7369,SMITH,CLERK,7902,1980-12-17 00:00:00,800,\N,207499,ALLEN,SALESMAN,7698,1981-02-20 00:00:00,1600,300,307521,WARD,SALESMAN,7698,1981-02-22 00:00:00,1250,500,307566,JONES,MANAGER,7839,1981-0...

2020-01-05 16:06:22 666

原创 Apache Kafka -消息队列(最新版)

概述Apache Kafka是Apache软件基金会的开源的流处理平台,该平台提供了消息的订阅与发布的消息队列,一般用作系统间解耦、异步通信、削峰填谷等作用。同时Kafka又提供了Kafka streaming插件包实现了实时在线流处理。相比较一些专业的流处理框架不同,Kafka Streaming计算是运行在应用端,具有简单、入门要求低、部署方便等优点。总体来说Kafka这门课程需要大家掌握...

2020-01-04 18:34:29 741

原创 Hive常规操作-DML操作

加载文件数据到表中LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]0: jdbc:hive2://CentOS:10000> load data local inpath '/root/t_employee...

2020-01-04 17:57:46 291

原创 Hive常规操作-Hive DDL操作

Database查看数据库0: jdbc:hive2://CentOS:10000> show databases;+----------------+--+| database_name |+----------------+--+| default || test |+----------------+--+2 rows select...

2020-01-04 16:37:32 412

原创 Apache Hive 概述

Apache Hive概述Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。 Hive 查询操作过程严格遵守Hadoop MapReduce 的作业执行模型,Hive 将用户的HiveQL 语句通过解释器转换为提交到Hadoop 集群上,Hadoop 监控作...

2020-01-03 18:13:27 683

Atlas Spark SQL血缘分析,HBASE

Atlas Spark SQL血缘分析,HBASE

2024-05-25

Atlas Spark SQL血缘分析,Hive Hook

Atlas Spark SQL血缘分析,适配spark-3.2 / Atlas-2.3.0

2024-05-25

Atlas Spark SQL血缘分析

Atlas Spark SQL血缘分析,适配spark-3.2 / Atlas-2.3.0

2024-05-25

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除