wanghuan524-CSDN博客

原创 Flink SQL JDBC Oracle Connector自定义开发

自定义开发Flink SQL JDBC Connector 支持Oracle

2022-06-14 14:59:31 2618 1

原创 Hive优化

Hive 优化1. 优化走Mapreduce的SQL2. 使用拆分表的思路，将大表拆分为小表查询3. 分区表与外部表结合使用，分区一般到二级分区4. 数据存储格式和压缩格式设置5. SQL优化1. 优化走Mapreduce的SQL配置hive-site.xml , 默认为minimal如果表数据按列存储了，select字段优化查询列会更快 <property> <n...

2019-12-24 07:04:39 165

原创 Hive UDF

Hive UDF1. 查询hive默认函数2. Eclipse 开发UDF3. jar包导出4. hive中添加jar （添加UDF）1. 查询hive默认函数查看所有函数show functions ;查看具体某一函数desc funciton xpath_int ;查看具体函数的描述文档desc function extended xpath_int ;2. Eclipse ...

2019-12-19 06:57:17 353

原创 Hive几种排序区别

Hive排序方式1. order by2. sort by3. distribute by4. cluster by1. order by全局排序，只针对一个reduce任务按照员工编号升序select * from emp_partition order by empno ;按照员工编号升序，相同时按照day升序select * from emp_partition order by...

2019-12-18 07:02:06 449

原创 Hive ImportExport

Import ExportImportExportHive 0.8.0 版本之后新功能Import将外部的数据导入到Hive 表中import table student.emp from '/input/emp_exp' ;select * from emp ;Export将Hive 表中的数据导出到外部（HDFS路径）create table emp like defaul...

2019-12-18 05:36:29 126

原创 Hive结果导出

Hive导出结果1. 导出到本地文件2. bin/hive -e管道输出3. 导出结果到hdfs1. 导出到本地文件insert overwrite local directory '/opt/data/hive_exp' select count(*) from hive_test.u_data ;指定列分隔符 , 行分隔符insert overwrite local directory...

2019-12-14 00:17:00 289

原创 Hive表导入数据方式

Hive导入数据方式1. 导入本地文件到Hive表2. 导入HDFS文件到Hive表3. 加载数据覆盖Hive表中已有数据4. 创建表时通过insert加载5. Location6. 使用SELECT导入数据1. 导入本地文件到Hive表load data local inpath '/opt/data/emp.txt' into table default.emp;2. 导入HDFS文件...

2019-12-13 23:52:39 202

原创 Hive 分区表

Hive分区表分区原理方式2方式3分区原理** Hive表分区的原理实在HDFS存储上，进行目录结构的划分，即在导入数据到HDFS上，将不同时间段内的数据导入不同的时间目录，后续Hive查询时可以指定目录（按照分区提高查询效率），降低数据量 **方式2从已有的表结构中创建新表并拷贝数据create table IF not exists hive_test.nameallAS sele...

2019-12-13 23:19:13 322

原创 Hive 外部表

Hive外部表如何查询外部表与管理表外部表与管理表区别创建外部表导入数据到外部表创建外部表并初始指定数据文件外部表查询drop table如何查询外部表与管理表student 表1. desc formatted student2. 查看Table Type External_TABLE 为外部表， MANAGED_TABLE 称之为内部表，管理表外部表与管理表区别内部表默认存...

2019-12-13 21:28:08 556

原创 Hive创建表

Hive创建表环境说明方式1方式2方式3环境说明OS ： CentOs 6.4mysql version ： mysql-libs.zip 5.7.24tips：Mysql和Hive安装在同一台Server上方式1如果表不存在则创建create table IF not exists hive_test.name (name string comment 'Your Name' ,...

2019-12-11 20:26:57 153

原创 Hive交互操作命令

Hive交互操作命令环境说明操作命令环境说明OS ： CentOs 6.4mysql version ： mysql-libs.zip 5.7.24tips：Mysql和Hive安装在同一台Server上操作命令直接进去hive client 命令行窗口，执行SQL操作bin/hive linux 命令行下执行SQL语句（数据库名+表名）测试场景下使用较多bin/h...

2019-12-09 21:54:28 160

原创 Hive 使用案例

Hive操作案例1. 建表2. 下载数据集3. 加载数据集-Hive3. 创建Python脚本4. Hive查询1. 建表CREATE TABLE u_data ( userid INT, movieid INT, rating INT, unixtime STRING)ROW FORMAT DELIMITEDFIELDS TERMINATED BY '\t'STORED...

2019-11-26 22:48:25 229

原创 Hive 基本操作

Hive基本操作基本命令配置Hive查询结果显示表头信息基本命令// 显示数据库1. show databases// 创建数据库2. create database hive_test;// 使用数据库3. use hive_test;// 创建表，行字段按照'\t'进行分割4. create table student(id int , name string) ROW FO...

2019-11-26 21:32:47 146

原创 Hive集成Mysql

Hive使用Mysql存储元数据环境说明配置步骤1. hive-site.xml2. mysql jdbc jar copy3. 测试环境说明OS ： CentOs 6.4mysql version ： mysql-libs.zip 5.7.24Hive 默认使用Derby内嵌的内存数据库，不支持多Hive CLI 连接，业内默认使用Mysql作为元数据管理数据库。tips：Mysql和...

2019-11-24 23:58:45 138

Windows Server SAP BO 4.2安装部署安装准备新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导...

2019-11-24 23:09:18 103

原创 Hadoop QJM HA

Hadoop 部署模式集群环境介绍Local（StandAlone）单机模式 hadoopnode1伪分布式模式（hadoopnode1）本地运行Mapreduce JobRun Mapreduce Job On Yarn完全分布式模式（HA 三个节点）1. hdfs-site.xml配置2. core-site.xml配置3. QJM HA 启动4. QJM HA 故障自动转移1. hdfs-s...

2019-11-16 21:53:02 176

原创 Hadoop伪分布式下——Hadoop2.x运行自带的WordCount报错Container exited with a non-zero exit code 1.

Hadoop伪分布式下——Hadoop2.x运行自带的WordCount报错Container exited with a non-zero exit code 1.问题伪分布式模式配置文件解决方法问题今天，基于Hadoop2.5.0搭建了Hadoop集群，但是在运行下面命令后报错bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-e...

2019-11-09 17:00:48 598

原创 ZooKeeper Cluster 部署

ZooKeeper Cluster 部署集群环境介绍安装步骤集群环境介绍CentOS release 6.4 (Final)jdk 1.7.0_67zookeeper 3.4.6zookeeper 拓扑划分(3节点)：192.168.2.53192.168.2.54192.168.2.55QuorumPeerMainQuorumPeerMainQuorumP...

2019-11-09 15:12:05 455

wanghuan524的博客