wnf2018的博客

1、何为分区表（1）基本概念：在Hive中，分区表的意思就是相当于在该表对应的文件夹目录下创建子目录来存储不同该表分区字段对应的数据（简单一句话总结就是hive中的分区表就是分目录存储数据，将一个表的所有数据根据业务来切分成一个个小的数据集来存储）。（2）分区表数据的查询通过where关键字来指定分区字段来进行查询，这样可以提高查询的效率。2、分区表的基本操作（1）创建分区表的语法...

1、Hive的内部表（管理表）（1）基本概念：在Hive中，默认创建的表都是管理表（内部表），它与表的原始数据息息相关，Hive默认情况下会将管理表的数据存储在由配置参数hive.metastore.warehouse.dir指定的HDFS目录下（/user/hive/warehouse/），当删除管理表时，会删除表的元数据并连同表的原始数据一起删除（所以管理表不适合与其它工具来共享数据）。...

1、Flink Local模式安装1）安装最新的flink-1.9版本（1）解压安装包tar -zxf flink-1.9.0-bin-scala_2.11.tgz -C /opt/module/（2）由于是单机模式，所以可以不需要进行任何配置直接启动即可（这里我启动1个jobManager服务进程和3个taskManager服务进程）# 执行该脚本会启动flink的1个j...

1、map算子1）理解：通过对DataStream对象调用其map方法，对数据流中的每一个元素进行转换逻辑操作，最终返回每一个输入元素转换后的结果数据继续封装成一个DataStream对象返回（输入多少个元素，就会返回多少个元素，中间过程可以进行一系列的数据结构转换操作）2）map算子使用入门代码示例（1）java API代码package com.flink.datastrea...

1、基本数据类型1）Hive的基本数据类型对比Java的数据类型Hive的数据类型 Java的数据类型 长度 tinyint byte 1个字节，有符号整数 smalint short 2个字节，有符号整数 int int 4个字节，有符号整数 bigint long 8个字节，有符号整数 boolean ...

1、首先需要配置hive-site.xml文件（1）hive.server2.thrift.port --端口号:10000（2）hive.server2.thrift.bind.host --绑定主机名称为hive安装的那台节点主机名（3）hive.server2.long.polling.timeout -- 超时时间为5000，去掉L<!-- 配置hive serve...

1、Hive的基本命令行操作（1）启动hive默认的命令行客户端bin/hive（2）查看数据库列表show databases;（3）使用默认数据库use default;（4）查看该数据库下有几张表show tables;（5）这里我们可以在default数据库下面创建一张表studentcreate table if not exis...