Hive中的数据类型 Hive数据类型1. 基本数据类型Hive数据类型Java数据类型长度例子TINYINTbyte1byte有符号整数20SMALINTshort2byte有符号整数20INTint4byte有符号整数20BIGINTlong8byte有符号整数20BOOLEANboolean布尔类型,true或者falseTRUE FALSEFLOATfloat单精度浮点数3.14159DOUBLEdouble双精度浮
hive架构简介 Hive架构Hive架构图1)用户接口:ClientCLI(command-line interface)、JDBC/ODBC(jdbc访问hive)、WEBUI(浏览器访问hive)2)元数据:Metastore元数据包括:表名、表所属的数据库(默认是default)、表的拥有者、列/分区字段、表的类型(是否是外部表)、表的数据所在目录等;默认存储在自带的derby数据库中,推荐使用MySQL存储Metastore3)Hadoop使用HDFS进行存储,使用MapReduce进行计算。4
hive 命令行中显示列名字段的配置 hive 命令行中显示列名字段的配置解决办法:进入hive cli后 set hive.cli.print.header=true;便可以设置 显示表头。表头只显示字段名,不显示表名set hive.resultset.use.unique.column.names=false;
Clickhouse 字符串切分 及 一行转多行函数 Clickhouse 字符串切分 及 一行转多行函数1.字符串切分字符串拆分函数 splitByChar(分隔符,s)例如: 对字符串 123_456_142354_23543__ 进行切割select splitByChar('_', '123_456_142354_23543__') AS arr;如图所示,可以得到切割之后的字符串数组。2.数组类型的元素 一行打散转多行’arrayJoin’函数获取每一行并将他们展开到多行(unfold)。例如: 将上诉字符串数组展开打散到多
Idea不可映射字符问题 idea不可映射字符问题错误现象:idea maven打包报错:编码UTF-8的不可映射字符造成原因:将gbk编码的类直接复制到utf-8编码的project中解决方法:file->settings->editor->File Enodings->将对应报错文件的编码修改为utf-8编码即可...
同比和环比 同比和环比1.同比概念:是指在相邻时段中的某一相同时间或阶段点进行比较。计算方法:本期同比增长(下降)率(%)=(本期发展水平-去年同期水平)/去年同期水平×100%(也叫同比增长速度) 本期同比发展速度=本期发展水平/去年同期水平×100%备注:(1) 如果计算值为正值(+),则称增长率;如果计算值为负值(-),则称下降率。 (2)如果本期指本日、本周和本月,则上年同期相应指上年同日、上年同周和上年同月。2.环比概念:是指相邻时间段的对比。计算方法:本期环
Kafka中主题分区副本简介 Kafka中主题分区副本简介1.主题(Topic)Kafka中的消息以主题为单位进行归类,生产者负责将消息发送到特定的主题(发送到Kafka集群中的每一条消息都要指定一个主题),而消费者负责订阅主题并进行消费。2.分区(Partition)主题是一个逻辑上的概念,它还可以细分为多个分区,一个分区只属于单个主题,很多时候也会把分区称为主题分区(Topic-Partition)。同一主题下的不同分区包含的消息是不同的,分区在存储层面可以看作一个可追加的日志(Log)文件,消息在被追加到分区日志文件的时