- 博客(28)
- 收藏
- 关注
RSS订阅原创 Hive中的数据类型
Hive数据类型1. 基本数据类型Hive数据类型Java数据类型长度例子TINYINTbyte1byte有符号整数20SMALINTshort2byte有符号整数20INTint4byte有符号整数20BIGINTlong8byte有符号整数20BOOLEANboolean布尔类型，true或者falseTRUE FALSEFLOATfloat单精度浮点数3.14159DOUBLEdouble双精度浮
2022-04-26 15:27:29
566
原创 hive架构简介
Hive架构Hive架构图1）用户接口：ClientCLI（command-line interface）、JDBC/ODBC(jdbc访问hive)、WEBUI（浏览器访问hive）2）元数据：Metastore元数据包括：表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等；默认存储在自带的derby数据库中，推荐使用MySQL存储Metastore3）Hadoop使用HDFS进行存储，使用MapReduce进行计算。4
2022-04-26 14:21:23
191
原创 hive 命令行中显示列名字段的配置
hive 命令行中显示列名字段的配置解决办法：进入hive cli后 set hive.cli.print.header=true;便可以设置 显示表头。表头只显示字段名，不显示表名set hive.resultset.use.unique.column.names=false；
2022-04-26 13:36:15
1593
原创 Clickhouse 字符串切分 及 一行转多行函数
Clickhouse 字符串切分 及 一行转多行函数1.字符串切分字符串拆分函数 splitByChar（分隔符，s)例如： 对字符串 123_456_142354_23543__ 进行切割select splitByChar('_', '123_456_142354_23543__') AS arr；如图所示，可以得到切割之后的字符串数组。2.数组类型的元素 一行打散转多行’arrayJoin’函数获取每一行并将他们展开到多行（unfold）。例如： 将上诉字符串数组展开打散到多
2022-03-23 17:57:00
7319
原创 Idea不可映射字符问题
idea不可映射字符问题错误现象：idea maven打包报错：编码UTF-8的不可映射字符造成原因：将gbk编码的类直接复制到utf-8编码的project中解决方法：file->settings->editor->File Enodings->将对应报错文件的编码修改为utf-8编码即可...
2021-11-12 14:31:39
994
1
原创 同比和环比
同比和环比1.同比概念：是指在相邻时段中的某一相同时间或阶段点进行比较。计算方法：本期同比增长（下降）率(%)=(本期发展水平-去年同期水平)/去年同期水平×100%（也叫同比增长速度） 本期同比发展速度=本期发展水平/去年同期水平×100%备注：（1） 如果计算值为正值（+），则称增长率；如果计算值为负值（-），则称下降率。 （2）如果本期指本日、本周和本月，则上年同期相应指上年同日、上年同周和上年同月。2.环比概念：是指相邻时间段的对比。计算方法：本期环
2021-11-12 10:28:55
245
原创 Kafka中主题分区副本简介
Kafka中主题分区副本简介1.主题（Topic）Kafka中的消息以主题为单位进行归类，生产者负责将消息发送到特定的主题（发送到Kafka集群中的每一条消息都要指定一个主题），而消费者负责订阅主题并进行消费。2.分区（Partition）主题是一个逻辑上的概念，它还可以细分为多个分区，一个分区只属于单个主题，很多时候也会把分区称为主题分区（Topic-Partition）。同一主题下的不同分区包含的消息是不同的，分区在存储层面可以看作一个可追加的日志（Log）文件，消息在被追加到分区日志文件的时
2021-11-12 09:25:36
1372
原创 Java util包下的Objects工具
Java util包下的Objects工具描述如下为笔者在开发过程中遇到的一些工具类，其中equals方法及isNull nonNull比较常用，故将Objects类的工具方法都进行一个总结。供大家参考及自己记录总结1.equals（Object a, Object b）主要用于两个对象的比较，和我们自己写的equals方法差别较小，多了判空和地址的直接比较，调用时避免了我们自己判空的繁琐操作。源码如下：public static boolean equals(Object a, Object
2021-11-11 16:11:31
506
原创 Kafka中的基本体系
Kafka基本体系Kafka体系架构[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4sAIlx2Q-1636535850032)(C:\Users\Administrator\Downloads\kafka基本架构图.png)]一个典型的 Kafka 体系架构包括若干 Producer、若干Broker、若干 Consumer，以及一个ZooKeeper集群。其中ZooKeeper是Kafka用来负责集群元数据的管理、控制器的选举等操作的。Producer将消息发送
2021-11-10 17:17:49
1631
原创 Kafka概述
Kafka概述Kafka起初是由LinkedIn公司采用Scala语言开发的一个多分区、多副本且基于ZooKeeper协调的分布式消息系统。Zookeeper在Kafka中扮演的角色，进行Kafka元数据的管理及Kafka Controller的选举工作。Kafka 2.8.0版本之后已移除对Zookeeper的依赖，由kafka自身进行。目前Kafka已经被定位成一个分布式流式处理系统平台，特点：高吞吐丶可持久化丶可水平拓展丶支持流处理等多种特性。支持与各种流式计算框架集成，Spark,Flink
2021-11-10 17:17:17
2303
1
原创 数仓维度表的作用和好处
数仓维度表的作用和好处1.缩小了事实表的大小。2.便于维度的管理和维护，增加，删除和修改维度的属性，不必对事实表的大量记录进行改动。3.维度表可以为多个事实表重用，以减少重复工作。...
2021-11-09 13:20:16
451
原创 ArrayList和LinkedList的区别
ArrayList和LinkedList的区别一.相同点：ArrayList和LinkedList都实现了List接口，是List的常用实现类。二.不同点：1.底层数据结构不同ArrayList是Array（动态数组）的数据结构LinkedList是基于Link(链表)的数据结构2.不同操作效率不同①当需要进行随机查找访问时(get和set操作)，ArrayList比LinkedList的效率更高，因为LinkedList是线性的数据存储方式，所以需要移动指针从前往后依次查找。②当对数据进
2021-11-08 10:32:18
236
原创 Linux 虚拟机自动批量配置ssh免密登陆
Linux 虚拟机自动批量配置ssh免密登陆1.脚本需要的环境需要注意：各台机器需要安装expect。假如连接外网则可以使用yum安装。yum install expect.假如没有连接外网的条件，也可以使用rpm包进行安装2.脚本编写脚本编写如下：其中第一个参数为要设置ssh的用户名称，这里为spark第二个参数为用户对应的密码第三个参数为要设置互通ssh的机器的ip列表vi autoSSH.sh#!/bin/shDEST_USER=$1PASSWORD=$2HOSTS_F
2021-03-21 14:45:59
269
原创 Vmware Workstation(Centos 6.10)静态IP及连接外网局域网
Vmware Workstation(Centos 6.10)静态IP及连接外网局域网刚买的电脑，想给自己的笔记本安装一个小集群供自己玩耍，于是就记录下来了。1.先按照自己的需求创建虚机之后右键设置之后，选择网络适配器（自定义 选为 VMnet8(NAT模式)）2.虚拟机 网卡 配置 – VM使用的是 静态地址[root@openweb ~]# cat /etc/sysconfig/network-scripts/ifcfg-eth0DEVICE=eth0HWADDR=00:0C:
2021-03-15 23:48:18
230
原创 Linux报错 Connection activation failed: Device not managed by NetworkManager or unavailable
Linux报错： Error: Connection activation failed: Device not managed by NetworkManager or unavailable错误复现：问题解决问题解决之后情况错误复现：[root@hadoop1 Desktop]# service network restartShutting down interface eth0: [ OK ]Shutting down loopb
2021-03-15 22:48:49
916
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人