- 博客(11)
- 收藏
- 关注
RSS订阅原创 Hive SQL实现每小时登录时长占比指标计算
需求描述用Hive SQL实现每小时登录时长指标，登陆时间和登出时间跨整小时也需要计算登录时间登出时间登陆时长(s)2022-04-04 08:00:102022-04-04 11:20:2012010如上面表格所示，原始数据需转换为下面表格情况，每个整小时也需要计算登陆时间段登陆时间登出时间082022-04-04 08:00:102022-04-04 09:00:00092022-04-04 09:00:002022-04-04
2022-04-04 15:42:55
2403
3
转载 Mac环境下安装HomeBrew
由于原来安装的是国外镜像导致大多数时候出现错误，现在改成国内镜像并且是一件傻瓜式安装 很棒/bin/zsh -c "$(curl -fsSL https://gitee.com/cunkai/HomebrewCN/raw/master/Homebrew.sh)"`在这里插入代码片`
2021-07-21 19:08:26
109
原创 解决Hive启动报错java.lang.NoSuchMethodError: com.ibm.icu.impl.ICUBinary.getRequiredData
问题启动Hive之后 发现报错 先把错误贴出来Exception in thread "main" java.lang.NoSuchMethodError: com.ibm.icu.impl.ICUBinary.getRequiredData(Ljava/lang/String;)Ljava/nio/ByteBuffer; at com.ibm.icu.charset.UConverterAlias.haveAliasData(UConverterAlias.java:131)
2020-09-06 10:37:41
934
转载 Hive UDF函数详解
UDF的定义UDF（User-Defined Functions）即是用户定义的hive函数。hive自带的函数并不能完全满足业务需求，这时就需要我们自定义函数了UDF的分类UDF：one to one，进来一个出去一个，row mapping。是row级别操作，如：upper、substr函数 UDAF：many to one，进来多个出去一个，row mapping。是row级别操作，如sum/min。 UDTF：one to many ，进来一个出去多个。如alteral view与ex
2020-06-01 14:31:50
1835
原创 Linux下切分文件并生成规则文件名的方法
最近接到了个需求:将生成的文件按照1000行切分成一个文件并且重新命名为.txt文件 拿到需求后我看 这不挺简单的 split方法就ok了 但是...切割后的文件不能自动添加扩展名和按规律命名所以一顿查找 最后算是解决掉了分割后命名无规律的问题 现在记录一下先来个split的简单介绍split支持自定义输出文件大小和输出文件行数两种模式，此外还可以定义每一行最大的值。...
2020-03-05 15:49:47
799
原创 Kafka的副本及ACK机制
先来几个名词解释AR（Assigned Repllicas）:分区中所有副本的统称ISR（In-Sync Replicas）:由所有与leader副本保持一定程度同步的副本（包括Leader）组成的集合ISR集合是AR集合中的一个子集。在kafka中 消息会先发送到leader副本，然后follower副本才能从leader副本中拉取消息进行同步，同步期间内follower副本相对于l...
2020-01-06 16:32:44
1193
原创 【运行spark-sql报错】:java.lang.NoSuchMethodError: scala.Product.$init$(Lscala/Product;)V 解决办法
先贴具体错1.疑问之前运行spark-core的内容有点错误没有 怎么一到sql就开始报错 百度看是scala版本对不上 所以着重对这方面的检查.直到我看到pom.xml文件得配置.....大概就知道是什么原因了 <dependency> <groupId>org.apache.spark</groupId&...
2019-11-22 10:10:39
7784
3
原创 如何优雅的关闭HiveMetaStore服务进程
最近在自己电脑配置了spark与hive的集成 避免不了用到hive metastore服务 但是这个鬼东西开启容易关闭难索性写了个脚本 可以一键关闭 思路是从kafka关闭脚本获取到的1.在hive的安装目录下的/bin执行touch stop-metastore.sh #创建脚本文件chmod 777 stop-metastore.sh #给文件赋权2.在创建的...
2019-09-16 11:18:31
4997
4
原创 Hive 3.1.1环境搭建与Mysql Spark集成
一:解压tar -zxvf /opt/soft/apache-hive-3.1.1-bin.tar.gz -C /opt/client/二:在HDFS上创建tmp和hive仓库目录(存在就不需要创建)hdfs dfs -mkdir /tmphdfs dfs -mkdir -p /user/hive/warehouse在Hive安装目录下的 conf目录下执行...
2019-08-26 14:31:29
445
原创 解决HBase出现org.apache.hadoop.hbase.PleaseHoldException: Master is initializing的报错问题
前面搭好了Hbase环境 只是验证了Web页面可以打开 并没有验证HBase是否可用 直到昨天才发现问题....按照网上提供的方法1.设置时间同步2.修改hbase-site.xml中的配置 发现都没有解决问题最后看到一篇博客说应该是zookeeper影响到了HBase.众所周知 HBase对zookeeper是强依赖 hbase的元数据信息是存在zk上的,而我多次安装Hbas...
2019-08-23 10:20:06
896
原创 Hbase 2.1.5版本的单节点环境搭建及踩坑记录
一.下载及解压1.1 直接去官网下载 我用的是2.1.5版本 下载链接http://mirror.bit.edu.cn/apache/hbase/2.1.5/hbase-2.1.5-bin.tar.gz2.1+版本的HBase 需要最少 1.8版本的JDK 至于Hadoop版本看图就很明了1.2 上传解压tar -zxvf hbase-2.1.5-bin.tar....
2019-08-21 14:58:56
1339
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人