大数据
倒吃甘蔗
这个作者很懒,什么都没留下…
展开
-
hive 拼接两个json字符串 成一个
假设 表table_name 有三个字段 company_id, distinct_id, labels(json)要往labels里直接加 json键值对:insert overwrite table table_nameselect a.company_id, cast(current_timestamp()as string) as distinct_id, concat(concat_ws(",", concat("{",substr(a.new_j.原创 2021-09-17 15:26:00 · 1959 阅读 · 0 评论 -
Linux deepin、ubuntu 安装 sbt 版本1.3.5 (最新)
官网下载包解压之后进入目录:在bin 目录运行:sbt -version如果没有配置源之类的话,就卡住了,这时无非是在哪个conf文件里面设置一些参数,找了一下位置就在上图红色箭头所指的sbtconfig.txt 文件:-Dsbt.repository.config=~/software/sbt/conf/repo.properties可以自己加一行本...原创 2019-12-20 13:34:06 · 430 阅读 · 0 评论 -
impala 和 hive 关于 substr 的区别 巨坑!
impala 和hive 在使用substr 时 尽量都从1 开始 ,hive支持0或1的但是impala只支持1hive 支持 substr('xxx',0,3) 支持 substr('xxx',1,3) 都是取前三个字符 子串impala 支持 substr('xxx',1,3) 这个是可以的。 不支持 substr('xxx',0...原创 2019-11-06 16:54:16 · 3354 阅读 · 0 评论 -
hive知识点详解
Hive支持的常用数据类型和文件格式Hive是一种构建在Hadoop上的数据仓库,Hive把SQL查询转换为一系列在Hadoop集群中运行的MapReduce作业,是MapReduce更高层次的抽象,不用编写具体的MapReduce方法。Hive将数据组织为表,这就使得HDFS上的数据有了结构,元数据即表的模式,都存储在名为metastore的数据库中。#####hive 语法不区分大小写...原创 2019-07-24 19:48:14 · 869 阅读 · 0 评论