hive
zfq-0314
这个作者很懒,什么都没留下…
展开
-
mysql to hive出现 myql 关键字如何处理
对关键字做转义处理。关键字上是飘号``,不是引号,一定要注意。原创 2022-10-13 14:33:39 · 635 阅读 · 0 评论 -
在数据仓库中,数据同步有哪些方式?我们如何进行选择?
数据同步方法主要有全量同步策略、增量同步策略、新增及变化策略、特殊策略1.全量同步策略应用场景:1、首次拿到业务相关数据时且不关心主键的情况下,一般会将全部数据导入到一张表中。2、针对业务需求: 每日全量,每天存储一份完整数据,作为一个分区。适用于表数据不大,且每天既有新数据插入,也会有旧数据修改的场景。例如:编码字典表,品牌表,商品分类表,优惠表,活动表,商品表,加购表,SPU表等。 2、增量同步策略应用场景:1、一般在第一次全量建表以后,基本会选择增量同步策略,除非有所有原创 2021-07-20 09:42:54 · 1060 阅读 · 0 评论 -
mysql 数据库获取字段名称和字段类型,字段顺序不出现混乱,具体的代码
SELECT t.field, case t.type when 'varchar' then 'string,' when 'datetime' then 'string,' when 'bigint' then 'bigint,' when 'int' then 'int,' when 'tinyint' then 'int,' when 'int' then 'int,' when 'longblob' then 'string,' when 'text' then 'stri.原创 2021-07-01 13:51:37 · 423 阅读 · 0 评论 -
hive udf的过程中,pom文件无法下载相关依赖,修改maven配置,maven的配置文件如下
<?xml version="1.0" encoding="UTF-8"?><!--Licensed to the Apache Software Foundation (ASF) under oneor more contributor license agreements. See the NOTICE filedistributed with this work for additional informationregarding copyright ownersh.原创 2021-06-30 14:02:32 · 348 阅读 · 0 评论 -
sqoop导出数据到hive,日期格式多了.0 点0
原来导出的sql是select * from table 结果会出现一个.0,为了避免这类问题,select 所有字段 from table 对于字段为日期的格式化处理,date_formate(日期字段,''%Y-%m-%d %H:%i:%s'')如下面的格式import_rp_category_monthly_sale() { import_data "rp_category_monthly_sale" " select date_format(record_month,'%Y-%m-%d %.原创 2021-01-28 17:36:17 · 791 阅读 · 0 评论 -
hive跑脚本的时候,出现异常,regexp_replace替换函数导致,错误如图所示,解决方案如下
insert into decent_cloud.t_cpbszb_logselect get_json_object(data, '$.id') id, get_json_object(data, '$.DjBth') DjBth, get_json_object(data, '$.create_time') create_time, get_json_object(...原创 2021-01-20 17:03:08 · 1233 阅读 · 0 评论 -
如何统计连续(连续登陆天数,连续学习天数,连续购买天数)
直接来看实战,现在有一张表t,这张表存储了每个员工每天的打卡情况,现在需要统计截止目前每个员工的连续打卡天数,表t如下表所示:uid tdate is_flag1 2020/2/1 11 2020/2/2 01 2020/2/3 11 2020/2/4 11 2020/2/5 01 2020/2/6 ...原创 2020-04-14 23:47:21 · 2859 阅读 · 0 评论 -
手写hivesql
表结构:uid,subject_id,score求:数据集如下1001 01 901001 02 901001 03 901002 01 851002 02 851002 03 701003 01 701003 02 701003 03 85找出所有科目成绩都大于某一学科平均成绩的学生...原创 2020-01-03 23:43:01 · 225 阅读 · 0 评论