weixin_42303014的博客

由于提交到master分支后由创建了新分支shumin_01，由重新提交到新分支，报错无法提交，进行下面的操作。如果是其它分支，则git push origin HEAD:refs/for/分支名。第三部 git push origin HEAD:refs/for/master。git commit -m “您的commit提交说明”在修改之前记得先 git pull 更行到最新状态。第二步 git commit -m “备注”一般提交时只用到简单三个命令。之后添加同学进行cr。

提交评审：git push origin HEAD:refs/for/master撤回add：git reset HEAD .撤回commit：git reset --soft HEAD^查看变更文件名：git diff --name-only再次提交到同一commit：除了第二步git commit --amend其他不变指定分支拉代码： git clone -b dev http://10.1.1.11/service/tmall-service.git。

git commit -m “合并分支，注释随意，现在应该写icafe卡片id”Step2. 依据提示分别打开冲突的文件, 逐一修改冲突代码。git merge --no-ff origin/分支。Step3. 所有冲突都修改完毕后, 提交修改的代码。Step1. 在本地仓库中, 更新并合并代码。2、分支merge到主干时冲突。Step4. 更新patch。1、代码提交时有冲突。

where split_part(type1,‘:’,1) = ‘角色扮演’

2、使用date（date(create_time) = ‘2024-05-05’）或者date_format转化，读取所有分区（因为只存了31天数据，所以读取了31个分区）一、对于日期分区，分区字段不可使用date_format等进行格式转化，否则分区字段失去分区意义而进行全表扫描。二、对于分区字段如果要用枚举值，要使用in，不能使用not in，否则分区字段失去分区意义，而进行整体扫描。3、限制souce分区，使用 in，限制几个分区就读几个分区，本示例读取5个分区。

hive sql的一些常用命令

亲测1、https://github.com/protocolbuffers/protobuf/releases/tag/v2.4.1 下载protobuf-2.4.1.tar.gz2、 tar xvf protobuf-2.1.1.tar.gzcd protobuf-2.5.0./configuresudo makesudo make install注意：make时可能会报错 3 errors generated. make[2]: *** [message.lo] Er

alter database hive character set latin1;#修改表字段注解和表注解alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;#修改分区字段注解alter table PARTITION_KEYS m

set hive.support.concurrency=false;set hive.txn.manager = org.apache.hadoop.hive.ql.lockmgr.DummyTxnManager;

刚才是用的collect_list(concat(’{’,concat(’“id_penyelenggara”:’,’“810114”’,’,’), concat('"id_pengguna":','"',a.id_pengguna,'",'), concat('"no_identitas_perwakilan":','"',no_identitas_perwakilan),'"}')) as values但是得到的结果这

mysql数据库的舍入模式，decimal是四舍五入，float是四舍六入五成双四舍，小于等于四舍去，六入，大于等于六则加一五成双，是五的话看前一位是双数还是单数，单则加一，双的则看5后面的大于0则进位，等于0则舍去create table testRound(num1 decimal(10,2),num2 float(10,2),num3 double(10,2));1.小数点后第二位是偶数，第三位小于5sql： INSERT INTO testRound (decimal, floa

是 前，+是后，I是插入，U是更新，D是删除如 -U是更新前的数据，+U是更新后的数据

hive在表关联时尽量避免隐式转化，可以使用cast强转，下面例子中tableA表的order_no是bigint类型，tableB的order_no是string类型selecta.order_no,c.order_no as c_order_no,a.order_no=c.order_nofrom tableA aleft join tableB bon a.order_no=b.order_noleft join(selectt1.order_nofrom tableA t1j

删除(跳过)回收站hadoop fs -rm -r -skipTrash /user/risk/.Trash/*

一、二、在这里插入代import org.apache.flink.api.common.functions.MapFunction;import org.apache.flink.api.common.serialization.SimpleStringSchema;import org.apache.flink.api.common.typeinfo.TypeInformation;import org.apache.flink.api.common.typeinfo.Types;impor

https://blog.csdn.net/u013411339/article/details/93267838一、Flink SQL 背景Flink SQL 是 Flink 实时计算为简化计算模型，降低用户使用实时计算门槛而设计的一套符合标准 SQL 语义的开发语言。自 2015 年开始，阿里巴巴开始调研开源流计算引擎，最终决定基于 Flink 打造新一代计算引擎，针对 Flink 存在的不足进行优化和改进，并且在 2019 年初将最终代码开源，也就是我们熟知的 Blink。Blink 在原来的

问题描述在数据仓库中存在这样一张表，记录了2019年所有用户在哪天登录了我司的网站或者app。数据如下：表名：test2字段：id string，pday string需求：统计用户在本年中连续登录天数最大是几天？如：用户A在7月1、2、3、4日连续登录了4天；6、7、8日连续3天；11、12连续2天。用户A的当年最大连续登录天数是4天用户B在6月29日，6月30日，7月1日连续登录3天。用户B的当年最大连续登录天数是3天需要的到的结果是这样的：题目刨析此题需要将连续的天数打上相同的标

create function array_us AS ‘udf.HiveUnserializable’ USING JAR ‘hdfs://indiaAWS/user/hive/udf/udf.jar’;

在Hive调优里面，经常会问到一个很小的表和一个大表进行join，如何优化。 Shuffle 阶段代价非常昂贵，因为它需要排序和合并。减少 Shuffle 和 Reduce 阶段的代价可以提高任务性能。 MapJoin通常用于一个很小的表和一个大表进行join的场景，具体小表有多小，由参数hive.mapjoin.smalltable.filesize来决定，该参数表示小表的总大小，默认值为25000000字节，即25M。 Hive0.7之前，需要使用hint提示 /*+ mapjoin(

–一、json优化–1.使用json_tuple–优化前selectcreate_time as model_time,to_date(create_time) as model_dt,uid as user_id,is_old_user,app_name,model as model_name,get_json_object(get_json_object(regexp_replace(result, ‘NaN’, ‘""’), ‘.savevariables′),′.save_var