Tez union all时，识别不到subdir，count(*)=0,以及分组，组内排序错误。 现象2：select 🌟 有数据，select count(🌟) 为0。而且偶尔 是0，偶尔不是0。不要使用select count(✨)判断，而是使用select ✨ 判断数据条数是否为空，而且尽量不要做出union all的表。原因：Tez union all时，HDFS文件是有 union sub dir 1、2等等。不同配置设置，结果将会不同。背景：Tez union all时，识别不到subdir，count(*)=0。现象1：分组，组内排序错误，不同引擎执行结果不同。
hive sql格式化 使用IDEA或者PyCharm创建sql文件光标在sql文件中，右键选项，将一般sql方言更改为aphche hive打开“结构”，注释掉insert 语句，会看到with a as()的临时表a
shell中使用bash内置命令history a.sh#!/bin/bashHISTFILE=~/.bash_historyset -o historyset -o | grep historyhistory | grep nohup但是这个执行结果的时间戳不对，勉强可以用来看最近的命令。下面这个带颜色高亮#!/bin/bashbash -i -c 'set -o history;history|grep nohup;'...
shell中的正则 a.sh#!/usr/bin/env bashorigin='car_user_ben_fm'target=$([[ "$origin" =~ _([^_]*)$ ]] && echo ${BASH_REMATCH[1]})echo "origin:$origin。截取最后一个_至结尾，中间的内容，为：$target。"origin=scheduler_week4.shtarget=$([[ "$origin" =~ (.*).sh ]] && echo
抽离公共逻辑至子shell（source） 在linux服务器上测试，因为mac本地date命令不好使。在自己的测试目录上，新建两个文件：a.shcommon/init.sh公共逻辑可移至子shell其中，a.sh如下：#!/usr/bin/env bashSCRIPT_DIR=$( cd "$(dirname "$0")" || exit pwd)SCRIPT_NAME=$(basename "$0")source "${SCRIPT_DIR}"/common/init.sh# init_ptecho "a.sh D
SQL 离奇识别不了 select t.app_type, t.cnt, (cast(t.cnt as double)/cast(all.all_count as double)) as percentfrom ( select app_type, count(*) as cnt from xxx where dt='2022-02-26'
学习的笔记 数值代数内容出自于：科学出版社 张诚坚、李东方《数值代数》数值代数研究 代数方程组的解。包括 线性代数方程组和非线性代数方程组的解。线性代数问题，是直接可以求出精确解。当然也有近似迭代解法；其实因为数值问题，直接解也得不出精确，反而因为舍入误差，得不到真实精确解。直接应用：一定基底（可以是非线性）的线性权重拟合。非线性代数问题，无法直接求出真解。只能近似迭代至精确解。线性代数方程，是利用系数矩阵的性质，进行分解，然后消元等直接解。迭代法，也和系数矩阵分解有关。但是不会利用到导数的信息，因为线性变换
数据迁移 数据源迁移的思考数据源意味着 数据的CRUD。业务的重要度分类：2B，2C。数据的 cud视为写（变更数据），r视为读取。读写可以分离，可以分开考虑。由于最终读写都会在新数据源的状态，所以这个角度思考：从读的角度而言，目标数据源需要与源数据任意时刻（同步时间要短）完全一致。所以应该有先后顺序，写的完全ready了，在新源里几乎任意时刻保持与就源一致，才可以迁读，其实此时写是完全迁成功了。从写的角度而言，新数据目标需要（双写），然后再迁移历史（包括主键覆盖）。分类考虑，对增加而言，修改而言，部
如何高效写博客 总结1）分层次不能一口吃成胖子2）先难后易优先整理最难的、最容易混淆的重点/难点知识，再整理容易的知识。优先最难的内容部分，再容易的形式部分。3）先小后大先切入问题。比如根据先难后易原则，你选择梳理xxx逆天爆炸难的知识点。那么要在这个知识点中寻找切入点，慢慢扩散思考/整理它，不然面对如此难的东西，可能半天都没起步，没切入进去。鲁迅说：“良好的开端是成功的一半”。形象例子：比如饭后洗碗这件事，背景是你以前从来不洗碗，如何在假期更好地学会洗碗。1）分层次洗碗一定要分三次洗。第一次，用净
项目问题 项目问题gitGitLab: You are not allowed to push code to this project. fatal: Could not read from remote repository.Please make sure you have the correct access rights and the repository exists. ...
项目问题 项目问题gitGitLab: You are not allowed to push code to this project. fatal: Could not read from remote repository.Please make sure you have the correct access rights and the repository exists. ...
项目问题 项目问题gitGitLab: You are not allowed to push code to this project. fatal: Could not read from remote repository.Please make sure you have the correct access rights and the repository exists. ...
关注
