weixin_42474635的博客

思路，得到今天是周几，然后用今天的日期减去几#获得N天前的日期def get_past_days(n,formate=None): if formate is None: _ymd = (datetime.datetime.now() - datetime.timedelta(n)).__format__('%Y-%m-%d') else: _ymd = (datetime.datetime.now() - datetime.timedelta(n)).__

最简单的测试方法select sum(a),sum(b)from( select 1 as a,2 as b union all select 1 as a,-2 as b) t查询结果显示因此，hive sum求和是考虑正负的。

在使用hive sql 进行union all查询结果时，缺少数据在使用hive sql 进行join 关联时,查询结果明显缺少数据，或于presto或其他查询渠道查询结果不一致时原因可能是orc文件在加工过程中造成的部分元数据丢失，关闭元数据优化就可以了set hive.optimize.index.filter=false;...

大家应该都知道aiflow调度的周期是固定的，例如只能每周执行或者每月执行，但是如果既要周报又要月报呢或者是特殊的执行周期，这时候该怎么办呢？怎么样才能灵活的控制aiflow的调度周期呢？总结，把aiflow设置为每天调起，然后把task写进if语句里，通过if语句对时间的灵活判断来决定任务是否真正执行default_args = { 'owner': '***', 'depends_on_past': False, 'ding_list': [''***.com'],

集群准备一、虚拟机克隆　　１、虚拟机关闭状态下右键点击虚拟机选择克隆　　２、选择创建完整克隆，定义虚拟机名称和路径　　３、点击完成等待虚拟机克隆　　　　　　　　　　　　　　　　　　至少克隆两台虚拟机　　二、克隆机网络设置　　１、两台克隆机分别重新生成ＭＡＣ地址　　　　　　　　　　具体步骤可见于上一篇的系统准备　https://blog.csdn.net/weixin_42474635/article/details/106019204　　２、两台克隆机分别使用root账户登录并设置静态IP

所需工具：VMwhere虚拟机、hadoop-2.7.7.tar.gz、jdk-8u201-linux-x64.tar.gz、CentOS-7-x86_64-DVD-1708.iso（具体的版本随意）一、系统准备一、创建虚拟机1、点击文件选择新建虚拟机，选择典型安装2、修改路径选择centos镜像3、定义虚拟机的名称和存储路径4、指定磁盘容量和存储方式（磁盘容易默认就可以，存储方式选择单个存储）5、自定义硬件内存和处理器根据个人电脑选择网络适配器选择NAT模式，并生成MAC地址 重点

val oldStr = “1234” var newStr = "" for ( i<-0 until oldStr.length) newStr = oldStr.charAt(i) +newStr

循环里日期判断if [ $# -eq 1 ]; then n_date=`date -d "$1" +"%Y-%m-%d"`else n_date=`date -d " -1 days" +"%Y-%m-%d"`fit_date=`date -d "${n_date} -6 days" +"%Y-%m-%d"`until [ $t_date == $n_date ]...

实验表二十万条数据select date,id,name from ajoin b on a.id=b.idwhere a.date='2019-12-05' and b.date='2019-12-05'select date,id,name from ajoin b on a.id=b.idwhere a.date='2019-12-05'` ---运行速度快``第一...

获取当前时间并转换为yyyy-mm-dd的格式select from_unixtime(unix_timestamp(),'yyyy-MM-dd')select from_unixtime(unix_timestamp(),'yyyyMMdd') //这里的MM必须大写yyyymmdd格式转换为yyyy-mm-ddregexp_replace('$n_date','-',"")...

使用函数sum() over()函数求累加数据 SELECT dd ,f_capital_no ,sum(t.f_payout_amount) over(partition by f_capital_no order by dd) f_payout_amount ...

作为字段单种情况时使用：case when r.f_status='1' then 1 else '0' end as s_f_status作为字段多种情况时使用：case when f_product_code in('5561','5560','5811','5821','5901','5002','5921') then '公积金' when f_prod...

Spark的构成Spark Core(spark核心)Spark Sql(操作结构化数据的组件)支持多数据源Spark Streaming 实时流计算MLlib机器学习GraphC 面向图计算的框架和算法库spark的三种模式standalone apacheMersos hadoopYarnsparkSession 包括 SparkContext sql_ hi...

别说什么行业不景气，工作不好找，真的是你的简历太雷人

hive配置优化及其详解

mysql里的函数：1.LEFT()函数是一个字符串函数，它返回具有指定长度的字符串的左边部分。LEFT(Str,length); LEFT(“1234”,2)接收两个参数：str：一个字符串；length：想要截取的长度，是一个正整数；2.IFNULL()函数用于判断第一个表达式是否为 NULL，如果为 NULL 则返回第二个参数的值，如果不为 NULL 则返回第一个参数的值。...

explode用法select explode(split("010029,010030,1000001,财富_顶部轮播,财富banner,财富货币资金产品,财富快捷,财富-稳健组合楼层,财富-稳健组合楼层头条,财富-稳健组合推荐产品,财富页三图,财富-专业投资楼层,财富-专业投资推荐产品,首页登录banner,首页登录明星,首页登录头条,首页登录推荐产品,首页-浮层广告,首页快捷,首页明星服务...

match语句的用法实例def isWeekend(wd:WeekDay.Value):Boolean={ | wd match{ | case WeekDay.Saturday =>true | case WeekDay.Sunday =>true | case _ =>false | } ...

Display all 495 possibilities? (y or n)今天在把自己写的脚本放到azkaban上遇到了这么一个错误，在hue里执行没有问题，放到azkaban上就这样了，本来以为是linux和windows环境换行符的问题呢，结果把CRLF转换为LF也不行。最后发现原来是tab键的问题，因为存在tab键，linux就会出现这样的问题，所有把tab键去掉就好了那么怎么去掉...

语法格式：row_number() over(partition by 分组列 order by 排序列 desc)row_number() over()分组排序功能：在使用 row_number() over()函数时候，over()里头的分组以及排序的执行晚于 where 、group by、 order by 的执行版权声明：本文为CSDN博主「一彡十」的原创文章，遵循CC 4.0...