- 博客(5)
- 收藏
- 关注
原创 dataworks函数
dataworks作为阿里现在主打的大数据产品,一些操作看一下用户手册即可,我这里只是将里面的带有的函数,整理了一下,用的时候比较方便。聚合函数:avg命令格式:avg(value)用途:计算平均值参数说明:● Value: double类型,若输入为string或bigint会隐式转换到double类型后参与运算,其它类型抛异常。当value值为NULL时,该行不参与计算。Bool类型不允许参与计算。返回值:DOUBLE类型如表TBLA有一列VALUE,类型为BIGINTVALU
2021-09-08 10:41:53
5385
2
原创 Hive的优化
HIve优化–分区SET hive.exec.dynamic.partition=true; – 开启动态分区,默认为falseSET hive.exec.dynamic.partition.mode=nonstrict;– 设置nonstrict使所有的分区都被设定为动态,否则至少需要指定一个分区值set hive.exec.max.dynamic.partitions.pernode=10000;– 每个mapper或reduce创建的最大动态分区值,如果大于这个值,则报错set hive
2021-03-19 18:12:15
441
原创 Liunx的基本命令
Liunx的基本命令开关机sync :把内存中的数据写到磁盘中(关机、重启前都需先执行sync)shutdown -r now或reboot :立刻重启shutdown -h now :立刻关机shutdown -h 20:00 :预定时间关闭系统(晚上8点关机,如果现在超过8点,则明晚8点)shutdown -h +10 :预定时间关闭系统(10分钟后关机)shutdown -c :取消按预定时间关闭系统系统信息who am i :查看当前使用的终端who 或 w : 查看所有终
2021-03-19 18:09:10
215
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人