- 博客(7)
- 资源 (11)
- 收藏
- 关注
转载 shell中的eval
shell中的eval功能说明:重新运算求出参数的内容。语 法:eval [参数]补充说明:eval可读取一连串的参数,然后再依参数本身的特性来执行。参 数:参数不限数目,彼此之间用分号分开。 1.eval命令将会首先扫描命令行进行所有的替换,憨厚再执行命令。该命令使用于那些一次扫描无法实现其功能的变量。该命令对变量进行两次扫描。这些需要进行
2017-08-31 10:47:34 298
转载 linux中的set命令: "set -e" 与 "set -o pipefail"
工作中经常在shell脚本中看到set的这两个用法,但就像生活中的很多事情,习惯导致忽视,直到出现问题才引起关注。1. set -eset命令的-e参数,linux自带的说明如下:"Exit immediately if a simple command exits with a non-zero status."也就是说,在"set -e"之后出现的代码,一旦出现了返回值非零
2017-08-31 10:27:02 1236
转载 数据仓库中的分区修剪
Partition Pruning 在数据仓库中分区修剪是一种非常有效的性能特性。分析修剪分析SQL中的WHERE 和FROM字句,从而在查询中消除不不必要分区。分区修剪技术能大大的减少从磁盘上读取的数据量,从而缩短运行时间,改善查询性能,减少资源浪费。即使你的索引分区和表分区不同,分区修剪也可以在索引上生效(global partition index),从而消除不必要的索引分区。
2017-08-23 10:03:40 536
转载 如何理解窗口函数
与聚集函数一样,窗口函数也针对定义的行集(组)执行聚集,但它不像聚集函数那样每组之返回一个值,窗口函数可以为每组返回多个值。实际上,DB2中称这种函数为联机分析处理OLAP函数,而Oracle把它们称为解析函数,但ISO SQL标准把它们称为窗口函数。窗口函数一般在OLAP分析、制作报表过程中会使用到。窗口函数:聚合函数 over()聚合函数 over(partition by 字
2017-08-22 14:06:31 8345
转载 ETL调优
转:http://www.transwarp.io/news/detail?id=173ETL是构建数据仓库的重要一环。通过该过程用户将所需数据提取出来,并按照已定义的模型导入数据仓库。由于ETL是建立数据仓库的必经过程,它的效率将影响整个数据仓库的构建,因此它的有效调优具有很高的重要性。在实际应用中我们通常建议把ETL业务的调优分为若干思路,从而保证调优充分有序进行,避免遗漏,最大化
2017-08-18 10:53:42 660
转载 Furion Scheduler的混合负载管理
转:http://www.transwarp.cn/news/detail?id=203多租户场景下实现Inceptor中的作业调度是复杂的,不仅要考虑到任务自身的优先级和资源占用情况,而且要结合不同用户|组|角色的权限以及资源配额限制,做细粒度的调度管理。通常会遇到以下几项问题:1. 资源被大批处理任务占用,导致小的报表任务一直无法被调度。2. 某个用户持续提交任务,
2017-08-18 10:34:44 1319
转载 hive array、map、struct使用
注意:字段中有这个类型才需写 MAP KEYS TERMINATED BY ':' COLLECTION ITEMS TERMINATED BY ',' hive提供了复合数据类型:Structs: structs内部的数据可以通过DOT(.)来存取,例如,表中一列c的类型为STRUCT{a INT; b INT},我们可以通过c.a来访问域aMaps(K-V对):访问
2017-08-16 15:01:42 515
机器学习书籍大全
2018-08-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人