2017年08月_love others as self

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

转载 shell中的eval

shell中的eval功能说明：重新运算求出参数的内容。语　　法：eval [参数]补充说明：eval可读取一连串的参数，然后再依参数本身的特性来执行。参　　数：参数不限数目，彼此之间用分号分开。 1.eval命令将会首先扫描命令行进行所有的替换，憨厚再执行命令。该命令使用于那些一次扫描无法实现其功能的变量。该命令对变量进行两次扫描。这些需要进行

2017-08-31 10:47:34 281

转载 linux中的set命令: "set -e" 与 "set -o pipefail"

工作中经常在shell脚本中看到set的这两个用法，但就像生活中的很多事情，习惯导致忽视，直到出现问题才引起关注。1. set -eset命令的-e参数，linux自带的说明如下："Exit immediately if a simple command exits with a non-zero status."也就是说，在"set -e"之后出现的代码，一旦出现了返回值非零

2017-08-31 10:27:02 1147

转载数据仓库中的分区修剪

Partition Pruning 在数据仓库中分区修剪是一种非常有效的性能特性。分析修剪分析SQL中的WHERE 和FROM字句，从而在查询中消除不不必要分区。分区修剪技术能大大的减少从磁盘上读取的数据量，从而缩短运行时间，改善查询性能，减少资源浪费。即使你的索引分区和表分区不同，分区修剪也可以在索引上生效（global partition index），从而消除不必要的索引分区。

2017-08-23 10:03:40 518

转载如何理解窗口函数

与聚集函数一样，窗口函数也针对定义的行集（组）执行聚集，但它不像聚集函数那样每组之返回一个值，窗口函数可以为每组返回多个值。实际上，DB2中称这种函数为联机分析处理OLAP函数，而Oracle把它们称为解析函数，但ISO SQL标准把它们称为窗口函数。窗口函数一般在OLAP分析、制作报表过程中会使用到。窗口函数：聚合函数 over()聚合函数 over(partition by 字

2017-08-22 14:06:31 8262

转载 ETL调优

转：http://www.transwarp.io/news/detail?id=173ETL是构建数据仓库的重要一环。通过该过程用户将所需数据提取出来，并按照已定义的模型导入数据仓库。由于ETL是建立数据仓库的必经过程，它的效率将影响整个数据仓库的构建，因此它的有效调优具有很高的重要性。在实际应用中我们通常建议把ETL业务的调优分为若干思路，从而保证调优充分有序进行，避免遗漏，最大化

2017-08-18 10:53:42 633

转载 Furion Scheduler的混合负载管理

转：http://www.transwarp.cn/news/detail?id=203多租户场景下实现Inceptor中的作业调度是复杂的，不仅要考虑到任务自身的优先级和资源占用情况，而且要结合不同用户|组|角色的权限以及资源配额限制，做细粒度的调度管理。通常会遇到以下几项问题：1. 资源被大批处理任务占用，导致小的报表任务一直无法被调度。2. 某个用户持续提交任务，

2017-08-18 10:34:44 1169

转载 hive array、map、struct使用

注意：字段中有这个类型才需写 MAP KEYS TERMINATED BY ':' COLLECTION ITEMS TERMINATED BY ',' hive提供了复合数据类型：Structs： structs内部的数据可以通过DOT（.）来存取，例如，表中一列c的类型为STRUCT{a INT; b INT}，我们可以通过c.a来访问域aMaps（K-V对）：访问

2017-08-16 15:01:42 497

书籍包括xgboost_with_python.pdf，Deep Time Series Forecasting with Python.pdf，docdownloader.com_long-short-term-memory-networks-with-python.pdf，Basics for Linear Algebra for Machine Learning Discover the Mathematical Language of Data in Python.pdf，Machine Learning Algorithms.pdf

2018-08-22