2017年05月_thy822

12月 10月 06月 05月 02月

转载 linux find exec rm

#find ... -exec rm {} /; #find ... | xargs rm -rf # remove files older than 2 daysset +efind $DW_LAND/dw_cbt -name "dw_cbt_apac_finance_*" -mtime +1 -exec rm {} \;rcode=$?set -e两者都可以把fin

2017-05-28 10:01:07 461

转载彻底搞明白find命令的-mtime参数的含义

以前一直没有弄明白find的 -mtime参数的真正含义刚好今天跟一个同学聊起这个事我在写shell脚本的时候，定时删除一些文件的时候，也经常用得到-mtime这个参数，所以打算好好看看，把它弄明白一下man find里的解释：-mtime nFile’s data was last modified n*24 hours ago. See the comments

2017-05-28 09:56:21 7110

转载 shell typeset命令的使用

[保留] typeset的常见用法http://www.chinaunix.net 作者:寂寞烈火发表于：2007-12-16 09:50:34【发表评论】【查看原文】【Shell讨论区】【关闭】typeset用于设置变量属性,如大小写,宽度,左右对齐等都可以用typeset来控制, 当用typeset改变一个变量

2017-05-27 14:16:08 1808

转载 hell脚本 test 判断文件类型

1. 关于某个文件名的『类型』侦测(存在与否)，如 test -e filename -e 该『文件名』是否存在？(常用) -f 该『文件名』是否为文件(file)？(常用) -d 该『文件名』是否为目录(directory)？(常用) -b 该『文件名』是否为一个 block device 装置？ -c 该『文件名』是否为一个 character device

2017-05-27 11:05:20 457

转载 SHELL脚本攻略（学习笔记）--1.3 多命令逻辑执行顺序

每条命令后如果不加&的话就是依次一行一行的顺序执行，只有前面一行执行完成后再执行下一行，事实上还有很多特殊符号可用来分隔单个的命令：分号（;）、管道（|）、&、逻辑AND （&&），还有逻辑OR （||）。对于每一个读取的管道，Shell都回将命令分割，命令执行操作符多条命令可以在一行中出现。它们可以从左到右顺序执行。此时，各条命令之间应以分号（；）隔开.如： pwd

2017-05-24 16:31:29 2780

转载 shell中$(( )) 与 $( ) 还有${ }的区别

$( ) 与 ` ` (反引号)在 bash shell 中，$( ) 与 ` ` (反引号) 都是用来做命令替换用(command substitution)的。所谓的命令替换与我们第五章学过的变量替换差不多，都是用来重组命令行：* 完成引号里的命令行，然后将其结果替换出来，再重组命令行。例如：[code]$ echo the last sunday is $(date

2017-05-24 16:12:44 279

转载 BTEQ学习笔记

BTEQ，Basic Teradata Query，是随Teradata发行的一个用于提交SQL查询的前端工具。所有的BTEQ的命令都必须以.开头，以;结尾或者什么也不用。 BTEQ的几个常用的用于报表格式化输出设置：.SET DEFAULTS：将输出格式定义成默认值；.SET ECHOREQ ON/OFF：是否将SQL请求及BTEQ命令复制到输出报表中；.SET FO

2017-05-24 14:53:50 6552

原创 shell中3中种读取文件内容的方法

#!/bin/shResult=""Loc=/root/code/logwhile read idoResult="$Result""$i"done echo $Result~ for i in `cat filename`doecho $idone cat $TableListFile|while read

2017-05-24 10:24:33 293

转载 Linux命令学习手册-gpg命令

gpg [功能] GPG是加密和数字签名的免费工具，大多用于加密信息的传递。除了仅用密码加密外，GPG最大的不同是提供了“公钥/私钥”对。利用你的“公钥”别人加密信息不再需要告诉你密码，随时随地都能发送加密信息。而这种加密是单向的，只有你的“私钥”能解开加密。数字签名又是另一大使用方向。通过签名认证，别人能确保发布的消息来自你，而且没有经过修改。 [原理]

2017-05-23 17:43:36 3918

转载 shell参数扩展${}

shell参数扩展： ${parameter:-word}如果parameter为null或者未设置，整个参数替换表达式值为word ${parameter:=word}如果parameter为null或者未设置，整个参数替换表达式值为word，并且parameter参数值设置为word ${parameter:?word}如

2017-05-23 17:02:57 613

转载 shell 中的 eval

功能说明：重新运算求出参数的内容。语　　法：eval [参数]补充说明：eval可读取一连串的参数，然后再依参数本身的特性来执行。参　　数：参数不限数目，彼此之间用分号分开。 1.eval命令将会首先扫描命令行进行所有的替换，憨厚再执行命令。该命令使用于那些一次扫描无法实现其功能的变量。该命令对变量进行两次扫描。这些需要进行两次扫描的变量有时候被称为复杂变量

2017-05-23 16:52:15 446

转载学习笔记： shell 中的 set -e ， set +e 用法

set -e # Exit the script if an error happens脚本A set +e # don't bail out of bash script if ccache doesn't exist脚本Bset -e # back to regular "bail out on error" mode脚本C 如上面一个

2017-05-23 16:03:56 409

转载 Linux Shell远程执行命令（命令行与脚本方式）

shell远程执行：　　经常需要远程到其他节点上执行一些shell命令，如果分别ssh到每台主机上再去执行很麻烦，因此能有个集中管理的方式就好了。一下介绍两种shell命令远程执行的方法。前提条件：　　配置ssh免密码登陆对于简单的命令：　　如果是简单执行几个命令，则：ssh user@remoteNode "cd /home ; ls"

2017-05-23 15:14:28 19679

转载 Linux 之 shell 比较运算符

运算符描述示例文件比较运算符-e filename如果 filename 存在，则为真[ -e /var/log/syslog ]-d filename如果 filename 为目录，则为真[ -d /tmp/mydir ]-f filename如果 filename 为常规文件

2017-05-23 13:38:12 292

转载 ksh 命令第一行命令行参数

ksh 命令用途调用 Korn shell。语法ksh [ -i ] [ { + | - } { a e f h k m n t u v x } ] [ -o Option ... ] [ -c String | -s | -r | File [ Parameter ] ]注: 在前面带 + （加）而不是 - （减）来关闭这个标志。描述k

2017-05-23 12:44:00 1575

转载【shell】常用的正则表达式

一、校验数字的表达式1 数字：^[0-9]*$2 n位的数字：^\d{n}$3 至少n位的数字：^\d{n,}$4 m-n位的数字：^\d{m,n}$5 零和非零开头的数字：^(0|[1-9][0-9]*)$6 非零开头的最多带两位小数的数字：^([1-9][0-9]*)+(.[0-9]{1,2})?$7 带1-2位小数的正数或负数：^(-)?\d+(.\d{1,2})?$`8 正数、负数

2017-05-22 18:04:36 739

转载使用 grep 的 -o 和 -E 选项进行正则的精确匹配

ifconfig -a| grep -o -E '([[:xdigit:]]{1,2}:){5}[[:xdigit:]]{1,2}' 获取所有mac地址sed 命令可以很好的进行行匹配，但从某一行中精确匹配某些内容，则使用 grep 命令并辅以 -o 和 -E 选项可达到此目的。其中 -o 表示“only-matching”，即“仅匹配”之意。光用它不够，配合 -E 选项使用扩

2017-05-22 17:54:36 6678

转载 shell中exec解析

参考：《linux命令、编辑器与shell编程》　《unix环境高级编程》　　exec和source都属于bash内部命令（builtins commands），在bash下输入man exec或man source可以查看所有的内部命令信息。bash shell的命令分为两类：外部命令和内部命令。外部命令是通过系统调用或独立的程序实现的，如sed、awk等等。内部命令是由特殊的文件

2017-05-22 17:34:51 344

转载 shell脚本之shift和getopts

很久没更新了，很久没看脚本了想想应该继续看脚本了#14 Formatting Long Lines?123456789101112131415161718#!/bin/sh# A version of fmt, using nroff. Adds two useful f

2017-05-22 17:07:44 488

转载 shell中字符串的截取方法、cut基本用法

一、八种基本字符截取方法：1、使用 # 号操作符。从左边删除第一次出现 substr 左边字符（包括substr ），保留右边字符。用法为 #*substr例如：即删除从左边开始到第一个"//"及其左边所有字符2、使用 ## 号操作符。从左边删除最后一次出现substr 左边字符（包括substr ），保留右边字符。用法为 ##*subst例如：

2017-05-22 15:33:56 11040

转载 shell——tr的用法

tr（translate缩写）主要用于删除文件中的控制字符，或进行字符转换。语法：tr [–c/d/s/t] [SET1] [SET2]SET1: 字符集1SET2：字符集2-c:complement，用SET2替换SET1中没有包含的字符-d:delete，删除SET1中所有的字符，不转换-s: squeeze-repeats，压缩SET1中重复的字符-t: trun

2017-05-22 14:52:31 287

转载 linux 正则表达式和通配符

linux 正则表达式和通配符通配符用于查找文件包含三种: * ? []* 代表任意个任意字符? 代表任意一个字符[] 代表中括号中的一个字符正则表达式(正则是包含匹配,只要包含就可以匹配上,比如[0-9]可以匹配"7dfssf")* a*表示0到n个a,这个表达没有任何含义,和 .* 意义相同. 匹配任意一个字符 s..

2017-05-22 12:28:33 509

转载 Shell脚本8种字符串截取方法总结

Linux 的字符串截取很有用。有八种方法。假设有变量 var=http://www.aaa.com/123.htm.1. # 号截取，删除左边字符，保留右边字符。复制代码代码如下:echo ${var#*//}其中 var 是变量名，# 号是运算符，*// 表示从左边开始删除第一个 // 号及左边的所有字符即删除 http://结果是：www.aa

2017-05-22 12:13:43 243

转载 shell中的重定向 1>&2 2>&1 >&2

当初在shell中, 看到">&1"和">&2"始终不明白什么意思.经过在网上的搜索得以解惑.其实这是两种输出. 在 shell 程式中，最常使用的 FD (file descriptor) 大概有三个, 分别是: 0: Standard Input (STDIN) 1: Standard Output (STDOUT) 2: Standard Error Outp

2017-05-22 11:59:23 1415

转载 shell中单引号、双引号、反引号的区别

双引号 ( " " )：三种特殊字符不被忽略：$,\,`单引号（' '）和双引号类似，所有字符被忽略反引号(``) ，里面先执行反斜杠 backslash-escaped( \ )，echo要让转义字符发生作用,就要使用-e选项,且转义字符要使用双引号 echo -e "\n"factorial=`expr $factorial \* $a` 用乘号时要用\

2017-05-21 17:54:31 304

转载 shell中十种实现自加的方法

let "n = $n + 1": $((n = $n + 1))((n = n+1))n=$(($n + 1)): $[ n = $n + 1]n=$[ $n + 1 ]let "n++"(( n++ )): $(( n++ )): $[ n++ ]

2017-05-21 17:19:37 3729

转载 HDFS 原理、架构与特性介绍

本文主要讲述 HDFS原理-架构、副本机制、HDFS负载均衡、机架感知、健壮性、文件删除恢复机制1：当前HDFS架构详尽分析 HDFS架构 •NameNode •DataNode •Sencondary NameNode 数据存储细节 NameNode 目录结构 Namenode 的目录结构： ${

2017-05-21 11:58:33 400

转载 Hive 中内部表与外部表的区别与创建方法

先来说下Hive中内部表与外部表的区别： 1）创建表时：创建内部表时，会将数据移动到数据仓库指向的路径；若创建外部表，仅记录数据所在的路径，不对数据的位置做任何改变。2）删除表时：在删除表的时候，内部表的元数据和数据会被一起删除，而外部表只删除元数据，不删除数据。这样外部表相对来说更加安全些，数据组织也更加灵活，方便共享源数据。另外需要注意的是传统数据库对表数据验证是

2017-05-21 11:51:55 387

转载 MapReduce的原理及执行过程

MapReduce简介MapReduce是一种分布式计算模型，是Google提出的，主要用于搜索领域，解决海量数据的计算问题。MR有两个阶段组成：Map和Reduce，用户只需实现map()和reduce()两个函数，即可实现分布式计算。MapReduce执行流程 MapReduce原理 MapReduce的执行步骤：1

2017-05-21 10:40:54 4020

转载 Shell教程

Shell简介：什么是Shell，Shell命令的两种执行方式Shell本身是一个用C语言编写的程序，它是用户使用Unix/Linux的桥梁，用户的大部分工作都是通过Shell完成的。Shell既是一种命令语言，又是一种程序设计语言。作为命令语言，它交互式地解释和执行用户输入的命令；作为程序设计语言，它定义了各种变量和参数，并提供了许多在高级语言中才具有的控制结构，包括循环和分支。

2017-05-20 17:46:40 308

转载 Shell特殊变量：Shell $0, $#, $*, $@, $?, $$和命令行参数

例如，$ 表示当前Shell进程的ID，即pid，看下面的代码：$echo $$运行结果29949特殊变量列表变量含义$0当前脚本的文件名$n传递给脚本或函数的参数。n 是一个数字，表示第几个参数。例如，第一个参数是$1，第二个参数是$2。$#传递给脚本或函数的参数个数。$*

2017-05-19 17:36:05 216

转载 hive的查询注意事项以及优化总结 .

Hive是将符合SQL语法的字符串解析生成可以在Hadoop上执行的MapReduce的工具。使用Hive尽量按照分布式计算的一些特点来设计sql，和传统关系型数据库有区别，所以需要去掉原有关系型数据库下开发的一些固有思维。基本原则：1：尽量尽早地过滤数据，减少每个阶段的数据量,对于分区表要加分区，同时只选择需要使用到的字段select ... from A

2017-05-19 13:12:32 250

转载 Hive - hive.groupby.skewindata环境变量与负载均衡

HiveQL 去重操作和SQL一样，HiveQL中同样支持DISTINCT操作，如下示例：(1) SELECT count(DISTINCT uid) FROM log(2) SELECT ip, count(DISTINCT uid) FROM log GROUP BY ip(3) SELECT ip, count(DISTINCT uid, uname) FROMlog G

2017-05-19 11:18:46 326

转载 MapReduce和Hive支持递归子目录作为输入

关键字：MapReduce、Hive、子目录、递归、输入、Input、mapreduce.input.fileinputformat.input.dir.recursive、hive.mapred.supports.subdirectories一般情况下，传递给MapReduce和Hive的input文件夹中不能包含子目录，否则就会报错。但后来增加了递归遍历Input目录的功能，这

2017-05-18 13:46:16 6306

转载 Hive存储过程HQL/SQL（一）–hplsql命令行

关键字：Hive存储过程、HQL/SQL、hplsql命令行、PL/HQL Command LinePL/HQL主要是通过命令行工具来执行一个SQL查询语句或者是一个SQL脚本。进入hplsql-0.3.11，执行./ hplsql即可显示命令行的用法：[liuxiaowen@dev hplsql-0.3.11]$ ./hplsql usage: hplsql -d,--def

2017-05-18 13:45:37 3614

转载在Hive中实现存储过程–HQL/SQL

关键字：Hive 存储过程、PL/HQL、HQL/SQL、Procedural SQL on Hadoop目前版本的Hive中没有提供类似存储过程的功能，使用Hive做数据开发时候，一般是将一段一段的HQL语句封装在Shell或者其他脚本中，然后以命令行的方式调用，完成一个业务或者一张报表的统计分析。好消息是，现在已经有了Hive存储过程的解决方案（HPL/SQL –Procedu

2017-05-18 13:43:55 17952 1

转载 Hive中如何快速的复制一张分区表（包括数据）

关键字：Hive 复制表Hive中有时候会遇到复制表的需求，复制表指的是复制表结构和数据。如果是针对非分区表，那很简单，可以使用CREATE TABLE new_table AS SELECT * FROM old_table;那么如果是分区表呢？首先想到的办法可能是：先创建一张和old_table结构相同的new_table，包括分区；可以使用CREATE

2017-05-18 13:38:18 1952

转载 Hive SQL执行计划深度解析

美团网技术陈纯大作，值得拥有。Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的Hive ETL计算流程，负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。在几次升级Hive的过程中，我们遇到了一些大大小小的问题。通过向社区的咨询和自己的努力，在解决这些问题的同时我们对Hive将

2017-05-18 13:17:35 341

转载 Hive存储过程HQL/SQL（二）– 在Hive存储过程中读写MySQL表

关键字：Hive存储过程、PL/HQL、HQL/SQL、MySQL通过PL/HQL可以在一个脚本中同时访问多个数据库系统。在实际业务场景中，经常会有需要将Hive和RDBMS中的数据结合分析，比如：往RDBMS中写入Hive分析的审计信息；从RDBMS中获取一些维表的数据，和Hive表进行关联；从RDBMS中读取一些配置数据；往RDBMS中保存Hive的分析结果；在PL/H

2017-05-17 18:59:00 922

转载几个连接HiveServer的客户端界面工具

Hive的官网上介绍了三个可以在Windows中通过JDBC连接HiveServer2的图形界面工具，包括：SQuirrel SQL Client、Oracle SQL Developer以及DbVisualizer。之前有文章《http://lxw1234.com/archives/2015/09/519.htm》介绍过SQuirrel SQL Client，这里再简单介绍一下。其中

2017-05-17 18:56:58 23225 1

DEFINE MEASURE 'Internet Sales'[Internet Total Sales] = SUM('Internet Sales'[Sales Amount]) EVALUATE SUMMARIZECOLUMNS ( 'Date'[Calendar Year], TREATAS({2013, 2014, 2015}, 'Date'[Calendar Year]), "Total Sales", [Internet Total Sales], "Combined Years Total Sales", CALCULATE([Internet Total Sales], ALLSELECTED('Date'[Calendar Year])), "ABC", SUMX('Internet Sales', 'Internet Sales'[Sales Amount]) / CALCULATE(SUM('Internet Sales'[Sales Amount]), ALLSELECTED('Date'[Calendar Year])) ) ORDER BY [Calendar Year]

2020-06-21

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

ssas5部署与管理.rar

powercenter使用教程.doc

20120926-Informatica_Hello_World_Program.rar

sqlserver2008sql.rar

MSTR Admin

MSTR_AdvancedReporting

Teradata Physical

MicroStrategy 英文教程

空空如也