- 博客(22)
- 资源 (6)
- 收藏
- 关注
转载 nginx日志处理
一、日志分类 Nginx日志主要分为两种:访问日志和错误日志。日志开关在Nginx配置文件(/etc/nginx/nginx.conf)中设置,两种日志都可以选择性关闭,默认都是打开的。1、访问日志 访问日志主要记录客户端访问Nginx的每一个请求,格式可以自定义。通过访问日志,你可以得到用户地域来源、跳转来源、使用终端、某个URL访问量等相关信息。Ngin
2015-02-11 13:06:04
725
原创 impala,hive行转列
HiveFor Hive, I use collect_set() + concat_ws() from https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF.But if you want to remove duplicated elements, write your own UDF should
2014-12-02 21:54:31
16394
原创 sqoop向关系数据库导入数据
if [[ $upper_sys == "MYSQL" ]] ; then echo "sqoop export --connect \"${sq_connet_url}?useUnicode=true&characterEncoding=utf-8\" --username ${lower_user} --password {sq_passwd} --table ${lo
2014-11-25 15:29:09
661
转载 hive-DML语句
Loading Data into Managed Tables -- 加载数据到表[sql] view plaincopyprint?LOAD DATA LOCAL INPATH '${env:HOME}/california-employees' OVERWRITE INTO TABLE employees PARTITION (country = 'US',
2014-11-18 14:00:52
605
转载 hive学习3-DDL语句
Databases in Hive -- 在HIVE 中使用数据库Hive offers no support for row-level inserts, updates, and deletes.Hive doesn’t support transactions. Hive adds ex-tensions to providebetter performance i
2014-11-18 13:57:55
953
原创 hive学习2-文件格式
hive文件存储格式包括以下几类:1、TEXTFILE2、SEQUENCEFILE3、RCFILE4、ORCFILE(0.11以后出现)其中TEXTFILE为默认格式,建表时不指定默认为这个格式,导入数据时会直接把数据文件拷贝到hdfs上不进行处理;SEQUENCEFILE,RCFILE,ORCFILE格式的表不能直接从本地文件导入数据,数据要先导入到textfil
2014-11-18 13:51:57
456
转载 hive学习1-数据类型
在官方的wiki里,example是这样的:Sql代码CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (col_nam
2014-11-18 13:32:00
496
转载 开始学习hadoop 一些概念糊涂了吧
Hive是为了简化编写MapReduce程序而生的,使用MapReduce做过数据分析的人都知道,很多分析程序除业务逻辑不同外,程序流程基本一样。在这种情况下,就需要Hive这样的用戶编程接口。Hive本身不存储和计算数据,它完全依赖于HDFS和MapReduce,Hive中的表纯逻辑,就是些表的定义等,也就是表的元数据。使用SQL实现Hive是因为SQL大家都熟悉,转换成本低,类似作用的Pig就
2014-11-18 13:29:52
613
转载 sqoop使用及hadoop 启动时候warning处理
Sqoop是一个转换工具,用于在关系型数据库与HDFS之间进行数据转换。强大功能见下图以下操作就是使用sqoop在mysql和hdfs之间转换数据。1.安装我们使用的版本是sqoop-1.4.3.bin__hadoop-1.0.0.tar.gz,打算安装在/usr/local目录下。首先就是解压缩,重命名为sqoop,然后在文件/etc/profile中设置
2014-10-14 09:40:25
1419
转载 Oracle join
NESTED LOOP:对于被连接的数据子集较小的情况,嵌套循环连接是个较好的选择。在嵌套循环中,内表被外表驱动,外表返回的每一行都要在内表中检索找到与它匹配的行,因此整个查询返回的结果集不能太大(大于1 万不适合),要把返回子集较小表的作为外表(CBO 默认外表是驱动表),而且在内表的连接字段上一定要有索引。当然也可以用ORDERED 提示来改变CBO默认的驱动表,使用USE_NL(tabl
2014-08-27 09:22:44
579
转载 Oracle analyze分析
ORACLE数据库的PL/SQL语句执行的优化器,有基于代价的优化器(CBO)和基于规则的优化器(RBO)。 RBO的优化方式,依赖于一套严格的语法规则,只要按照规则写出的语句,不管数据表和索引的内容是否发生变化,不会影响PL/SQL语句的"执行计划"。 CBO自ORACLE7版被引入,ORACLE自7版以来采用的许多新技术都是只基于CBO的,如星型连接排列查询,哈希连接查询,反向
2014-08-07 14:20:20
1376
转载 Oracle数据字典
数据字典是Oracle存放有关数据库对象信息的一组表和视图结构,其用途是用来描述数据的。比如一个表的创建者信息,创建时间信息,所属表空间信息,用户访问权限信息等。它们由脚本$oracle_home/rdbms/admin/catalog.sql创建,存放在SYSTEM表空间中。 Oracle中的数据字典有静态和动态之分。 静态数据字典主要是由表和视图组成,是在用户访问数据字典时不
2014-07-31 10:15:14
396
转载 oracle字符串聚合
listagg 函数--oracle 11g release 2 2010-09-04 21:45:10| 分类:默认分类 |举报|字号 订阅 本文描述了在oracle 11g release 2 版本中新增的listagg函数,listagg是一个实现字符串聚合的oracle内建函数。作为一种普遍的技术,网络上也有多种实现字符串聚合的方法。本文会
2014-07-29 10:40:55
1501
转载 shell--let-expr
整数运算一般通过 let 和 expr 这两个指令来实现,如对变量 x 加 1 可以写作:let"x = $x + 1" 或者 x=`expr $x +1‘,个人感觉,二者差不多,前者表达比较简单,择优用之 在bash中,let可以用来做数值运算bash-2.05b$ export n=20bash-2.05b$ n=n+1bash-2.05b$ echo $nn+1n+1
2014-07-16 22:20:30
630
原创 shell-tee-uptime
#! /bin/bash# script startLOG_FILE="Script.log"{date who uptime } |tee -a $LOG_FILE exit 0
2014-07-16 22:07:36
832
原创 Datastage 部署流程(9.1版本)
最近在用datastage 开发job ,IBM InfoSphere Information Server Manager
2014-07-15 09:56:04
923
原创 搞懂Nosql—Hash
哈希算法(1). 哈希算法的基本原理: 哈希算法的提出和应用背景,对于一个庞大的字符串数组array,给你一个字符串让你判断它是否在这个字符串数组中并找到它,最好的办法就是把这个庞大的字符串数组构建成一个哈希表,然后在进行查询是否有这个字符串。 (2).构建hash table的过程:一般是采用一个32的整数来代表一个字符串,首先这个array的字符串已经存在内存或者磁盘中,我
2014-07-14 16:47:25
673
转载 Ubuntu 固定iP
首先设置IPsudo gedit /etc/network/interface 将其内容删除 加上一下内容 auto loiface lo inet loopback auto eth0iface eth0 inet staticaddress 192.168.1.47netmask 255.255.255.0network 192.168.
2014-07-12 21:17:05
493
原创 perl多进程读写文本
用perl use Fcntl qw(:flock);my $sum; my $kk=$ARGV[0];open wr , ">>/wls/dsadm/etl/test.txt" ;flock(wr, LOCK_EX);for($i=1;$i{ $sum=$i; print "$sum\n" ; print wr $sum.$k
2014-07-09 17:31:21
908
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人