2011年05月_iteye_20478

一次500行SQL的优化

OBIEE Developer 发来邮件，叫我看一下下面SQL，说跑30分钟不出结果。SELECT DISTINCT D1.C4 AS C1, D1.C5 AS C2, D1.C6 AS C3, D1.C7 AS C4, D1.C8 AS C5, D1.C9 AS C6, D1.C10 AS C7, 0 AS C8, D1.C3 AS C9, D1.C2 AS C10, D1.C1 AS C11,...

2011-05-31 13:33:00 397

sort命令临时文件的问题

今天op报出了个问题，线上监控程序检测到/tmp目录下发现大的临时文件，经查，是我写的一个脚本中sort命令产生的，悲剧~sort命令在进行大文件排序，会自动使用外排序，此时默认会在/tmp目录下新建一个大文件，排序完成后删除。产生的临时文件是隐藏文件，名称like：sort9SQj4x 解决办法，使用-T参数指定临时文件目录 -T tempdir, --temporary-...

2011-05-31 11:58:00 175

查询及删除重复记录的方法大全

1、查找表中多余的重复记录，重复记录是根据单个字段（peopleId）来判断select * from peoplewhere peopleId in (select peopleId from people group by peopleId having count(peopleId) > 1)2、删除表中多余的重复记录，重复记录是根据单个字段...

2011-05-30 22:00:00 74

SQL调优之关注filter信息

开发人员发来邮件，叫我优化下面SQLHi Robinson,Kindly need your help to check the below SQL for performance issue with Hyper plan detail report. Thanks in advance.select avg(T2094771.MEASR_AMT) as c1, sum(T2...

2011-05-27 13:35:00 99

windows2003下卸载ie8

打开文件夹，默认为C:/WINDOWS/ie8/spuninst/，下面有一个spuninst.exe，双击即可。

2011-05-26 16:26:00 111

Android中如何使用命令行查看内嵌数据库sqlite3

在Android应用程序开发中，我们有时可能会用到系统中自带内嵌的数据库sqlite3，例如我们在某个应用程序中创建了数据库，如何查看该数据库或者如何查看该数据库中包含有哪些表或数据。下面是我在应用程序中创建了一个数据库以及表，如何采用命令行的方式去查看该数据库和表【如我在com.augurit.login 应用程序中创建了augurcity.db数据库和sysuser表】。先看如下图：...

2011-05-26 11:56:00 54

STL开篇

STL（Standard Template Library），即标准模板库，它是惠普实验室开发的一系列软件的统称。从软件复用的角度来看，STL的出现是里程碑式的,它成功的根据范性思维假设起了一个概念结构，并在此基础上提供了一系列容器、算法的接口。STL主要包括以下几个组件： 1. 容器。包括：vector、list、deque、map、multimap、set、multiset、queu...

2011-05-26 09:34:00 66

OrmLite for android--Ormlite的大概介绍

Ormlite 是一种ORM工具，并且是一种轻量级别的工具。我们可以使用它来对Android中内嵌的sqlite数据库进行相关的操作。Android 的应用程序应使用 Ormlite for android 版本来进行相关的开发。Ormlite for android 提供两个jar库：ormlite-android-4.22.jar 和 ormlite-core-4.22.jar【目前比较新的...

2011-05-25 11:51:00 65

Android中如何使用Intent在Activity之间传递对象[使用Serializable或者Parcelable]

在Android中的不同Activity之间传递对象，我们可以考虑采用Bundle.putSerializable(Key,Object);也可以考虑采用Bundle.putParcelable(Key, Object);其中前面一种方法中的Object要实现Serializable接口，后面一种方法中的Object要实现Parcelable接口。下面我们以一个完整的例子来说明。1.新建一个...

2011-05-23 23:08:00 45

javascript无提示关闭窗口

2011-05-23 18:35:00 40

Hadoop Streaming 实战：多路输出

streaming把reduce的输出作为一个任务的最终输出，输出文件形如： part-00000、part-00001…… 文件个数为reduce任务个数但是，有的时候，我们有多路输出的需求，eg：一部分数据作为下一个mapreduce任务的输入，另一部分数据直接供下游任务抓取，此时，我们就需要使用reduce的多路输出。在hadoop-v2-u7中，streami...

2011-05-20 10:06:00 94

Hadoop Streaming 实战： c++编写map&reduce程序

1. 输入文件：姓名年龄（以'/t’分割） eg：张三 15 李四 15 张三 16 张三 15 输出：将姓名和年龄相同的归一，并输出其人数 eg：上述输入，输出为：姓名年龄人数（以'/t’分割）张三 15 2 李四 15 1 张三 16 1 2. map程序：#include #include using...

2011-05-18 17:16:00 225

vs2010长时间“Preparing solution...”

本人工作环境是windows2003+vs2010旗舰版：只需要下载一个补丁(WindowsServer2003-KB971513-x86-CHS.exe)即可,此补丁只700多K。

2011-05-18 15:35:00 123

i/o slave wait

今天Dev team给我报告说有个JOB 跑了2个小时还没跑完，平时只需要10多分钟，叫我check一下。数据库版本：SQL> select * from v$version;BANNER----------------------------------------------------------------------------Oracle Database 11g E...

2011-05-17 16:27:00 296

Hadoop Streaming 实战：传递环境变量

环境变量可以理解程序运行的系统环境，用户可以对自己的运行环境进行定制，其方法就是修改相应的系统环境变量。用JAVA实现的Map-Reduce程序可以通过Hadoop提供的编程接口访问作业的配置信息，而streaming程序不能使用JAVA编程接口，因此，streaming框架通过设置环境变量的方式给mapper、reducer程序传递配置信息。常用的环境变量如下： ...

2011-05-16 09:28:00 87

View Merging Issue

今天遇到一个View Merging 的案例具体SQL如下：SELECT /*+ INDEX(d CUST_ASSOC_DNORM_IDX2) */ DISTINCT e.geo_id, d.ctrl_perd cust_ctrl_perd, d.parnt_id cust_idFROM( -- customer list SELECT s.node_id cust...

2011-05-12 20:02:00 68

Android中判断网络功能是否可用

如题：直接附上代码说明如何在Android中判断网络功能是否可用：/** * 判断网络功能是否可用 * 需要权限< uses-permission android:name="android.permission.ACCESS_NETWORK_STATE"> * @param ctx * @return */ public static boole...

2011-05-12 10:32:00 52

Hadoop Streaming 实战：实用Partitioner类KeyFieldBasedPartitioner

我们知道，一个典型的Map-Reduce过程包括：Input->Map->Patition->Reduce->Output。Pation负责把Map任务输出的中间结果按key分发给不同的Reduce任务进行处理。Hadoop 提供了一个非常实用的partitioner类KeyFieldBasedPartitioner，通过配置相应的参数就可以使用。通过KeyFieldBa...

2011-05-11 10:56:00 168

long running JOB due to Dynamic Sampling

今天遇到2个Long running 的JOB，一个跑了10多个小时没跑完，另外一个跑了2个多小时没跑完数据库版本：SQL> select * from v$version;BANNER--------------------------------------------------------------------------------Oracle Database 1...

2011-05-10 15:07:00 86

oracle报“shared memory realm does not exist”

公司服务器忽然停电，oracle报“shared memory realm does not exist”，google了一下：解决办法：1、用cmd进入命令行2、sqlplus /nolog;3、conn / as sysdba;4、startup force;收藏一下。...

2011-05-10 09:49:00 60

Hadoop Streaming 实战：输出文件分割

我们知道，Hadoop streaming框架默认情况下会以'/t’作为分隔符，将每行第一个'/t’之前的部分作为key，其余内容作为value，如果没有'/t’分隔符，则整行作为key；这个key/tvalue对又作为reduce的输入。hadoop 提供配置供用户自主设置分隔符。 -D stream.map.output.field.separator ：设置map输出中key和...

2011-05-09 14:10:00 91

收集oracle统计信息

优化器统计范围：表统计； --行数，块数，行平均长度；all_tables：NUM_ROWS，BLOCKS，AVG_ROW_LEN；列统计； --列中唯一值的数量（NDV），NULL值的数量，数据分布； --DBA_TAB_COLUMNS：NUM_DISTINCT，NUM_NULLS，HISTOGRAM；索引统计；--叶块数量，等级，聚簇因子； --DBA_INDEXES：LEAF_B...

2011-05-09 10:24:00 56

浅析C标准I/O库

1. 概述标准I/O库由ISO C标准说明，其与POSIX定义的文件I/O具有明显区别。标准I/O库是围绕流进行的，而POSIX定义的文件I/O则是针对文件描述符的。 2. 缓冲区标准I/O 会对用户的I/O操作进行缓冲，共分为全缓冲、行缓冲及不缓冲三种。全缓冲：直到用户定义的缓冲区被填满，才会调用系统I/O函数。行缓冲：在缓冲区（一般...

2011-05-08 21:27:00 136

委托与事件初探

1. 委托(Delegate)　　委托是.net平台上处理函数指针的一种安全的机制，通过一种引用类型(Class)对函数指针进行封装，只有相同签名(相同的返回值类型、相同的参数顺序、相同的参数类型和相同的参数个数)的函数才能被初始化到对应的委托上，一种委托代表一类相同签名的函数。函数指针在传递过程中，client程序不知道此函数的返回值和参数情况，如果正确，在运行时不会产生异常，否则在严...

2011-05-07 11:17:00 55

[收藏]两个共享代码(AddThis和jiathis)

网络资源，做下储备，还没有用过：JiaThis：<a href="http://www.jiathis.com/share/" class="jiathis" target="_blank"><img src="http://v1.jiathis.com/code/images/jiathis2.

2011-05-06 18:48:00 82

Hadoop Streaming 实战：文件分发与打包

如果程序运行所需要的可执行文件、脚本或者配置文件在Hadoop集群的计算节点上不存在，则首先需要将这些文件分发到集群上才能成功进行计算。Hadoop提供了自动分发文件和压缩包的机制，只需要在启动Streaming作业时配置相应的参数。 1. –file 将本地文件分发到计算结点 2. –cacheFile 文件已经存放在HDFS中，希望计算时在每个计算节点上将文件当作本地文件处理 ...

2011-05-06 14:56:00 164

jQuery实现全选取消全选

参考网络资源实现的：$(function() { var checkallFunc = function() { var s=this.checked; $("input[type=/"checkbox/"]").each(function() { $(this).attr("checked", s); }); }; $("#chkbxAllUp").click(checkallFunc...

2011-05-05 18:34:00 56

Hadoop Streaming 实战： bash脚本

streaming支持使用脚本作为map、reduce程序。以下介绍一个实现分布式的计算所有文件的总行数的程序 1. 待检索的数据放入hdfs $ hadoop fs -put localfile /user/hadoop/hadoopfile 2. 编写map、reduce脚本,记得给脚本加可执行权限。 mapper.sh #!/bin/sh wc –l red...

2011-05-05 11:59:00 85

Hadoop Streaming 实战： grep

streaming支持shell 命令的使用。但是，需要注意的是，对于多个命令，不能使用形如cat; grep 之类的多命令，而需要使用脚本，后面将具体介绍。下面示例用grep检索巨量数据： 1. 待检索的数据放入hdfs $ hadoop fs -put localfile /user/hadoop/hadoopfile 使用方法：hadoop fs -put ......

2011-05-05 10:17:00 66

date命令计算日期跨天

question：需要知道某个日期前n天的日期eg：需要知道20110417前10天的日期是什么$now=20110417#转为秒 day_second=`date -d"$NOW" +%s`;#计算20天的秒数 seconds=`expr 86400 /* 10`#计算20天前时间的秒 history_second=`expr $day_secon...

2011-05-05 09:34:00 249

bash计算

高级bash脚本编程里介绍计算比较详细，常用的主要有expr、let、bc、双括号、awk等下面简要介绍下我常用的家伙1. 参与计算的数据包括浮点数，甭想了，bc吧。 eg：做累加： sum=100.1 for i in `seq 1 100` do sum=`echo "$sum+$i" | bc` echo $sum ...

2011-05-05 09:27:00 65

如何跟踪log4net自身的日志

在使用log4net过程中,如果配置不对,也不知道调试跟踪,是一件很头痛的事情,其实网站上已经给出了办法,本人就做个笔记,只需要修改一下xxx.config文件:<?xml version="1.0" encoding="utf-8" ?><configuration> <appSettings> <add key="log4net.Interna...

2011-05-04 14:59:00 50

让log4net保存自定义对象信息到数据库中

如果只想保存系统运行日志,只需要基本地配置一下log4net就Ok了,但想保存自定义对象(如LogInfo)之类的就得多写一点代码了:1.先确保log4net最基本的log4net.Appender.AdoNetAppender配置运行正常:<appender name="AdoNetAppender_Oracle" type="log4net.Appender.AdoNet...

2011-05-04 14:46:00 56

Hadoop客户端环境配置

1. 安装客户端（通过端用户可以方便的和集群交互）2. 修改客户端~/.bashrcalias hadoop='/home/work/hadoop/client/hadoop-client/hadoop/bin/hadoop' #hadoop 可执行文件位置alias hls='hadoop fs -ls' alias hlsr='hadoop fs -lsr' alias h...

2011-05-03 22:06:00 463

Hadoop Streaming

Hadoop MapReduce和HDFS采用Java实现，默认提供Java编程接口，另外提供了C++编程接口和Streaming框架。Streaming框架允许任何程序语言实现的程序在Hadoop MapReduce中使用，方便已有程序向Hadoop平台移植。Streaming的原理是用Java实现一个包装用户程序的MapReduce程序，该程序负责调用MapReduce Java接口获取ke...

2011-05-03 17:43:00 120

Hadoop MapReduce

Hadoop MapReduce是一个用于处理海量数据的分布式计算框架。这个框架解决了诸如数据分布式存储、作业调度、容错、机器间通信等复杂问题，可以使没有并行处理或者分布式计算经验的工程师，也能很轻松地写出结构简单的、应用于成百上千台机器处理大规模数据的并行分布式程序。Hadoop MapReduce基于“分而治之”的思想，将计算任务抽象成map和reduce两个计算过程，可以简单理解为“分散...

2011-05-03 16:53:00 78

log4net初探

一直都没有机会使用，初次使用log4net，google了几个例子看了一下，做了一个最简单地：1.下载log4net.dll就不用说了，在网站或项目中引用；2.在Global.asax中修改如下：void Application_Start(object sender, EventArgs e) { log4net.Config.XmlConfigurator.Configure(...

2011-05-03 16:45:00 43

Map-Reduce简介

MapReduce是一种编程模型，始于：Dean, Jeffrey & Ghemawat, Sanjay (2004). "MapReduce: Simplified Data Processing on Large Clusters"。主要应用于大规模数据集的并行运算。其将并行计算简化为Map和reduce过程，极大地方便了编程人员在不会分布式并行编程的情况下,将自己的程序运行在分...

2011-05-03 16:11:00 91

空空如也

空空如也