- 博客(37)
- 资源 (1)
- 收藏
- 关注
转载 Hadoop资源感知调度器
1. 什么是Hadoop资源感知调度器?Hadoop资源感知调度器是指调度器根据各个TaskTracker当前资源负载情况(cpu,内存,网络io等)动态决定将新任务调度给哪个节点处理。2. Hadoop资源感知调度器的必要性和重要性当前绝大多数Hadoop调度器是按照slot多少进行调度。在Hadoop中,存在两种slot:map slot和reduce slot,每个节点可以根据自
2012-03-15 00:36:48 2885
原创 Hadoop学习随笔(一)
1、MR是一种用于数据处理的编程模型,MapReduce和关系型数据库之间的区别是: MapReduce关系型数据库一次写入多次读写多次读写PBGB非结构化结构化 2、MR具有"数据本地化"功能,即尝试在计算节点本地存储数
2012-03-15 00:33:46 805
原创 PM启程
最近发现自己强烈的喜欢做PM,但是在我们部门做PM和别的部门感觉还不太一样,接触的东西也不太一样,不过行业决定了差距,数据仓库的PM可能就是这样的。先不管那么多,多多学习PM相关的知识。《PMPBOK》、《敏捷项目管理》等通通拿来,还有什么项目管理好的书籍欢迎大家推荐
2011-11-29 00:08:31 765 2
原创 常用vi命令
vi命令很多,目前我在工作中常用的就以下这些,后续如果还有需要再添加。:x 同 :wq 保存后退出:n 光标移到文件的第n 行:0 光标移到文件的第一行:$ 光标移到文件的最后一行u 取消前一步操作. 执行一个重复命令 其结果是
2011-10-07 16:35:01 581
原创 apt-get命令的使用
最近在学习linux,在ubuntu上安装中文输入法的时候总要求用sudo apt-get命令运行一系列东东,对于为什么要用不是很了解。因此,特意在网上学习了下。下面是讲的比较直白的一些记录。 什么是apt-get apt-get是一条linux命令,适用于deb包管理式的操作系统,主要用于自动从互联网的软件仓库中搜索、安装、升级、卸载软件或操作系统。
2011-06-15 23:11:00 1654
原创 oracle匿名表分区
以前一开始以为建立表分区的时候必须写名字,某天一个同事突然问我,我建表分区的时候忘记写名字了,我怎么删除这个表分区呢?这下子我突然在想,没有分区名字的表分区可以建立成功吗?于是以下就自己来试验了下。 结论:1.建立没有表分区名字的表是可以建立的,这个时候系统会为该表分配一个系统随机名称。 2.在删除时,需要去系统表查看这个分区名称,然后再删除。
2011-06-15 19:25:00 1205
原创 numtodsinterval and interval for oracle
今天无意间在itpub论坛发现了两个很少用的时间间隔关键字:numtodsinterval or numtoyminterval、 interval。感觉以后可能会用到,仅以此记录下来。下面是简要的介绍:一、 语法:NUMTOYMINTERVAL ( n , char_expr ) char_expr:日期描述,可以是YEAR和MONTH; 作
2011-06-07 23:35:00 3239
转载 用SQL判断法定节假日——oracle
先收藏以下网址:http://hi.baidu.com/assassinann/blog/item/38bd14ddcdc9d11d632798a3.htmlhttp://www.cnblogs.com/ChuttySonic/archive/2009/07/13/1522195.htmlhttp://topic.csdn.net/u/20090119/17/61baeefe-0
2011-06-03 13:58:00 7463
原创 interval year to month and interval day to second
<br />转载自:<br />http://space.itpub.net/18801059/viewspace-571258<br />http://rocolex.blog.163.com/blog/static/68446410201031210442396/<br /> <br />先记录这两篇比较好的文章,下次再来总结,占座
2011-02-10 23:42:00 1035
原创 CSDN博客总是修改不了头像,望解决
<br />RT。<br />每次修改总是显示:服务器故障,暂停个人空间头像更新。<br />真不知道啥时候才能好!<br />是不是服务器一直故障啊?望CSDN的客户关怀部赶紧解决。真是影响心情!
2010-12-30 19:39:00 1548 2
原创 next_day函数用法
在Oracle是提供了next_day求指定日期的下一个日期.语法 : next_day( date, weekday )date is used to find the next weekday. weekday is a day of the week (ie: SUNDAY, MONDAY, TUESDAY, WEDNESDAY, THURSDAY, FRIDAY, SATURDAY)可用于: Oracle 9i, Oracle 10g, Oracle 11g
2010-12-30 19:35:00 20760 1
原创 日期转换函数
<br />--日期转换毫秒SELECT TO_NUMBER(TO_DATE('2005-03-29 12:30:45', 'YYYY-MM-DD HH24:MI:SS') - TO_DATE('1970-01-01 8:0:0', 'YYYY-MM-DD HH24:MI:SS')) * 24 * 60 * 60 * 1000 FROM DUAL; <br /><br />--毫秒转换日期SELECT TO_CHAR(1112070645000 / (1000 *
2010-12-24 17:37:00 676
原创 错的人
<br />明知道爱情并不牢靠 <br /><br /><br /> 但是我还是拼命往里跳 <br /><br /><br /> 明知道再走可能是监牢 <br /><br /><br /> 但是我还是相信只是煎熬 <br /><br /><br /> 朋友都劝我不要不要 <br /><br /><br /> 不要拿自己的幸福开玩笑 <br /><br /><br /> 但是做人已经那么累 <br /><br /><br /> 假惺惺的想要逃 <br /><br /><br /> 在爱里连真心
2010-12-19 22:52:00 604
原创 分区表的直白描述
<br />answer: <br /> 普通表呢像一个小学生用的新华字典,分区表呢像一套博士们辞海,在同一个漂亮的盒子里面(表名)有若干本辞海分册(每一册就是一个分区了)。 <br /> <br /> 如果说检索一张普通表就像查新化字典,检索分区表就像查辞海了。具体而言呢,又这么几种方式: <br /> <br /> 1). 因为你知道你查的内容只会出现在某些分册里面,于是你很快的从辞海盒子里面取出你要的那个册子,不加思索的翻到索引页,根据索引页的指示,你飞快的翻到你的目标
2010-12-01 16:47:00 679
转载 RETURNING语句
<br />先来看结论吧:<br />1.DELETE的情况,RETURNING返回的肯定是DELETE之前的结果;<br /> INSERT的情况,RETURNING返回的一定是INSERT之后的结果。<br /> UPDATE的情况,RETURNING返回的一定是UPDATE之后的结果。<br />2.RETURNING语句似乎和RETURN通用。(即两个可以相互替换)<br />3.INSERT INTO VALUES语句支持RETURNING语句,而INSERT INTO SELECT语句不支持
2010-11-13 23:59:00 1038
原创 rownum注意问题2
<br />利用rownum可以得到连续数字中的一段。例如有以下数据:<br /> <br />fphm,kshm<br />2014,00000001<br />2014,00000002<br />2014,00000003<br />2014,00000004<br />2014,00000005<br />2014,00000007<br />2014,00000008<br />2014,00000009<br />2013,00000120<br />2013,00000121<br />201
2010-11-02 22:01:00 1204
原创 网站分析博客地址收集
<br /> <br />蓝鲸:<http://bluewhale.cc/web-analytics-library><br />Web Analyst视角的点点思考:<http://hi.baidu.com/hpzheng1982/blog><br />网站分析在中国 <http://www.chinawebanalytics.cn/> 网站分析从基础到前沿 <br />Mars Opinion <http://www.marsopinion.com/> 数据驱动的电子商务运营和网络营销 <br />
2010-11-02 21:11:00 512
原创 lag分析函数技巧
lag分析函数本身是用来取下一个记录,即错位,可以设置错位的位数,lag分析函数的语法&作用:lag(t.cur_value, 1)表示把t.cur_value这列错位一行重新生成一列,lag(t.cur_value, 2)表示错两行,lag(t.cur_value, 0)表示不错行(完全复制该列生成另外一列),默认错位一行(一般用来查找前一天,前一个月等数据,用来算环比,同比等);距离如下:SQL> select * from lyq_test1 order by 1; ID N
2010-10-11 12:34:00 11240
原创 rownum注意问题
众所周知,rownum、rowid是oracle的一个伪列,但是rownum和rowid的不同时,rowid是唯一的标识了列的存储位置,rownum是按照用户的插入语句顺序,给一个序列号,rownum永远是从1开始,因此,绝对不能用“rownum等于”、“rownum大于”等的条件,因为当前面条件不满足时,rownum总是从1开始。 下面总结下rownum和order by的关系,因为我一直会迷糊,以前还一度认为order by排序后,rownum就会按照我们需要的顺序保存,但是往往不是
2010-09-25 23:59:00 891
原创 insert first&insert all的区别
<br />insert first/all<br /> <br />利用insert first/all使得INSERT语句可以同时插入多张表,还可以根据判断条件来决定每条记录插入到哪张或哪几张表中。<br />insert first/all语法 <br />[ ALL | FIRST ] <br />WHEN condition THEN insert_into_clause [values_clause] <br />[insert_into_clause [values_claus
2010-09-02 17:38:00 5969 2
原创 BREAK ON 与compute语句的使用技巧
<br />一、BREAK语句的语法:<br />BRE[AK] [ON report_element [action [action]]] ...<br />where report_element has the syntax {column|expr|ROW|REPORT}<br />and action has the syntax [SKI[P] n|[SKI[P]] PAGE] [NODUP[LICATES]|DUP[LICATES]]<br /><br />
2010-09-02 13:02:00 2159
原创 ratio_to_report分析函数求占比
<br /> <br /> drop table test;<br /> create table test<br /> (<br /> name varchar(20),<br /> kemu varchar(20),<br /> score number <br /> );<br /> insert into test values('testa','yuwen',10);<br /> insert into test values('testa','英语',100);<br /> insert int
2010-09-01 00:18:00 18470
原创 忘记oracle系统表名称不用愁
很多时候我们不记得数据字典,不知道该怎么查,有了dict什么都不用愁了。使用方法:select * from dict where TABLE_NAME like 'TAB%';
2010-08-30 17:08:00 1120
原创 /*+ BYPASS_UJVC*/ 的使用技巧
在使用implict update table 时,发现其中一个表一定要有唯一约束,否则会报错!但是oracle可以使用hints:/*+ BYPASS_UJVC*/ 屏蔽掉队唯一性的检查。具体测试过程如下:SQL> CREATE TABLE test_a( 2 id NUMBER , 3 score NUMBER );Table created.Elapsed: 00:00:00.10SQL> CREATE TABLE test_b( 2 id NUMBER);
2010-08-30 16:56:00 13758 1
原创 Greenplum常用sql语句
<br />1. 查看表使用空间<br />SELECT * <br />FROM PUBLIC.dba_segments <br />WHERE owner LIKE 'owber_name'<br />AND table_name LIKE '%table_name%'<br />ORDER BY table_name;<br /><br />2. GP中查看分区:<br />se
2010-07-27 15:27:00 6768
原创 十种排骨做法
1、香酥排骨 用料: 1、猪排骨一斤。 2、葱三棵。 3、老姜一块。 4、酱油一大匙。。 5、五香粉咖啡匙。 6、熟芝麻一大匙。 7、香油一小匙。 8、盐、味精适量。 9、汤或水一汤匙。 做法: 1、排骨斩段,过飞水捞出;葱切段;姜切片。 2、将排骨放沸水锅中煮约二十分钟,捞出后装碗里,放入酱油、姜片、盐,拌匀码味约三十分钟。 3、锅中放油烧至七成热,下排骨炸至表面微黄色后捞出。锅中留约一两油,放入排
2010-07-27 15:24:00 1195
原创 left outer join partition
partition outer join in oracle 10gPartition outer join is a new mechanism in 10g to "invent" data to fill the gaps in non-contiguous results. In 10g there are many methods to deal with such a problem (including the awe-inspiring, but equally terrifyi
2010-07-27 15:06:00 1081
原创 在oracle文档中找符合要求内容的快捷方式
<br /> <br /> <br />在itpub看到一帖,发现这个方法值得收藏,减少了我们网上找资料的时间。<br /> <br />目的:在oracle文档中找符合要求内容的快捷方式<br />方法:1.在google输入 site:download.oracle.com 内容(比如model)<br /> 2.在google输入 link:download.oracle.com 内容(比如model)<br /> <br />原帖地址:<br />http://www.itpub.n
2010-07-04 15:04:00 631
原创 Oracle Golden Gate实时数据集成
<br />转自:http://news.newhua.com/news1/program_database/2009/1223/091223153410872F8K68804G0274C9EG7HF0FB5F4F256897GG1F6B060_2.html?lt=common<br /><br /> 在数据集成方面,Oracle主要有三大产品:(1)Oracle新收购的Golden Gate,主要强调数据的实时性,号称数据提取最快,对源端开销影响最小;(2)Oracle原有的产品ODI(Orac
2010-06-18 22:24:00 628
转载 数据仓库之拉链算法
链:古代软兵器的中介之物,故名思意.有着连接、衔接的意思.拉链算法是目前数据仓库领域比较XX的算法之一..通用非常广.记录数据量很大且为全量实体记录历史的操作。例如,某某移动通信公司客户资料,以河北为例,河北有客户2800W,客户资料每个一条就是2800W条记录算上历史客户,全量大概有5000W条左右。作为数据仓库来存储这些信息几千万条记录不算什么。可是要是记录历史全量所用到的存储就非常的庞大。问题实例为:一般正常情况下,从河北移动的BOSS系统上每天采集全量的日数据大概为250
2010-06-12 12:59:00 2875
转载 Oracle用户、权限、角色管理
Oracle用户、权限、角色管理 Oracle 权限设置一、权限分类:系统权限:系统规定用户使用数据库的权限。(系统权限是对用户而言)。实体权限:某种权限用户对其它用户的表或视图的存取权限。(是针对表或视图而言的)。 二、系统权限管理:1、系统权限分类:DBA: 拥有全部特权,是系统最高权限,只有DBA才可以创建数据库结构。RESOURCE:拥有Resource权限的用户只
2010-05-30 12:51:00 542
转载 创建Oracle数据库索引的三个标准
讲的很有道理,受益匪浅,本人现在就遇到这样的问题,对于数据表刚刚建立直到运行到现在,索引完全已经不起作用了,甚至导致Oracle不能正确的选择执行计划,头疼啊。现转载过来了。【原文】出自http://www.soft6.com/tech/16/162805.html 在Oracle数据库中,创建索引虽然比较简单。但是要合理的创建索引则比较困难了。笔者认为,在创建索引
2010-05-24 00:04:00 557
转载 在windows xp下如何彻低卸载oracle
在windows xp下如何彻低卸载oracle 回忆起自己装oracle都装了6次,呵呵,忽然间感觉自己还很坚持的,呵呵,以下是每一次装机后要执行的删除干净的步骤,特此贴出,本文章也是在网上查找到的。 删除实现方法: 1、 开始->设置->控制面板->管理工具->服务,停止所有Oracle服务。 2、 开始->程序->Oracle - OraHome81->
2010-05-21 00:05:00 731 2
转载 oracle字符集
查看Oracle 表结构的创建和最后修改时间 SELECT a.owner, a.table_name, created, last_ddl_time FROM dba_tables a, SYS.dba_objects bWHERE a.tablespace_name = USERS AND a.owner = b.owner AND a.tabl
2010-05-20 23:03:00 419
原创 好的SQL收集--不断更新中
1.求1..10偶数之和select sum(level) from dual where mod(level,2)=0connect by level 2.将update改换成用rowid来实现。(1)新的写法:merge into SNAPSHOT120_2010_572 t1using (select a.rowid rid, b.vip_level,
2010-05-20 22:59:00 554
原创 常用SQL语句收集
1.删除表 select drop table || table_name || purge; from user_tables where length(table_name) 删除带约束的表 Drop table 表名 cascade constraints;2.查询view&同义词 --说明:可以根据视图的text_length值设定set lo
2010-05-20 22:40:00 569 6
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人