- 博客(72)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 Hadoop fs命令
最近使用hive做一些etl工作，除了日常sql的编写，了解hadoop及hive的一些底层原理性质的东西包括调优非常有必要，一次hive调优就把原来的零散文件做了合并。首先记下hadoop常用的命令：（hadoop fs -help列出全部）1，hadoop fs –fs [local | ]：声明hadoop使用的文件系统，如果不声明的话，使用当前配置文件配置的，按如下顺序查找：had
2015-11-26 11:52:27
8138
转载 #hive_正则表达式#JAVA的正则表达式案例详解
如果你曾经用过Perl或任何其他内建正则表达式支持的语言，你一定知道用正则表达式处理文本和匹配模式是多么简单。如果你不熟悉这个术语，那么“正则表达式”（Regular Expression）就是一个字符构成的串，它定义了一个用来搜索匹配字符串的模式。许多语言，包括Perl、PHP、Python、JavaScript和JScript，都支持用正则表达式处理文本，一些文本编辑器用正则表
2015-08-14 18:09:28
1971
转载 Hive函数大全
一、关系运算：1. 等值比较: = 语法：A=B 操作类型：所有基本类型 描述:如果表达式A与表达式B相等，则为TRUE；否则为FALSE 举例： hive>select 1 from lxw_dual where 1=1; 12. 不等值比较: 语
2015-08-14 18:04:51
624
转载 正则表达式速查表
正则表达式速查表字符描述\将下一个字符标记为一个特殊字符、或一个原义字符、或一个向后引用、或一个八进制转义符。例如，“n”匹配字符“n”。“\n”匹配一个换行符。串行“\\”匹配“\”而“\(”则匹配“(”。^匹配输入字符串的开始位置。如果设置了RegExp对象的Multiline属性，^也匹配“\n”或“\r”之后的位置。$匹配
2015-07-17 11:37:25
1667
转载 HIVE日期函数
无论做什么数据，都离不开日期函数的使用。这里转载一下Hive的日期函数的使用，写的相当完整。 日期函数UNIX时间戳转日期函数: from_unixtime语法:from_unixtime(bigint unixtime[, string format])返回值: string说明: 转化UNIX时间戳（从1970-01-01 00:00:00 UTC到指定时间的秒数）到当
2015-03-25 19:51:27
763
转载 大数据时代的技术hive：hive介绍
我最近研究了hive的相关技术，有点心得，这里和大家分享下。 首先我们要知道hive到底是做什么的。下面这几段文字很好的描述了hive的特性： 1.hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduc
2015-01-26 15:21:27
842
1
原创 看到的一段话，随便发发
别哭穷，因为没人会给你钱；别喊累，因为没人会帮你做；别想哭，因为大家不在乎；别认输，因为没人希望你赢；别靠人，因为只有自己最可靠；别乞求，因为别人等着看笑话；别落魄，因为一堆人等着落井下石；别回首，因为看到的是未修复的裂痕；别离愁，因为只会才下眉头却上心头；别低头，因为地上没有黄金只有石头；
2015-01-08 14:14:32
446
转载 SQL正则表达式
当我们要进行一些简单的糊涂查询时用百分号(%),通配符(_)就可以了.其中%表达任意长度的字符串,_表示任意的某一个字符.比如select * from emp where ename like 's%' or ename like 's_';但如果在一些复杂的查询中关用这两个符号sql语句就会非常复杂,而且也不一定能实现.从Oracle 10g开始引入了在其他程序语言中普通使用的
2014-09-24 19:51:10
560
原创 HIVE常用语句
1.给表添加字段alter table 表名 add columns (字段名 数据类型); alter table 表名 add columns (UTM_SRC_CATE_ID_S INTEGER);
2014-09-04 20:56:36
594
原创 DB2数据字典
SYSIBM: 基本表， 对 DB2使用进行最优化 SYSCAT: 基于SYSIBM表的视图， 对平常轻负荷使用进行优化 SYSSTAT: 数据库分析
2014-08-22 20:29:29
1226
原创 夏泽网链接
http://nianjian.xiaze.com/tags.php?/%E4%B8%AD%E5%9B%BD%E6%9A%96%E9%80%9A%E7%A9%BA%E8%B0%83%E5%88%B6%E5%86%B7%E8%B5%84%E8%AE%AF%28%E6%8A%80%E6%9C%AF%E7%AF%87%29/1/13406462981/
2014-07-27 20:15:09
605
原创 oracle表空间回收
1.让表支持行移动alter table my_objects enable row movement;2.对表进行收缩操作alter table my_objects shrink space;
2013-11-19 22:51:05
1268
转载 SSAS（分析服务）优化手册
优化前注意事项1、数据质量。数据仓库中维度表的数据质量要严格保证。比如店仓的大区、省区、管理城市等属性和店仓代码没有一对多的上下级关系，这样在设计店仓维度时，就无法建立有效的层次结构。这会拖慢查询时的性能。2、对报表分类。可按报表的使用方式和体积对用户报表进行分类。1) 有的报表侧重分析，维度汇总程度较高，数据量不是特别大，可以在门户中直接使用。2) 有的报
2013-09-05 18:13:42
1223
转载 浅谈SSAS计算中MDX性能改进的几个技巧
本文提供了一些简单的技巧，可以帮助你在SSAS的计算中表现出最佳的性能。其中一些是在SSAS 2005/2008中新开发的函数。1.使用半加性度量值替代Calculation这算是半加性度量值函数的模拟能力之一，但是，有些只在SSAS Enterprise SKU版本中才支持。但是半加性函数操作更快，差不多是MDX脚本两本的速度2.使用一元操作符替代Calculatio
2013-08-29 12:29:10
1476
转载 学会安排事情的优先级
在一般人的印象里面，只有管理人员才会忙得晕头转向，需要学习时间的管理。其实，程序员也会面对同时有多个任务要做，也要学习管理自己的时间。关于时间的管理，太多的理论无益，我觉得要点就是：要有排出优先级的习惯。一个经典的理论是这样的，事情分成两类，重要的和紧急的，组合起来就有四种情况。优先级应该这样排：1。既紧急又重要。2。重要但是不紧急3。紧急但是不重要4。不紧急也不重
2013-08-13 10:29:55
1407
转载 C# 定时自动发送邮件
1 2 protected override void OnStart(string[] args) 3 { 4 MyTimer(); 5 } 6 7 //实例化System.Timers.Timer 8 private void MyTimer() 9
2013-08-06 12:31:57
2000
转载 PB异常错误代号
string ls_msgchoose case error.numbercase 1//by zerols_msg = "发生被0除错误"case 2//2 Null object referencels_msg = "空对象引用"case 3//3 Array boundary exceededls_msg = "数组越界"case 4//4 Enumerate
2013-08-05 17:49:48
5147
转载 PL/SQL Developer启动时报错:“Control 'dxDockBrowserPanel' has no parent window"
PL/SQL Developer启动时报错:"Control 'dxDockBrowserPanel' has no parent window"解决办法:删除注册表中的HKEY_CURRENT_USER\Software\Allround Automations\PL/SQL Developer\Docking也有可能是Docking1、Docking2、Dockin
2013-07-09 18:01:17
2692
转载 耳朵大寿命长 由耳可辨疾病
耳朵大寿命长 由耳可辨疾病 中国的老百姓一向把耳朵大作为有福和长寿的象征，到底耳朵的大小与寿命有没有关系呢？据现代医学观察表明，耳大与长寿确实有一定关系，但是耳朵大小与寿命长短并不是绝对的正比关系。 耳朵的大小与寿命有关联，但是耳朵大小并不能决定寿命长短。 医学工作者对256名60～90岁的老年人和344名90～104岁的长寿老人进行了测定，结果显示：长寿老人组耳长平均值
2012-12-08 18:34:27
535
原创 ORACLE修改表空间方法
1.修改表空间alter table TABLE_NAME move tablespace TABLESPACENAME ;将表移至新的表空间2.修改表的索引的空间 alter index INDEX_NAME rebuild tablespace TABLESPACENAME 将索引移至指定表空间3.给表空间增加数据文件ALTER TABLESPACE TB
2012-11-26 17:42:47
807
转载 SQL字符串处理函数大全
select语句中只能使用sql函数对字段进行操作（链接sql server），select 字段1 from 表1 where 字段1.IndexOf("云")=1;这条语句不对的原因是indexof（）函数不是sql函数，改成sql对应的函数就可以了。left（）是sql函数。select 字段1 from 表1 where charindex（'云',字段1）=1;字符串
2012-10-16 10:24:43
531
转载 ETL数据更新
很长一段时间，对informatica的数据加载方式，比较迷惑，只是大致知道怎么去使用，直到现在的工作环境中，看到有人在使用Update Strategy这个组件，目的只是为了能使数据得到更新(组件中，只是写这dd_update)，个人认为Update Strategy这个组件在只是做一种加载方式时，大可不必去使用，因为这个是比较消耗资源的组件，它要根据数据自身特征，对数据进行rowtype进行处
2012-08-27 17:23:50
2987
转载 用PB收发邮件
由于受到强大数据库功能的掩盖，PB的邮件功能鲜为人知。在VB中可以轻松地利用CDO控件发邮件（Delphi中用NMSMTP），而PB中的邮件函数比它们更灵活、方便。 PB以其独特高效的数据库访问技术，赢得了广大程序员的青睐。从表面上看，它似乎只适合于开发数据库应用程序，而事实上，PB遵照信报接口MAPI的标准，开发了许多内部函数和数据结构，用于对电子邮件提供支持，因此也是一个相当
2012-06-27 16:31:45
7549
转载 Oracle UNDO表空间的管理
undo表空间用于存放undo数据。当用户运行DML操作时，undo数据被放在undo段，可以回退事物。运行一个事物时，新数据放在数据段中，如果事物存在问题，也可以用undo数据来恢复数据。Oracle的Undo有两种方式： 一是使用undo 表空间，二是使用回滚段。 我们通过 undo_management 参数来控制使用哪种方式，如果设为auto，就使用UNDO 表空间，这时必须要指
2012-06-06 11:40:27
12095
1
转载 PL/SQL集合
PL/SQL集合 集合与其他语言中的数组相似，在ORACLE7.3及以前的版本中只有一种集合称为PL/SQL表，这种类型的集合依然保留，就是索引（INDEX_BY）表，与记录相似，集合在定义的时候必须使用TYPE语句，然后才是创建和使用这种类型的变量。 集合的类型 PL/SQL有三种类型的集合 ①. Index_by表 ②. 嵌套表 ③. VARRAY
2012-05-25 10:42:47
612
转载 上班族必看！职场八大坏习惯毁你前途
第一：寻找靠山急于表现 话里话外、明着暗着告诉同事：“我是XXX的人。” 病理分析：没有一个打工的人不愿意跟老板搞好关系，除非你自己当老板。跟老板搞好关系的基础是什么？是你要有自己的一套，得能练活儿，还要练得漂亮。但即便你跟老板关系再好，也别让别人认为你把老板当成靠山，好让别人不敢怎么怎么。 职场是个利益共同体，你跟老板再磁，他愿意为了你一个人而犯众怒吗？
2012-05-22 11:09:24
1001
转载 SSIS流程优化
1.问题分析1.1问题场景在生产环境下，从V7\V8等多个交易系统通过( Integration Services)进行服务平台的数据抽取时出现性能问题。在初期使用过程中出现了数据抽取速度过慢和系统资源占用过高的问题，除基础架构建设存在优化可能外，SSIS未做面向生产环境硬件的优化也是一个重要原因，导致无法正常发挥SSIS真正性能。1.2原因分析SSIS采用VS2005集成的开
2012-05-05 17:22:44
4173
1
转载 SQL Server 日期和时间函数
1、常用日期方法(下面的GetDate() = '2006-11-08 13:37:56.233')(1)DATENAME ( datepart ,date ) 返回表示指定日期的指定日期部分的字符串。Datepart详见下面的列表.SELECT DateName(day,Getdate()) –返回8 (2)DATEPART ( datepart , date )
2012-04-12 11:54:56
347
转载 如何对表、行、数据库加锁
1 如何锁一个表的某一行 SET TRANSACTION ISOLATION LEVELREADUNCOMMITTED SELECT * FROMtable ROWLOCKWHERE id = 1 2 锁定数据库的一个表 SELECT * FROMtableWITH (HOLDLOCK) 加锁语句： sybase:
2012-03-22 10:24:50
842
转载 myeclipse连接到oracle10g，过段时间后自动断开，报ORA-03135错误
问题描述：开发人员报告，用myeclipse连接oracle后，过一段时间，连接断开，报ORA-03135错误。 问题挖掘：用pl/sql和sqlplus连接oracle，也存在该问题，确定该问题与连接方式无关。查看服务器，发现没有防火墙，防火墙因素排除。ping -t 服务器地址，发现没有丢包，都100%收到，网络通畅。基本可以肯定问题出在oracle参数配置上。但也
2012-03-20 21:05:30
901
原创 powercenter 提示ora-03135错误
问题： powercenter抽取数据，由于表较大，抽取数据时间较长，总是出现 ora-03135：连接失去联系。 解决： 1.检查网络，长时间PING服务器，未发现丢包。 2.检查数据库SESSION连接时长限制，未对SESSION连接最大时间设限。 3.想检查防火墙，但服务器不在本地，相关人员无法联系上。 4.网
2012-03-20 21:04:33
3046
转载 男人可以不帅，但一定要像个男人
1、男人应该有一个目标：超越自己。 2、男人应该有两个想法：梦想、理想。 3、男人应该有三种底气：志气、义气、勇气。 4、男人应该有四颗真心：信心、爱心、责任心、事业心。 5、男人应该有五种力量：智力、毅力、努力、实力、活力。 6、男人是社会的主体，是男人就应该有种责任感。 7、男人是家人的依靠，是男人就要尽义务为她
2012-03-20 09:44:14
924
转载 关于Informatica session error TM_6795的解决办法
在使用PowerCenter做workflow开发/调试的时候有时会在Start Workflow时出现如下错误：Severity: ERRORTimestamp: 2011/2/25 10:22:52Node: node01_WIN-NPSKGCT1QJMThread: 5180Process ID: 3028Message Code: LM_36488Message
2012-03-19 21:39:11
7300
1
转载 informatica问题集
1.如果数据库和target都有主键，informatica使用哪个主键做update?答：在informatica运行过程中，informatica使用target上定义的主键。如果informatica上没有在target定义主键，update,delete操作将不能进行。2.用一个参数文件传递参数用于所有integration service,folder,workflow,sess
2012-03-19 11:43:17
10127
1
盖国强_提升百倍效率-Oracle数据库性能极限调优
2012-12-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人