2013年08月_波特王子

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 Hive 读书笔记3：HiveQL Data Definition(上)

HiveQL可以认为是SQL的一种方言，它不完全遵循任何一个版本的ANSI SQL标准，它似乎跟MySQL比较接近，但有一个显著地不同：Hvie不支持行级别的Insert、Update和Delete，并且Hive不支持事务。创建一个库：create database mydb; 或者create database if not exists mydb; 也可以使用schema关键字

2013-08-29 16:09:24 1168

原创 Hive 读书笔记2：Data Types and File Formats

Hive下做类型强制转换：cast(s as INT)；对于简单数据类型，Hive不区分大小写；Hive支持三种集合数据类型，struct，map和array；对于文本文件，每一行表示一条记录，换行符（\n）是默认的记录分隔符；通常不需要显示指定LINES TERMINATED BY '\n'，因为Hive目前不支持除了'\n'以外的行分隔符；

2013-08-29 15:31:57 1900

转载 PostgreSQL password security

一般来说数据库密码安全管理要考虑以下几个方面 : 1. 密码过期策略, 决定密码的有效期, 多长时间过期. PostgreSQL 不支持密码过期策略, 但是可以通过其他方式来实现过期提醒.2. 密码复用策略, 密码修改时需要对比以前的密码, 多少次以后才可以复用, 或者永不能使用与以前密码相同的密码.PostgreSQL 不支持密码复用策略, 但是可以通过其他方式来实现强制密码复用

2013-08-29 14:21:23 4696

原创 Hive 读书笔记1：Getting Started

bin/hive --helpUsage ./hive --service serviceName Service List: cli help hiveserver hwi jar lineage metastore rcfilecat（Hive支持的service）对于某个具体的服务，要获取帮助的话，可以：hive --help --service clihi

2013-08-22 17:32:52 2097

原创第一个Hive UDAF函数

hive提供了org.apache.hadoop.hive.ql.exec.UDF类和org.apache.hadoop.hive.ql.exec.UDAF类，我们可以通过继承这个类来实现不同功能的函数，在脚本中很方便的调用它。第一步，在eclipse中创建一个java项目，命名为ConnectGroup第二步，导入UDAF需要的jar包，hive-exec-???.jar

2013-08-22 15:19:16 2839

原创 hive中自定义函数(UDAF)实现多行字符串拼接为一行

函数如何使用：hive> desc concat_test;OKa intb stringhive> select * from concat_test;OK1 good2 other1 nice1 hellohive> select a,concat(b,',') fr

2013-08-22 10:32:32 5237

转载 Web Service学习笔记

Web Service概述 Web Service的定义 W3C组织对其的定义如下，它是一个软件系统，为了支持跨网络的机器间相互操作交互而设计。Web Service服务通常被定义为一组模块化的API，它们可以通过网络进行调用，来执行远程系统的请求服务。这里我们从一个程序员的视角来观察web service。在传统的程序编码中，存在这各种的函数方法调用。通常，我们知道一个程序

2013-08-21 22:07:01 801

转载 [oracle]sys_connect_by_path用法（一个select语句中多条数据拼成一条数据）

创建表 create table demoTable( id number , content varchar2(30));测试数据 :insert into demotable (ID, CONTENT)values (1, 'content1');insert into demotable (ID, CONTENT)values (1, 'conte

2013-08-21 18:18:17 1308

转载 Hive 内建操作符与函数开发

第一部分：关系运算Hive支持的关系运算符•常见的关系运算符•等值比较: =•不等值比较: •小于比较: •小于等于比较: •大于比较: >•大于等于比较: >=•空值判断: IS NULL•非空判断: IS NOT NULL•LIKE比较: LIKE•JAVA的LIKE操作: RLIKE

2013-08-21 14:19:19 1135

转载 HiveQL Tips

在Hive中，某些小技巧可以让我们的Job执行得更快，有时一点小小的改动就可以让性能得到大幅提升，这一点其实跟SQL差不多。首先，Hive != SQL，虽然二者的语法很像，但是Hive最终会被转化成MapReduce的代码去执行，所以数据库的优化原则基本上都不适用于 Hive。也正因如此，Hive实际上是用来做计算的，而不像数据库是用作存储的，当然数据库也有很多计算功能，但一般并不建议在SQ

2013-08-21 13:52:51 788

转载 Linux查看文件编码格式及文件编码转换

如果你需要在Linux 中操作windows下的文件，那么你可能会经常遇到文件编码转换的问题。Windows中默认的文件格式是GBK(gb2312)，而Linux 一般都是UTF-8。下面介绍一下，在Linux 中如何查看文件的编码及如何进行对文件进行编码转换。查看文件编码在Linux 中查看文件编码可以通过以下几种方式：1.在Vim 中可以直接查看文

2013-08-14 15:11:55 882

转载 How to use regular expressions in Notepad++ (tutorial)

来源：http://sourceforge.net/apps/mediawiki/notepad-plus/index.php?title=Regular_ExpressionsIn case you have the plugins installed, try Ctrl+R or in the TextFX -> TextFX Quick -> Find/Replace to ge

2013-08-13 17:07:01 5342

原创 hive中RegexSerDe的使用

RegexSerDe是hive自带的一种序列化/反序列化的方式，主要用来处理正则表达式。举个实际的例子：CREATE TABLE sunwg03(c0 string,c1 string,c2 string)ROW FORMATSERDE ‘org.apache.hadoop.hive.contrib.serde2.RegexSerDe’WITH SERDEPRO

2013-08-08 16:57:05 5344

原创 Windows下C++连接SQL Server数据库

#define _AFXDLL#include #include using namespace std;bool InitHandle(SQLHENV &henv, SQLHDBC &hdbc, SQLHSTMT &hstmt){ int errLineNum = 0 ; SQLCHAR outstr[1024]=""; short BRWS_LEN=1024, cbConnSt

2013-08-03 23:10:05 5088 1

转载 TD: Database.tables is being restored

今天遇到一个问题，某个表一旦被access的话就会被锁住，报如下错误:operation is not allowed;database.tables is being restored; 查看了dbcmangager里面也没有说现在正在restore这个表的用户存在，在arcmain中使用release lock （database） all 也没办法使用。

2013-08-02 17:24:57 1105

原创 TD中查询出错： Operation not allowed: <Schema>.<Table> table header has invalid partitioning.

调用getIndexInfo函数时会通过jdbc查询TD表获取表的index信息，有时候报错如下：java.sql.SQLException: [Teradata JDBC Driver] [TeraJDBC 13.00.00.07] [Error 822] [SQLState HY000] TeraDatabaseMetaData: getIndexInfo : Failed to

2013-08-02 16:28:05 1432