- 博客(16)
- 资源 (25)
- 收藏
- 关注
原创 Hive 读书笔记3:HiveQL Data Definition(上)
HiveQL可以认为是SQL的一种方言,它不完全遵循任何一个版本的ANSI SQL标准,它似乎跟MySQL比较接近,但有一个显著地不同:Hvie不支持行级别的Insert、Update和Delete,并且Hive不支持事务。创建一个库:create database mydb; 或者create database if not exists mydb; 也可以使用schema关键字
2013-08-29 16:09:24 1168
原创 Hive 读书笔记2:Data Types and File Formats
Hive下做类型强制转换:cast(s as INT);对于简单数据类型,Hive不区分大小写;Hive支持三种集合数据类型,struct,map和array;对于文本文件,每一行表示一条记录,换行符(\n)是默认的记录分隔符;通常不需要显示指定LINES TERMINATED BY '\n',因为Hive目前不支持除了'\n'以外的行分隔符;
2013-08-29 15:31:57 1900
转载 PostgreSQL password security
一般来说数据库密码安全管理要考虑以下几个方面 : 1. 密码过期策略, 决定密码的有效期, 多长时间过期. PostgreSQL 不支持密码过期策略, 但是可以通过其他方式来实现过期提醒.2. 密码复用策略, 密码修改时需要对比以前的密码, 多少次以后才可以复用, 或者永不能使用与以前密码相同的密码.PostgreSQL 不支持密码复用策略, 但是可以通过其他方式来实现强制密码复用
2013-08-29 14:21:23 4698
原创 Hive 读书笔记1:Getting Started
bin/hive --helpUsage ./hive --service serviceName Service List: cli help hiveserver hwi jar lineage metastore rcfilecat(Hive支持的service)对于某个具体的服务,要获取帮助的话,可以:hive --help --service clihi
2013-08-22 17:32:52 2097
原创 第一个Hive UDAF函数
hive提供了org.apache.hadoop.hive.ql.exec.UDF类和org.apache.hadoop.hive.ql.exec.UDAF类,我们可以通过继承这个类来实现不同功能的函数,在脚本中很方便的调用它。第一步,在eclipse中创建一个java项目,命名为ConnectGroup第二步,导入UDAF需要的jar包,hive-exec-???.jar
2013-08-22 15:19:16 2839
原创 hive中自定义函数(UDAF)实现多行字符串拼接为一行
函数如何使用:hive> desc concat_test;OKa intb stringhive> select * from concat_test;OK1 good2 other1 nice1 hellohive> select a,concat(b,',') fr
2013-08-22 10:32:32 5237
转载 Web Service学习笔记
Web Service概述 Web Service的定义 W3C组织对其的定义如下,它是一个软件系统,为了支持跨网络的机器间相互操作交互而设计。Web Service服务通常被定义为一组模块化的API,它们可以通过网络进行调用,来执行远程系统的请求服务。 这里我们从一个程序员的视角来观察web service。在传统的程序编码中,存在这各种的函数方法调用。通常,我们知道一个程序
2013-08-21 22:07:01 801
转载 [oracle]sys_connect_by_path用法(一个select语句中多条数据拼成一条数据)
创建表 create table demoTable( id number , content varchar2(30));测试数据 :insert into demotable (ID, CONTENT)values (1, 'content1');insert into demotable (ID, CONTENT)values (1, 'conte
2013-08-21 18:18:17 1308
转载 Hive 内建操作符与函数开发
第一部分:关系运算Hive支持的关系运算符•常见的关系运算符•等值比较: =•不等值比较: •小于比较: •小于等于比较: •大于比较: >•大于等于比较: >=•空值判断: IS NULL•非空判断: IS NOT NULL•LIKE比较: LIKE•JAVA的LIKE操作: RLIKE
2013-08-21 14:19:19 1136
转载 HiveQL Tips
在Hive中,某些小技巧可以让我们的Job执行得更快,有时一点小小的改动就可以让性能得到大幅提升,这一点其实跟SQL差不多。首先,Hive != SQL,虽然二者的语法很像,但是Hive最终会被转化成MapReduce的代码去执行,所以数据库的优化原则基本上都不适用于 Hive。也正因如此,Hive实际上是用来做计算的,而不像数据库是用作存储的,当然数据库也有很多计算功能,但一般并不建议在SQ
2013-08-21 13:52:51 789
转载 Linux查看文件编码格式及文件编码转换
如果你需要在Linux 中操作windows下的文件 ,那么你可能会经常遇到文件 编码 转换的问题。Windows中默认的文件 格式是GBK(gb2312),而Linux 一般都是UTF-8。下面介绍一下,在Linux 中如何查看 文件 的编码 及如何进行对文件 进行编码 转换。查看 文件 编码在Linux 中查看 文件 编码 可以通过以下几种方式:1.在Vim 中可以直接查看 文
2013-08-14 15:11:55 882
转载 How to use regular expressions in Notepad++ (tutorial)
来源:http://sourceforge.net/apps/mediawiki/notepad-plus/index.php?title=Regular_ExpressionsIn case you have the plugins installed, try Ctrl+R or in the TextFX -> TextFX Quick -> Find/Replace to ge
2013-08-13 17:07:01 5342
原创 hive中RegexSerDe的使用
RegexSerDe是hive自带的一种序列化/反序列化的方式,主要用来处理正则表达式。举个实际的例子:CREATE TABLE sunwg03(c0 string,c1 string,c2 string)ROW FORMATSERDE ‘org.apache.hadoop.hive.contrib.serde2.RegexSerDe’WITH SERDEPRO
2013-08-08 16:57:05 5344
原创 Windows下C++连接SQL Server数据库
#define _AFXDLL#include #include using namespace std;bool InitHandle(SQLHENV &henv, SQLHDBC &hdbc, SQLHSTMT &hstmt){ int errLineNum = 0 ; SQLCHAR outstr[1024]=""; short BRWS_LEN=1024, cbConnSt
2013-08-03 23:10:05 5088 1
转载 TD: Database.tables is being restored
今天遇到一个问题,某个表一旦被access的话就会被锁住,报如下错误:operation is not allowed;database.tables is being restored; 查看了dbcmangager里面也没有说现在正在restore这个表的用户存在,在arcmain中使用release lock (database) all 也没办法使用。
2013-08-02 17:24:57 1105
原创 TD中查询出错: Operation not allowed: <Schema>.<Table> table header has invalid partitioning.
调用getIndexInfo函数时会通过jdbc查询TD表获取表的index信息,有时候报错如下:java.sql.SQLException: [Teradata JDBC Driver] [TeraJDBC 13.00.00.07] [Error 822] [SQLState HY000] TeraDatabaseMetaData: getIndexInfo : Failed to
2013-08-02 16:28:05 1433
The C++ Programming Language.Third Edition.1997
2011-11-13
The C++ Programming Language Special 3rd Edition
2011-06-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人