HIVE UDF整理

原文地址:http://www.oratea.net/?p=951 字符串函数 字符串长度函数:length 语法: length(string A) 返回值: int 说明:返回字符串A的长度 举例: hive> select length(‘...

2012-03-31 11:03:51

阅读数:14420

评论数:0

mysvn

https://ai.nju.edu.cn:447/svn/jkProject/

2012-03-26 17:03:03

阅读数:487

评论数:0

基于HDFS的FTP

一家公司使用apache的ftpserver开发框架开发了针对hadoop的hdfs文件系统的ftp服务器,当然是开源的.站点:http://www.hadoop.iponweb.net/Home/hdfs-over-ftp 安装过程非常简单,本人只是在linux下安装过,windows下没...

2012-03-25 11:16:43

阅读数:1637

评论数:0

在程序中执行系统命令的办法

大牛请绕道 我们经常要在程序中执行系统命令,作为小菜鸟的我编写了一个执行系统命令的类供大家参考: // Run an operating system command // and send the output to the console. import java.io.*...

2012-03-24 11:18:23

阅读数:348

评论数:0

linux 挂载新硬盘

手动挂在硬盘 mount -t 硬盘类型 硬盘 挂载点 硬盘类型 如果是FAT类型,则是msdos 如果是FAT32类型,则是vfat 如果是NTFS类型,则是ntfs 如果使用不带任何参数的mount,则是查看当前系统已挂在的设备。 使用fdisk命令查看各个硬盘,选中需要...

2012-03-23 17:13:36

阅读数:4556

评论数:0

Grub Rescue修复方法

症状: 开机显示:GRUB loading error:unknow filesystem grub rescue> 原因: 已经发现下面几种操作会导致这种问题: 1,想删除ubuntu,于是直接在windows下删除/格式化了ubuntu所在的分区。 2,调整磁盘...

2012-03-23 17:10:46

阅读数:368

评论数:0

hadoop内存不足问题

1. 运行时map/reduce,包内存不足的错误,看来hadoop很耗费内存。 package hbase; import java.io.*; import java.util.*; import org.apache.hadoop.conf.*; import org.apac...

2012-03-23 17:09:45

阅读数:6925

评论数:0

linux的内存查看命令-free

我们一般用free命令: [root@scs-2 tmp]# free total used free shared buffers cached Mem: 3266180 3250004 16176 0 110652 2668236 -/+ buffers/cache: 471116 2...

2012-03-23 17:09:03

阅读数:456

评论数:0

hive实战

http://www.cnblogs.com/xuqiang/archive/2011/06/15/2081796.html

2012-03-23 17:07:51

阅读数:272

评论数:0

Hadoop添加删除节点

原文地址 http://www.cnblogs.com/rilley/archive/2012/02/13/2349858.html 添加节点 1.修改host 和普通的datanode一样。添加namenode的ip 2.修改namenode的配置文件conf/sla...

2012-03-23 17:06:22

阅读数:285

评论数:0

PrintStream类的学习与多目的地输出重定向问题

最近开发的Dodo工具箱中需要一个日志功能,当然现在已经有很成熟很好用的Log4j,但是我觉得作为一个菜鸟,有必要自己开发一个简单的日志处理模块。下面简介该模块的设计与输出重定向这个难点。 用例设计: 类设计: 实现难点——输出重定向:         我是这样设想的,日志...

2012-03-22 15:19:04

阅读数:838

评论数:0

使用mysql存储存储hive的metastore

默认情况下,hive的元数据信息存储在内置的Derby数据中。Facebook将hive元数据存储在关系数据库 mysql中。配置过程如下: 1 安装好mysql 创建用户hadoop afan@ubuntu:/usr/local/hadoop/hive$ mysql -u root -p...

2012-03-20 21:09:59

阅读数:614

评论数:0

Hive的JDBC连接方法分享与教程

一般来说我们对hive的操作都是通过cli来进行,也就是Linux的控制台,但是,这样做本质上是每个连接都存放一个元数据,各个之间都不相同,所以,对于这样的模式我建议是用来做一些测试比较合适,并不适合做产品的开发和应用。 一、环境 Hadoop 0.20.2版本、Hive-0.5.0版...

2012-03-09 20:50:24

阅读数:806

评论数:0

linux scp命令参数及用法详解--linux远程复制拷贝命令使用实例

一般情况,本地网络跟远程网络进行数据交抱,或者数据迁移,常用的有三种方法,一是ftp,二是wget /fetch 三是,rsync 大型数据迁移用rysync,其次用fetch/wget ,最次是ftp,最慢是ftp.这几天,在忙数据迁移时,用到ssh的scp方法来迁移数据。速度与效果都很好。...

2012-03-09 20:18:28

阅读数:92509

评论数:2

提示
确定要删除当前文章?
取消 删除
关闭
关闭