- 博客(14)
- 收藏
- 关注
RSS订阅转载 HIVE UDF整理
原文地址：http://www.oratea.net/?p=951字符串函数字符串长度函数：length语法: length(string A)返回值: int说明：返回字符串A的长度举例：hive> select length(‘abcedfg’) from dual;7字符串反转函数：reverse
2012-03-31 11:03:51
15395
转载 基于HDFS的FTP
一家公司使用apache的ftpserver开发框架开发了针对hadoop的hdfs文件系统的ftp服务器,当然是开源的.站点:http://www.hadoop.iponweb.net/Home/hdfs-over-ftp安装过程非常简单,本人只是在linux下安装过,windows下没有成功安装,linux下安装步骤如下:1.下载安装文件并解压http://www.hadoop
2012-03-25 11:16:43
2372
原创 在程序中执行系统命令的办法
大牛请绕道我们经常要在程序中执行系统命令，作为小菜鸟的我编写了一个执行系统命令的类供大家参考：// Run an operating system command// and send the output to the console.import java.io.*;public class OSExecute { public static void co
2012-03-24 11:18:23
599
转载 linux 挂载新硬盘
手动挂在硬盘mount -t 硬盘类型 硬盘 挂载点硬盘类型如果是FAT类型，则是msdos如果是FAT32类型，则是vfat如果是NTFS类型，则是ntfs如果使用不带任何参数的mount，则是查看当前系统已挂在的设备。使用fdisk命令查看各个硬盘，选中需要挂在的硬盘[root@localhost ~]# fdisk -lDisk /dev/sda:
2012-03-23 17:13:36
4755
转载 Grub Rescue修复方法
症状：开机显示：GRUB loadingerror:unknow filesystemgrub rescue>原因：已经发现下面几种操作会导致这种问题：1,想删除ubuntu，于是直接在windows下删除/格式化了ubuntu所在的分区。2,调整磁盘，利用工具合并/分割/调整/删除分区，使磁盘分区数目发生了变化。3,重新安装系统，把linux安装到了新
2012-03-23 17:10:46
2113
转载 hadoop内存不足问题
1. 运行时map/reduce，包内存不足的错误，看来hadoop很耗费内存。package hbase;import java.io.*;import java.util.*;import org.apache.hadoop.conf.*;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.*;
2012-03-23 17:09:45
9611
转载 linux的内存查看命令-free
我们一般用free命令：[root@scs-2 tmp]# freetotal used free shared buffers cachedMem: 3266180 3250004 16176 0 110652 2668236-/+ buffers/cache: 471116 2795064Swap: 2048276 80160 1968116下面是对这些数值的解释：
2012-03-23 17:09:03
615
转载 Hadoop添加删除节点
原文地址 http://www.cnblogs.com/rilley/archive/2012/02/13/2349858.html添加节点1.修改host 和普通的datanode一样。添加namenode的ip 2.修改namenode的配置文件conf/slaves 添加新增节点的ip或host 3.在新节点的机器上，启动服务 [root@
2012-03-23 17:06:22
444
原创 PrintStream类的学习与多目的地输出重定向问题
最近开发的Dodo工具箱中需要一个日志功能，当然现在已经有很成熟很好用的Log4j，但是我觉得作为一个菜鸟，有必要自己开发一个简单的日志处理模块。下面简介该模块的设计与输出重定向这个难点。用例设计：类设计：实现难点——输出重定向： 我是这样设想的，日志来源于三个方面 1其他模块使用Logger记录的日志信息 2 系统执行过程中需要输出的信息 3 系统在
2012-03-22 15:19:04
1084
转载 使用mysql存储存储hive的metastore
默认情况下，hive的元数据信息存储在内置的Derby数据中。Facebook将hive元数据存储在关系数据库mysql中。配置过程如下：1 安装好mysql创建用户hadoopafan@ubuntu:/usr/local/hadoop/hive$ mysql -u root -pEnter password:Welcome to the MySQL monitor.
2012-03-20 21:09:59
1076
转载 Hive的JDBC连接方法分享与教程
一般来说我们对hive的操作都是通过cli来进行，也就是Linux的控制台，但是，这样做本质上是每个连接都存放一个元数据，各个之间都不相同，所以，对于这样的模式我建议是用来做一些测试比较合适，并不适合做产品的开发和应用。一、环境Hadoop 0.20.2版本、Hive-0.5.0版本、JDK1.6二、使用目的1、一般来说我们对hive的操作都是通过cli来进行，也就是Lin
2012-03-09 20:50:24
1333
转载 linux scp命令参数及用法详解--linux远程复制拷贝命令使用实例
一般情况，本地网络跟远程网络进行数据交抱，或者数据迁移，常用的有三种方法，一是ftp,二是wget /fetch 三是，rsync 大型数据迁移用rysync，其次用fetch/wget ，最次是ftp，最慢是ftp.这几天，在忙数据迁移时，用到ssh的scp方法来迁移数据。速度与效果都很好。特别是现在许多服务器为了安全，都会改ssh默认的22端口，改成一个特殊的端口。所以。在scp或者sft
2012-03-09 20:18:28
138734
4
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人