- 博客(28)
- 资源 (96)
- 问答 (1)
- 收藏
- 关注
原创 hive学习笔记1
Hive是构建在Hadoop的数据仓库平台,最初Hive被Facebook用来处理海量的用户和日志数据。利用Hive处理分析的数据一般满足结构化的特征,Hive基于MapReduce之上增加了优化和更可用性的特性,Hive把用户从复杂的MapReduce编程中解脱出来,Hive定义了类似于SQL的查询语言:HQL,Hive能够将HQL转换为相应的MapReduce程序,并在Hadoop平台上执行。
2012-06-29 17:43:38 911
hive学习笔记1
Hive是构建在Hadoop的数据仓库平台,最初Hive被Facebook用来处理海量的用户和日志数据。利用Hive处理分析的数据一般满足结构化的特征,Hive基于MapReduce之上增加了优化和更可用性的特性,Hive把用户从复杂的MapReduce编程中解脱出来,Hive定义了类似于SQL的查询语言:HQL,Hive能够将HQL转换为相应的MapReduce程序,并在Hadoop平台上执行。...
2012-06-29 17:43:00 183
原创 HBase单机配置
设置环境变量#set java environmentexport JAVA_HOME=/usr/lib/java/jdk1.6.0_31export JRE_HOME=/usr/lib/java/jdk1.6.0_31/jreexport HADOOP_HOME=/home/hadoop/hadoopexport CLASSPATH=$JAVA_HOME/
2012-06-28 18:46:36 1890
HBase单机配置
设置环境变量#set java environmentexport JAVA_HOME=/usr/lib/java/jdk1.6.0_31export JRE_HOME=/usr/lib/java/jdk1.6.0_31/jreexport HADOOP_HOME=/home/hadoop/hadoopexport CLASSPATH=$JAVA_HOME/lib:$JRE...
2012-06-28 18:46:00 48
原创 hadoop单机配置
配置环境变量(/etc/profile)#set java environmentexport JAVA_HOME=/usr/lib/java/jdk1.6.0_31export JRE_HOME=/usr/lib/java/jdk1.6.0_31/jreexport HADOOP_HOME=/home/hadoop/hadoopexport CLASSPA
2012-06-28 18:42:15 2797 2
hadoop单机配置
配置环境变量(/etc/profile)#set java environmentexport JAVA_HOME=/usr/lib/java/jdk1.6.0_31export JRE_HOME=/usr/lib/java/jdk1.6.0_31/jreexport HADOOP_HOME=/home/hadoop/hadoopexport CLASSPATH=$JAVA...
2012-06-28 18:42:00 72
翻译 HBase专题介绍6
我的废话1: 任何一项新技术并非救命稻草,一抹一擦立马药到病除的百宝箱,并非使用Spring或者NOSQL的产品就神乎其神+五光十色,如果那样基本是扯淡。同类 型产品中不管那种技术最终要达到的目的是一样的,通过新的技术手段你往往可能避讳了当前你所需要面对的问题,但过后新的问题又来了。也许回过头来看看还不 如在原来的基础上多动动脑筋 想想办法 做些改良可以得到更高的回报。
2012-06-27 12:22:34 1108
HBase专题介绍6
我的废话1: 任何一项新技术并非救命稻草,一抹一擦立马药到病除的百宝箱,并非使用Spring或者NOSQL的产品就神乎其神+五光十色,如果那样基本是扯淡。同类 型产品中不管那种技术最终要达到的目的是一样的,通过新的技术手段你往往可能避讳了当前你所需要面对的问题,但过后新的问题又来了。也许回过头来看看还不 如在原来的基础上多动动脑筋 想想办法 做些改良可以得到更高的回报。 传统数据库是以...
2012-06-27 12:22:00 53
翻译 HBase专题介绍 5
在上一篇关于HBase的文章中曾经讲述过HBase在分布式中的架构,这篇文章将会讲述HBase在分布式环境中是如何排除单点故障的(SPFO),做一个小实验讲述HBase在分布式环境中的高可用性,亲眼看到一些现象,延伸一些思考的话题。先来回顾一下HBase主要部件: 1.HBaseMaster 2.HRegionServer 3.HBase Client 4
2012-06-27 12:21:49 1302
翻译 HBase专题介绍 4
前几篇文章讲述了 HBase的安装、Hbase命令和API的使用、HBase简单的优化技巧,《HBase入门篇4》这篇文章是讲述把HBase的数据放在HDFS上的点滴过程。目前对与HBase我是一个绝对的新手,如果在文章中有任何我理解有错误的地方请各位指正,谢谢。Ok,进行正题 ……… 在HBase中创建的一张表可以分布在多个Hregion,也就说一张表可以被拆分成多块,每一块称我
2012-06-27 12:21:04 1023
HBase专题介绍 5
在上一篇关于HBase的文章中曾经讲述过HBase在分布式中的架构,这篇文章将会讲述HBase在分布式环境中是如何排除单点故障的(SPFO),做一个小实验讲述HBase在分布式环境中的高可用性,亲眼看到一些现象,延伸一些思考的话题。先来回顾一下HBase主要部件: 1.HBaseMaster 2.HRegionServer 3.HBase Client 4.HBase Th...
2012-06-27 12:21:00 61
HBase专题介绍 4
前几篇文章讲述了 HBase的安装、Hbase命令和API的使用、HBase简单的优化技巧,《HBase入门篇4》这篇文章是讲述把HBase的数据放在HDFS上的点滴过程。目前对与HBase我是一个绝对的新手,如果在文章中有任何我理解有错误的地方请各位指正,谢谢。Ok,进行正题 ……… 在HBase中创建的一张表可以分布在多个Hregion,也就说一张表可以被拆分成多块,每一块称我们呼...
2012-06-27 12:21:00 70
翻译 HBase专题介绍 3
前两篇文件分别说到了我在学习HBase中的一些入门经验,而《HBase 入门3》这篇文章浅显的从几个方面谈谈HBase的一些优化技巧,只能作为我学习笔记的一部分,因为学多了怕忘,留给自己以后看看。1 修改 linux 系统参数 Linux系统最大可打开文件数一般默认的参数值是1024,如果你不进行修改并发量上来的时候会出现“Too Many Open Files”的错误,导致整个H
2012-06-27 12:20:18 1156
HBase专题介绍 3
前两篇文件分别说到了我在学习HBase中的一些入门经验,而《HBase 入门3》这篇文章浅显的从几个方面谈谈HBase的一些优化技巧,只能作为我学习笔记的一部分,因为学多了怕忘,留给自己以后看看。1 修改 linux 系统参数 Linux系统最大可打开文件数一般默认的参数值是1024,如果你不进行修改并发量上来的时候会出现“Too Many Open Files”的错误,导致整个HBas...
2012-06-27 12:20:00 68
翻译 HBase专题介绍 2
本篇文章讲述用HBase Shell命令 和 HBase Java API 对HBase 服务器 进行操作。在此之前需要对HBase的总体上有个大概的了解。比如说HBase服务器内部由哪些主要部件构成?HBase的内部工作原理是什么?我想学习任何一项知识、技术的态度不能只是知道如何使用,对产品的内部构建一点都不去关心,那样出了问题,很难让你很快的找到答案,甚至我们希望最后能对该项技术的领悟出自己的
2012-06-27 12:19:34 1188
HBase专题介绍 2
本篇文章讲述用HBase Shell命令 和 HBase Java API 对HBase 服务器 进行操作。在此之前需要对HBase的总体上有个大概的了解。比如说HBase服务器内部由哪些主要部件构成?HBase的内部工作原理是什么?我想学习任何一项知识、技术的态度不能只是知道如何使用,对产品的内部构建一点都不去关心,那样出了问题,很难让你很快的找到答案,甚至我们希望最后能对该项技术的领悟出自己...
2012-06-27 12:19:00 56
翻译 HBase专题介绍 1
HBase是什么? HBase是Apache Hadoop中的一个子项目,Hbase依托于Hadoop的HDFS作为最基本存储基础单元,通过使用hadoop的DFS工具就可以看到这些这些数据 存储文件夹的结构,还可以通过Map/Reduce的框架(算法)对HBase进行操作,如右侧的图所示:HBase在产品中还包含了Jetty,在HBase启动时采用嵌入式的方式来启动Jetty,因此可
2012-06-27 11:54:53 2112
HBase专题介绍 1
HBase是什么? HBase是Apache Hadoop中的一个子项目,Hbase依托于Hadoop的HDFS作为最基本存储基础单元,通过使用hadoop的DFS工具就可以看到这些这些数据 存储文件夹的结构,还可以通过Map/Reduce的框架(算法)对HBase进行操作,如右侧的图所示:HBase在产品中还包含了Jetty,在HBase启动时采用嵌入式的方式来启动Jetty,因此可以通...
2012-06-27 11:54:00 63
原创 windows安装cygwin
在Windows下利用cygwin仿unix环境安装配置Hadoop。子猴也是刚接触到hadoop,对其的配置第一次按照网上的一些说明配置成功了,但有些东西感到不是很清晰,所以又重新把整个过程跑了一遍并记录下来,也是想对整个过程有个清晰的脉络,不正确之处请指教。1、 所需软件1.1、Cygwin(截至到目前最新版本是2.685)下载地址:http://www.cygwin.c
2012-06-12 23:17:15 1188
windows安装cygwin
在Windows下利用cygwin仿unix环境安装配置Hadoop。子猴也是刚接触到hadoop,对其的配置第一次按照网上的一些说明配置成功了,但有些东西感到不是很清晰,所以又重新把整个过程跑了一遍并记录下来,也是想对整个过程有个清晰的脉络,不正确之处请指教。1、 所需软件1.1、Cygwin(截至到目前最新版本是2.685)下载地址:http://www.cygwin....
2012-06-12 23:17:00 137
原创 java常见排序算法
所谓排序,就是要整理文件中的记录,使之按关键字递增(或递减)次序排列起来。当待排序记录的关键字都不相同时,排序结果是惟一的,否则排序结果不惟一。 在待排序的文件中,若存在多个关键字相同的记录,经过排序后这些具有相同关键字的记录之间的相对次序保持不变,该排序方法是稳定的;若具有相同关键字的记录之间的相对次序发生改变,则称这种排序方法是不稳定的。 要注意的是,排序算法的稳定性是针对
2012-06-11 23:45:27 456
java常见排序算法
所谓排序,就是要整理文件中的记录,使之按关键字递增(或递减)次序排列起来。当待排序记录的关键字都不相同时,排序结果是惟一的,否则排序结果不惟一。在待排序的文件中,若存在多个关键字相同的记录,经过排序后这些具有相同关键字的记录之间的相对次序保持不变,该排序方法是稳定的;若具有相同关键字的记录之间的相对次序发生改变,则称这种排序方法是不稳定的。要注意的是,排序算法的稳定性是针对所有输入实例而言...
2012-06-11 23:45:00 41
原创 hadoop 在windows下运行时包java heap out
解决方案,run configuration →arguments → vm arguments 输入-Xms8m -Xmx512m即可
2012-06-11 16:39:01 491
hadoop 在windows下运行时包java heap out
解决方案,run configuration →arguments → vm arguments 输入-Xms8m -Xmx512m即可
2012-06-11 16:39:00 42
原创 spring里加入xml提示
windows→perferance→myeclipse→file and editors→xml→xml catalog 然后add →选择URI →location lib→resource→spring-bean.xsd截图如下
2012-06-08 00:00:11 575
spring里加入xml提示
windows→perferance→myeclipse→file and editors→xml→xml catalog 然后add →选择URI →location lib→resource→spring-bean.xsd截图如下
2012-06-08 00:00:00 79
转载 Hadoop集群配置
一,安装java1,下载java (以下为下载在/work目录下操作) wgethttp://download.oracle.com/otn-pub/java/jdk/7u2-b13/jdk-7u2-linux-i586.tar.gz2,解压下载文件并改名 tar-zxvf jdk-7u2-linux-i586.tar.gz mv
2012-06-04 10:13:12 713
Hadoop集群配置
一,安装java1,下载java (以下为下载在/work目录下操作) wgethttp://download.oracle.com/otn-pub/java/jdk/7u2-b13/jdk-7u2-linux-i586.tar.gz2,解压下载文件并改名 tar-zxvf jdk-7u2-linux-i586.tar.gz mvjdk1.7.0_02 java rmjdk...
2012-06-04 10:13:00 74
myeclipse.10.0安装包+破解补丁
2012-03-25
SecureCRT7.0 官方下载及注册机和注册方法
2013-03-27
多维数据查询MDX教程(全)
2013-01-30
kettle 集成到自己的应用中_实例
2013-01-24
CDH3U4的eclipse插件(hadoop eclipse插件)
2012-12-11
java用CXF实现webservice如何自定义soapheader?
2013-06-06
TA创建的收藏夹 TA关注的收藏夹
TA关注的人