Hadoop
文章平均质量分 92
caolaosanahnu
这个作者很懒,什么都没留下…
展开
-
编写第一个HADOOP应用程序
http://space.itpub.net/8183550/viewspace-686332在MyEclipse 8.5环境下编写了一个HADOOP小程序。创建Java 工程打开eclipse,选择“File -> New -> Java Project”,新建一个“Java Project”,进入“New JavaProject”对话框,将“Project name”设置为转载 2011-12-09 14:58:56 · 815 阅读 · 0 评论 -
Hadoop单机环境配置
http://www.csdn.net/article/2010-11-28/282615转载 2014-06-14 10:58:42 · 504 阅读 · 0 评论 -
Ubuntu下 Hadoop 1.2.1 配置安装
http://blog.csdn.net/wyswlp/article/details/10564847尝试进入大数据领域开发,从目前最火的Hadoop入手是必须的,本文一步步记录了 Ubuntu 环境安装Hadoop 1.2.1 ,搭建单机模式以及伪分布式模式,希望对各位和我一样的菜鸟有所帮助,共同学习进步,欢迎交流。尝试2.1安装失败,由于文件结构不太一样缺乏相关资料,也非做运维的转载 2014-06-15 10:50:00 · 526 阅读 · 0 评论 -
ERROR: org.apache.hadoop.hbase.PleaseHoldException:Master is initializing
http://blog.csdn.net/wuzhilon88/article/details/18408149今天想操作HBase的CRUD,启动HBase没有问题,但是使用hbase shell 命令转换到shell下时,使用比如命令,scan 't1', create 'test','col' 等等都会出错,下面的是log里面的error部分:ERROR: org.apa转载 2014-06-15 13:21:31 · 2231 阅读 · 0 评论 -
Ubuntu安装配置Mysql
http://www.cnblogs.com/wuhou/archive/2008/09/28/1301071.html三种安装方式: 1. 从网上安装 sudo apt-get install mysql-server。装完已经自动配置好环境变量,可以直接使用mysql的命令。 注:建议将/etc/apt/source.list中的cn改成us,美国的服务器比转载 2014-06-15 12:14:15 · 423 阅读 · 0 评论 -
FAILED: Error in metadata: java.lang.RuntimeException: Unable to instantiate org.apache.解决办法
http://blog.csdn.net/lxpbs8851/article/details/11018933起因是我重装了mysql数据库。安装之后 把访问权限都配置好 :GRANT ALL PRIVILEGES ON*.* TO 'hive'@'%' Identified by 'hive'; GRANT ALL PRIVILEGES ON*.* TO 'hi转载 2014-06-15 12:29:32 · 774 阅读 · 0 评论 -
hbase基本概念和hbase shell常用命令用法
http://www.cnblogs.com/end/archive/2012/08/23/2652451.htm转载 2014-06-15 13:18:48 · 524 阅读 · 0 评论 -
利用sqoop将hive数据导入导出数据到mysql
http://niuzhenxin.iteye.com/blog/1726414运行环境 centos 5.6 hadoop hivesqoop是让hadoop技术支持的clouder公司开发的一个在关系数据库和hdfs,hive之间数据导入导出的一个工具在使用过程中可能遇到的问题:sqoop依赖zookeeper,所以必须配置ZOOKEEPER_HOM转载 2014-06-15 17:20:34 · 711 阅读 · 0 评论 -
java 通过jdbc驱动连接hive操作实例
http://blog.csdn.net/ghychina/article/details/7429577转自:http://blog.csdn.net/a221133/article/details/67347621,hive首先要起动远程服务接口,命令:nohup hive –service hiveserver & 2,java工程中导入相应的需求j转载 2014-06-15 17:21:41 · 591 阅读 · 0 评论 -
HBase应用笔记:通过Java Api与HBase交互(转自 Taobao QA Team)
http://blog.sina.com.cn/s/blog_66474b1601017hvx.htmlhttp://www.cnblogs.com/eprsoft/archive/2012/10/22/2734133.html引言HBase提供了Java Api的访问接口,掌握这个就跟Java应用使用RDBMS时需要JDBC一样重要,本文将继续前两篇文章中blog表的示例转载 2014-06-15 17:23:09 · 734 阅读 · 0 评论 -
ZooKeeper安装过程
http://blog.csdn.net/gudaoqianfu/article/details/7327191一、安装需求安装java 1.6及hadoop 0.20.x二、安装zookeeper1、下载zookeeperwget http://mirror.bit.edu.cn/apache//zookeeper/zookeeper-3.转载 2014-06-16 22:49:54 · 612 阅读 · 0 评论 -
ssh登陆connection refused的解决办法
http://zhidao.baidu.com/share/17f3e1e6700c559b6036f6e49d82fd5c.html转载 2014-06-14 23:00:21 · 30058 阅读 · 1 评论 -
zookeeper 命令
http://chinaxxren.iteye.com/blog/1621760通过sh ..../bin/zkServer.sh status 来查看具体节点信息,如是否是leader 通过命令:echo stat|nc 127.0.0.1 2181 来查看哪个节点被选择作为follower或者leader 使用echo ruok|nc 12转载 2014-06-16 22:55:58 · 547 阅读 · 0 评论 -
hive安装
http://www.dataguru.cn/thread-33989-1-1.html1. 下载HIVE 0.8.1 版本,解压文件夹为 hive-0.8.12. 设置/etc/profile 环境变量的HIVE_HOME的设置如下:Export HIVE_HOME="/home/hadoop/hive-0.8.1"3. 根据Hive的官方配置说明,先启转载 2014-06-15 12:27:53 · 509 阅读 · 0 评论 -
ZooKeeper典型应用场景一览
http://jm-blog.aliapp.com/?p=1232ZooKeeper是一个高可用的分布式数据管理与系统协调框架。基于对Paxos算法的实现,使该框架保证了分布式环境中数据的强一致性,也正是基于这样的特性,使得ZooKeeper解决很多分布式问题。网上对ZK的应用场景也有不少介绍,本文将结合作者身边的项目例子,系统地对ZK的应用场景进行一个分门归类的介绍。值得注意转载 2014-06-17 09:21:21 · 507 阅读 · 0 评论 -
ubuntu下hbase的伪分布式安装与配置
http://www.cnblogs.com/linjiqin/archive/2013/03/06/2946212.html1.hadoop版本:hadoop-1.1.1,HBase版本:hbase-0.94.32.到官方网站下载好hbase-0.94.3.tar.gz,解压hbase安装包到一个可用目录如(/home/hadoop/hbase-0.94.3/)root@翻译 2014-06-15 12:57:23 · 552 阅读 · 0 评论 -
cygwin 字符显示
http://bbs.chinaunix.net/thread-1647640-1-1.html右击-》转载 2014-06-13 22:39:13 · 615 阅读 · 0 评论 -
Windows平台下安装Hadoop
http://www.cnblogs.com/kinglau/archive/2013/08/20/3270160.html转载 2014-06-12 23:16:38 · 654 阅读 · 0 评论 -
Hadoop家族学习路线图
http://blog.fens.me/hadoop-family-roadmap/转载 2014-04-10 14:19:41 · 901 阅读 · 0 评论 -
Hadoop安装部署
http://www.kuqin.com/system-analysis/20081023/24034.html1. Hadoop安装部署1.1. 机器说明总共4台机器:test161.sqa,test162.sqa, test163.sqa,test164.sqaIP地址分别为:192.168.207.161 …… 192.168.207.164操作系统:Redhat Lin转载 2011-12-09 15:12:28 · 859 阅读 · 0 评论 -
WordCount 实例
http://www.iteye.com/topic/606962http://www.iteye.com/topic/1117343看了到Hadoop的代码,还是不知道他的执行流程,怎么办呢。我想到了日志,在hadoop的目录下,有log4j,那就用户Log4j来记录Hadoop的执行过程吧.Java代码 import java.io.IOExcep转载 2011-12-09 14:49:00 · 627 阅读 · 0 评论 -
Hadoop基本流程与应用开发
http://www.infoq.com/cn/articles/hadoop-process-develophttp://www.infoq.com/cn/articles/hadoop-intro;jsessionid=1B566AFBB2B51A0D70380914DFFC8333http://www.infoq.com/cn/articles/hadoop-config-tip;j转载 2011-12-09 15:06:19 · 671 阅读 · 0 评论 -
用 Linux 和 Apache Hadoop 进行云计算
http://www.ibm.com/developerworks/cn/aix/library/au-cloud_apache/云计算简介近来云计算越来越热门了,云计算已经被看作 IT 业的新趋势。云计算可以粗略地定义为使用自己环境之外的某一服务提供的可伸缩计算资源,并按使用量付费。可以通过 Internet 访问 “云” 中的任何资源,而不需要担心计算能力、带宽、存储、安全性和可靠性等转载 2013-06-17 13:44:26 · 553 阅读 · 0 评论 -
JAVA操作HDFS API(hadoop)
http://www.cnblogs.com/alisande/archive/2012/06/06/2537903.htmlHDFS API详解 Hadoop中关于文件操作类基本上全部是在"org.apache.hadoop.fs"包中,这些API能够支持的操作包含:打开文件,读写文件,删除文件等。Hadoop类库中最终面向用户提供的接口类是FileSystem,该类是个抽转载 2013-06-17 15:21:10 · 674 阅读 · 0 评论 -
Apache Hadoop 简单配置及实践
http://archboy.org/2011/08/19/simple-apache-hadoop-setup-application-1/Apache Hadoop 是一个分布式计算基础框架,通过它可以使用N台计算机同时处理某个复杂的计算任务。用户(应用程序)只需要定义如何将一项计算任务拆分(Map)以及如何将各个分任务的结果合并(Reduce),剩下的事情比如如何协调N台计算机一起工作,转载 2013-06-17 15:46:26 · 576 阅读 · 0 评论 -
HBase入门
http://gcgmh.iteye.com/blog/459361HBase入门HBase入门 部分内容参考于http://www.nabble.com/Re%3A-Map-Reduce-over-HBase---sample-code-p18253120.htmlHBase是Hadoop的一个子项目,HBase采用了Google BigTable的稀疏的,面向列的数据库转载 2013-07-22 14:13:39 · 706 阅读 · 0 评论 -
HBase安装过程
http://www.itivy.com/java/archive/2012/3/10/634670155561047970.htmlHBase安装过程环境:windows 7 SP1virtualbox 4.1.4 r74291ubuntu 11.10一、安装需求安装java 1.6,hadoop 0.20.x及zookeeper本次安装仅使用一台转载 2013-07-22 14:14:14 · 1016 阅读 · 0 评论 -
HBase技术介绍
http://www.searchtb.com/2011/01/understanding-hbase.htmlHBase简介HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase是Google Bigtable的开源实现,类似Google Bigtab转载 2013-07-22 13:34:31 · 671 阅读 · 0 评论 -
浅析Hadoop文件格式
http://www.infoq.com/cn/articles/hadoop-file-formatHadoop 作为MR 的开源实现,一直以动态运行解析文件格式并获得比MPP数据库快上几倍的装载速度为优势。不过,MPP数据库社区也一直批评Hadoop由于文件格式并非为特定目的而建,因此序列化和反序列化的成本过高[7]。本文介绍Hadoop目前已有的几种文件格式,分析其特点、开销及使用场景。转载 2013-07-23 10:42:06 · 732 阅读 · 0 评论 -
windows上hadoop安装(cygwin等)
http://cjnetwork.iteye.com/blog/1474745hadoop运行方式 1、本机方式:不做任何配置 2、伪分布式:pseudo distributed 3、全分布式:full distributed 由于hadoop只能运行于linux(unix类型)操作系统上,因此在windows上做开发、测试,需要安装cygwin来模拟linux环境。转载 2013-07-23 11:11:47 · 1142 阅读 · 0 评论 -
Jaql: A JSON Query Language
http://code.google.com/p/jaql/wiki/JaqlOverviewIntroductionIn this document, we introduce Jaql, a query language for JavaScript Object Notation orJSON. Although Jaql has been designed specifical转载 2013-08-02 16:34:21 · 1410 阅读 · 0 评论 -
基于zookeeper实现的分布式锁
http://www.jiacheo.org/blog/122zookeeper是hadoop下面的一个子项目, 用来协调跟hadoop相关的一些分布式的框架, 如hadoop, hive, pig等, 其实他们都是动物, 所以叫zookeeper(本人歪歪).zookeeper其实是集群中每个节点都维护着一棵相同的树, 树的结构跟linux的目录结构的概念差不多, 以/为跟节点, 下边可转载 2013-10-24 13:49:17 · 731 阅读 · 0 评论 -
计算机存储容量单位
http://dict.youdao.com/search?q=bk%3A%E5%90%89%E5%AD%97%E8%8A%82&keyfrom=wiki.related&le=eng转载 2014-04-14 14:59:40 · 785 阅读 · 0 评论 -
Hadoop学习路线图
http://blog.csdn.net/zhoudaxia/article/details/8801769按照这个路线图来学习即可。 1、M. Tim Jones的三篇文章: 用Hadoop进行分布式数据处理第1部分(入门):http://www.ibm.com/developerworks/cn/linux/l-hadoop-1/index.html 用Had转载 2014-04-10 14:24:13 · 673 阅读 · 0 评论 -
How-to: Use the ShareLib in Apache Oozie
http://blog.sina.com.cn/s/blog_63874ea80102ux2z.html1. 从网上下载oozie安装包,下载路径为http://archive.cloudera.com/cdh5/cdh/5/oozie-4.0.0-cdh5.0.1.tar.gz,上传文件到服务器,例如上传到/home/转载 2015-08-16 00:19:56 · 1370 阅读 · 0 评论