hadoop
shatelang
这个作者很懒,什么都没留下…
展开
-
求助?eclipse连接hbase出现如下异常
eclipse 连接hbase异常为:SLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/D:/apache/hbase/hbase-0.92.1/hbase-0.92.1/lib/slf4j-log4j12-1.5.8.jar!/org/slf4j/impl/Sta原创 2012-05-28 15:57:21 · 7208 阅读 · 6 评论 -
hive无法连接上hbase集群? 附:解决方案
异常:hive> CREATE TABLE hbase_table_1(key int, value string) > STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' > WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:val")原创 2012-06-14 18:49:40 · 16459 阅读 · 0 评论 -
很诡异,给hive中的数据表导入数据,出现的问题?
hive的路径已经加载到/etc/profile 中当前启动hive的路径是/home/hadoop/app/hive/hive0.8.1*测试数据的地址为:/home/hadoop/app/testData/book.txt' hive> load data local inpath '/home/hadoop/app/testData/book.txt' overwrite原创 2012-06-14 19:38:00 · 11827 阅读 · 5 评论 -
使用sqoop将oracle数据导入hdfs集群
集群环境: hadoop1.0.0 hbase0.92.1 zookeeper3.4.3 hive0.8.1 sqoop-1.4.1-incubating__hadoop-1.0.0.tar 首先,当然前提是hadoop集群环境已经搭建好了。如没有搭建好,可以参考上期日志:http://blog.csdn.net/shatelan原创 2012-06-16 14:20:13 · 31611 阅读 · 2 评论 -
使用sqoop连接oracle 出的异常, Imported Failed: Attempted to generate class with no columns? 附解决方案
集群基本环境: 这个可以参考上一篇日志:http://blog.csdn.net/shatelang/article/details/7668885 在使用sqoop连接oracle时,也就是使用sqoop将oracle数据库中的数据导入到hdfs出的问题:ERROR tool.ImportTool: Imported Failed: Attempted to gen原创 2012-06-16 16:17:18 · 6071 阅读 · 4 评论 -
hadoop集群,突然断电后再次登录集群发现主结点连接各个datanode结点时出现:Agent admitted failure to sign using the key
然后:原创 2012-06-20 10:15:57 · 2547 阅读 · 0 评论 -
Hadoop学习全程记录——在Eclipse中运行第一个MapReduce程序
Hadoop学习全程记录——在Eclipse中运行第一个MapReduce程序操作系统:在windows下使用wubi安装了ubuntu 10.10 hadoop版本:hadoop-0.20.2.tar.gz Eclipse版本:eclipse-jee-helios-SR1-linux-gtk.tar.gz 为了学习方便这个例子在“伪分布式模式”Hadoop安装方式下开转载 2012-09-09 13:01:33 · 9009 阅读 · 0 评论 -
openstack-java-sdk maven 工程环境搭建及编译
首先 到这个 网站 download 相关的工程 https://github.com/woorea/openstack-java-sdk 这个 是一个maven 项目 ,所以 如果使用 eclipse的话 需要将maven环境搭建好 (这个可以参考相应的教程)原创 2012-12-04 09:09:44 · 7009 阅读 · 13 评论 -
异常退出后,HIVE 无法查看表?
是按照网上文档一步一步的安装好hive,不过由于集群中没有安装好mysql,所以基本上都是默认配置。hive> show tables;OKpokesTime taken: 0.063 seconds当ctrl+c 退出hive后,再次连接hive,使用show tables 突然报异常: 解决办法:删除当原创 2012-06-14 18:38:36 · 7350 阅读 · 0 评论 -
HBase log中这些日志 说明整个集群正常吗?
HMaster节点: hbase-hadoop-master-hadoop-node8.log2012-05-25 08:54:37,472 INFO org.apache.zookeeper.ClientCnxn: Unable to read additional data from server sessionid 0x1377f608e3f0006, likely serv原创 2012-05-25 10:08:29 · 3999 阅读 · 1 评论 -
大家帮我看看这是怎么回事 8个节点 其中有一个HRegionServer 没有跑起来
这个是 在节点6上的日志:hbase-hadoop-regionserver-hadoop-node6.log:这个是昨天5月24晚上启动时候写的日志,今天早上来看结果node6 jps:没有HRegionServer 进程2012年 05月 24日 星期四 23:12:36 CST Starting regionserver on hadoop-node6uli原创 2012-05-25 09:41:37 · 7023 阅读 · 3 评论 -
hadoop+hbase+zookeeper 分布式集群搭建 + eclipse远程连接hdfs 完美运行
之前有一篇文章已经很详细介绍了如何安装hadoop+hbase+zookeeper 文章标题为:hadoop+hbase+zookeeper 分布式集群搭建完美运行其网址:http://blog.csdn.net/shatelang/article/details/7605939 这篇文章要讲述的是hadoop1.0.0+hbase0.92.1+zookeeper3.3.原创 2012-05-27 09:04:34 · 26521 阅读 · 0 评论 -
hadoop+hbase+zookeeper 分布式集群搭建完美运行
备注: 搭建完(hadoop+hbase)整个集群是能够完美的运行,其中期间出过些小问题,如有一台机器和其他机器时间相差很远,结果是HRegionServer启动的时候超时,这个时候要么时间同步,或者在配置文件中添加相应的参数 我所在的实验室,整个集群是通过ccproxy代理来连接互联网,然后是远程连接整个集群原创 2012-05-27 08:41:50 · 7889 阅读 · 2 评论 -
eclipse Unable Run on hadoop? 解决办法
目前的集群环境,需要远程连接hdfs在使用eclipse3.3 是可以连接到hdfs,不过很遗憾,每次在运行程序时,run on hadoop都会报异常奇异常界面: 解决办法是: 我是使用eclipse3.7 可以完美使用,而且在linux系统下试了下连接hbase 也okmyeclipse 也能够运行所使用的插件都是原创 2012-05-29 17:04:01 · 23046 阅读 · 0 评论 -
hadoop SecondNamenode详解
SecondNamenode名字看起来很象是对第二个Namenode,要么与Namenode一样同时对外提供服务,要么相当于Namenode的HA。真正的了解了SecondNamenode以后,才发现事实并不是这样的。下面这段是Hadoop对SecondNamenode的准确定义:* The Secondary Namenode is a helper to the primary转载 2012-05-23 17:04:00 · 2660 阅读 · 0 评论 -
hadoop的namenode和secondnamenode分开部署在不同服务器
一、系统环境: Hadoop 0.20.2、JDK 1.6、Linux操作系统 二、使用背景 网上关于hadoop的集群配置,很多情况下,都是把namenode和secondnamenode部署在同一服务器上。为了降低风险,一个大的集群环境,最好是把这两个配置到不同的服务器上。三、操作 要达到这要求,需要对conf/master、conf/hdfs-site.xml转载 2012-05-23 17:40:35 · 1921 阅读 · 0 评论 -
对Hadoop /bin 下的启动文件详细分析
Hadoop Cluster的启动可以说十分简单,最简单的一种方法就是运行$HADOOP_HOME/bin/start-all.sh,我也相信绝大多数的人都是这么启动的。但是这个脚本里面到底做了些什么呢?让我们来抽丝剥茧的看一看:注:不失一般性,我们这里以dfs的启动为例子,mapred的启动道理是一样的。Dfs的启动脚本实际上是$HADOOP_HOME/bin/start-dfs.sh,转载 2012-05-23 17:50:59 · 2351 阅读 · 0 评论 -
HADOOP 之hdfs 使用手册 据说翻译的还不错 所以特地转帖
HDFS用户指南原文地址:http://hadoop.apache.org/core/docs/current/hdfs_user_guide.html译者:dennis zhuang(killme2008@gmail.com),有错误请指正,多谢。目的本文档可以作为使用Hadoop分布式文件系统用户的起点,无论是将HDFS应用在一个Hadoop集群中还是作为一个单独的转载 2012-05-23 18:00:10 · 1213 阅读 · 0 评论 -
ZooKeeper 工作原理 讲的很全面 (文章来自百度搜索研发部)
ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等。Zookeeper是hadoop的一个子项目,其发展历程无需赘述。在分布式应用中,由于工程师不能很好地使用锁机制,以及基于消息的协调机制不适合在某些应用中使用,因此需要有一种可靠的、可扩展的、分布式的、可配置的协调机制来统一系统的状态。Zookee转载 2012-05-23 19:14:16 · 1097 阅读 · 0 评论 -
Hadoop Namenode不能启动(dfs/name is in an inconsistent state)
以下转自:http://www.linuxidc.com/Linux/2012-03/56348.htm前段时间自己的本机上搭的hadoop环境(按文档的伪分布式),第一天还一切正常,后来发现每次重新开机以后都不能正常启动,在start-dfs.sh之后jps一下发现namenode不能正常启动,按提示找到logs目录下namenode的启动log发现如下异常org.apache.转载 2012-05-23 19:19:21 · 1717 阅读 · 1 评论