eagle0912-CSDN博客

原创 Docker入门问题记录

近来无事，学习学习新技术，安装使用Docker过程中，做为小白边看文档边安装实践，新技术总会遇到新问题，本着好记性不如烂笔头的原则，先一一记录下吧：[b]问题1：[/b]本人MBP，安装过程很简单，一拉一拽就完成了，然后打开终端运行命令瞅瞅，结果。。。[code="java"]MacBook-Pro:~$ docker run hello-worldUnable to fi...

2017-10-30 16:40:00 214

原创 No FileSystem for scheme: file 解决方法

程序打成jar包后，放到服务器上去执行，程序能够按预期去正确执行，但看到如下错误还是很不爽：[code="java"]2014-08-13 17:16:49 [WARN]-[main]-[org.apache.hadoop.hbase.util.DynamicClassLoader] Failed to identify the fs of dir /tmp/hbase-e...

2014-08-13 18:07:20 2592

原创 Hbase修改默认存储版本数

HBase默认情况下，只存储3个版本的历史数据。但在实际应用中，可能会有多于3个版本要存储，那么如何在表已建好的情况下，修改默认存储版本数尼，下面为工作记录： 1. 表下线（disable）[code="java"]hbase(main):004:0> disable 'xls'0 row(s) in 2.1050 seconds[/code]...

2014-05-22 10:55:31 3555

原创小兔子吃萝卜

一只小兔子（叫小白）有100根胡萝卜，但它现在离家有50米远！唉，可怜的小白一次最多只能搬50根胡萝卜，每走1米就要吃一根胡萝卜（只要动就得吃，吃货啊！）。。。。。。问小白几只眼睛几条腿（石化中。。。）？好啦好啦，问它最多能搬多少萝卜回家？小白很聪明呢。抱起50根撒丫子就跑，边跑边吃（1根），边吃边放（2根），当跑到16米的时候，手里就剩下2根了，这时，...

2013-11-15 11:12:09 994

原创 Hadoop Archives *.har文件解析备忘

mark:HarFileSystemsource:hadoop-common-2.0.0-cdh4.3.0.jar 为了节省NN的元数据，可以将HDFS上的不再变化的小文件归档。Hadoop archives是Hadoop自带的特殊的档案格式。一个Hadoop archive对应一个文件系统目录。 Hadoop archive的扩展名是*.har。Hadoop archi...

2013-09-26 11:13:26 503

原创 Hbase高可用：backup master

前几天搞测试Hbase的master切换时，当把master挂掉时，配置的backup master并没有自动拉起，搞了好久都没有搞通。查看hbase提供的zookeeper dump 页面（知道是哪不？不知道那就告诉你：http://server88:60010/zk.jsp），也显示没有backup master，信息如下： HBase is rooted a...

2013-08-24 01:12:25 995

原创 zookeeper 集群安装

[size=medium][b]前言：[/b][/size] 之前使用hbase时并没有单独安装zookeeper，直接用了它自带的zookeeper。因为现在要搞hadoop的HA,所以决定单独搞出一套。安装很简单，就简单带过了。 [size=medium][b]安装：[/b][/size] [b]1. 准备安装包[/b]...

2013-08-24 00:34:53 92

原创 CDH4 动态添加datanode和nodemanager

想要在运行中的hadoop集中中动态添加或删除节点，肿么办呢？【准备工作：】 1. 如是添加节点，则需要将所有新增数据节点上的Hadoop环境都已经按已有环境部署完毕（host、ssh等） 2. 需要的配置项： (1) dfs.hosts 配置存放待上线数据节点名字文件的绝对路径。（俺把所...

2013-08-23 22:02:04 288

原创 Hadoop的DistCp异常处理

CDH4中使用distcp，目前还木有成功，把异常信息记录下1) Connection Refused 解决：http://wiki.apache.org/hadoop/ConnectionRefused2)Protocol message end-group tag did not match expected tag 未解决，卡在这了。。。哪位大...

2013-08-21 22:49:45 1071

原创 Hadoop的DistCp

详细参见：http://hadoop.apache.org/docs/r0.19.0/distcp.html#cpverDistCp（分布式复制）是一种hadoop提供的工具，用于大集群间大量数据复制。[size=medium][b]基本的用法：[/b][/size][b]1.DistCp最常见的调用是一个集群之间的拷贝[/b]bash$ hadoop distcp hdf...

2013-08-21 22:14:17 181

总是调试不出来的Ehcache集群缓存

阿门！服务器扩容需要一个能分布式的缓存，不想用主/从式，所以选择了Ehcache，但调试了二天仍然没有实现数据的共享，不管是自动还是手动设置，更多的情况下只是单方面的实现了数据的拷贝，有时候突然就可以了。还没等兴奋劲过了，又不行了。真愁银啊。不想调下去了。换Cassadra，再战！阿门！！！...

2012-04-17 19:18:22 126

hadoop初体验之 —— 错误

将错误整理下，汇总于此： 1. [b]Task process exit with nonzero status of 1[/b]，如下图：[align=center][img]http://dl.iteye.com/upload/attachment/0064/6922/e53dab35-b2fb-3764-a3b3-3e520520c4b9.png[/img][/al...

2012-03-12 17:23:04 111

eagle0912的博客