- 博客(14)
- 收藏
- 关注
RSS订阅原创 从Java代码远程提交YARN MapReduce任务
在Hadoop上运行MapReduce任务的标准做法是把代码打包到jar里面，上传到服务器，然后用命令行启动。如果你是从一个Java应用中想要启动一个MapReduce，那么这个方法真是又土又麻烦。其实YARN是可以通过Java程序向Hadoop集群提交MapReduce任务的。与普通的任务不同的是，远程提交的Job由于读不到服务器上的mapred-site.xml和yarn-site.xml
2013-11-22 15:28:03
8505
原创 Hadoop YARN的安装配置
最近配置了Hadoop的新MapReduce框架：YARN。总体上是按照CDH的文档配置的：http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH4/4.2.1/CDH4-Installation-Guide/cdh4ig_topic_11_4.html。但是实际应用中发现这个文档里好多东西都没说全，自己补充了一些。这里
2013-11-22 14:43:38
4897
原创 Oracle CDC配置：Asynchronous HotLog模式
今天参照一篇网上文档成功配置了CDC的Asynchronous HotLog模式。原文在：http://psoug.org/reference/cdc_demo2.html另外还有一篇，虽然是讲Synchronous模式的，也很有帮助：http://www.open-open.com/doc/view/1b463da961c94862bcd0bcb9ca7dad6f不过我也
2013-09-02 17:12:32
2181
原创 Oracle ORA-29540: 类oracle/CDC/PublishApi不存在
在配置CDC的时候，报错ORA-29540: 类oracle/CDC/PublishApi不存在。这是因为CDC安装的时候没安好，重装就行了：SQL>conn /as sysdbaSQL>@'$ORACLE_HOME/rdbms/admin/rmcdc.sql'SQL>@'$ORACLE_HOME/rdbms/admin/initcdc.sql'
2013-09-02 13:48:06
2688
原创 Oracle ORA-29538错误解决
配置CDC的时候，执行dbms_cdc_publish.create_change_table的时候报出ORA-29538错误，说是没有安装JAVA。最开始还以为要安装普遍的JAVA，装了以后发现还是报这个错，于是上网查，原来是要从Oracle里面运行脚本，安装Oracle自己的JVM。如下：SQL>conn /as sysdbaSQL>@'$ORACLE_HOME\javavm\insta
2013-09-02 13:44:01
2978
原创 安装游戏时出现1624错误的解决办法
最近EA把几个老游戏打包大甩卖，1刀能买6个，于是果断出手。买完之后在Origin上面试一试，下载“死亡空间1”，安装，竟然报错，错误代码是1624。上网一查，遇到这个问题的人还挺多，而且都是安装EA的游戏时遇到的。有战地3的，有burnout的。看来EA的安装程序有些问题。作为码农，在到EA的论坛上抱怨之前，还是先尝试一下自己解决吧。到安装程序目录下面，找到MSI的日志文件，找到一句错误信息
2013-08-17 23:38:05
2713
原创 干掉HBase中的僵尸表
今天遇到了一个恶心的问题：在HBase里面drop一个表，再重建，结果出错说这个表已经存在。再删，出错说这个表不存在。在网上找，很多人说是因为.META.表里面残存了僵尸表的信息。但是在hbase shell中scan ".META."之后，没有发现任何问题。后来找到了这篇文章，解决了问题：http://arnon.me/2013/01/killing-hbase-zombie-tab
2013-07-23 12:04:18
1930
1
原创 JRUBY_HOME会造成hbase shell起动错误
今天启动hbase shell的时候遇到错误，NoMethodError。上网查了半天，找到这个网页，解决了：http://comments.gmane.org/gmane.comp.java.hadoop.hbase.user/34224简单的说，就是JRUBY_HOME这个环境变量导致HBase查找jruby的jar包时，去按照JRUBY_HOME指示的位置找了，而没有用自己的li
2013-07-23 11:47:41
884
原创 在Amoeba中使用Oracle的外链接(+)
按照之前一篇博客的方法，配置了Amoeba链接Oracle的集群。在使用过程中遇到了一个问题：Amoeba对外使用的是mysql协议，所以通过Amoeba查询的时候也得使用mysql的SQL语法。Oracle和mysql语法在很多地方还是不一样的，比如今天遇到的问题，Oracle的外链接符号(+)mysql就不认识。今天摸索了半天，找到一个解决办法，虽然不是很完美的方法，不过也能解决问题。首先
2013-02-12 17:44:15
1604
原创 使用Amoeba Aladdin连接Oracle数据库
Amoeba是一个数据库代理，用他可以完成数据库Replication，Sharding，读写分离等等。Amoeba本身最适合mysql数据库，但是使用Amoeba Aladdin也可以链接其他支持jdbc的数据库。对于mysql数据库的配置，amoeba的官方文档有比较详细的介绍，但是对于aladdin很不详细（那个官方文档好像是根本没写完的样子）。经过一番摸索，配置了用amoeba连接Orac
2013-02-12 16:48:29
1640
1
原创 改变AWS EMR中的Ganglia配置：每1秒监视一次
前言在AWS EMR（Elastic MapReduce）中，可以通过设置Bootstrap Action来为Hadoop集群安装Ganglia来监视集群的运行状况。EMR在lauch所有instance之后会自动帮你下载Ganglia，为你安装，配置，启动，不用用户自己做任何设置工作，十分方便。然而“方便”的代价就是牺牲灵活行。在大多数情况下，EMR为咱们自动配置的ganglia环境已经足够
2012-12-10 11:12:42
1871
原创 重新启动用Whirr建立的Hadoop集群
之前用Whirr在AWS EC2上创建了一个Hadoop集群，我想更改一些配置，比如hadoop-site.xml，mapred-site.xml这些文件中的系统配置。更改完之后需要重启hadoop，结果就遇到麻烦了。Whirr这个工具是有stop-services, start-services和restart-services这些命令的，但是我试了一下，竟然无效。用putty登录到master
2012-11-22 18:40:12
721
原创 Hadoop FairScheduler的权限错误
今天想试试Hadoop的FairScheduler，结果遭遇了十分诡异的问题。奋斗了一天才基本解决。这里记录一下解决过程和方法，以免日后遗忘了。首先解释一下何谓FairScheduler。在默认配置下，当我们同时提交多个MapReduce的job给一个Hadoop集群的时候，Hadoop的处理方式是把job队列式的一个一个执行。更具体一点儿说，Hadoop在同一时刻只执行一个job的Map或者
2012-11-22 18:13:21
865
翻译 在Ubuntu 64位下使用Canon iR5055N打印机
今天终于在公司电脑的ubuntu系统下安好了Canon iR5055N打印机的驱动。把方法记录一下，免得下次忘了。在Google搜了一下，发现关于Canon iR5055N打印机的内容基本都是日文的，可能这个型号主要在日本用的多吧。最终找到靠谱的文章是这篇：http://blog.kirie.net/linux/ubuntu/390.html把要点翻译记录一下：在Canon的网页上
2012-10-10 11:09:41
1156
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人