bigdata
文章平均质量分 80
iteye_10853
这个作者很懒,什么都没留下…
展开
-
使用hadoop编写mapreduce程序的注意点
编程时需要注意:1、实例化job后,不要再使用原来的configuration,而需通过job.getCongfigure()来进行参数的配置 public static Job createSubmittableJob(Configuration conf, String[] args) throws IOException { String tableName = ...原创 2012-09-27 23:47:45 · 165 阅读 · 0 评论 -
hadoop上建索引index的程序
源码\hadoop-1.0.0\src\contrib\index 主要涉及的类org.apache.hadoop.contrib.index.main.UpdateIndexorg.apache.hadoop.contrib.index.mapred.IndexUpdater org.apache.hadoop.contrib.index.mapred.Index...原创 2012-10-01 13:13:17 · 513 阅读 · 0 评论 -
windows配置hadoop-1.1.0的伪分布式环境
由于Hadoop的部分操作需要用到Linux的shell命令,所以在Windows下安装,需要安装一个Linux的运行时环境。然后,需要配置无密钥通信协议。配置完后,需要配置Hadoop的xml文件。 安装Cygwinhttp://cygwin.com/install.html Cygwin中配置sshdhttp://docs.oracle.com/cd/E24628_...原创 2012-11-25 14:26:54 · 102 阅读 · 0 评论 -
hbase-0.94脚本hbase在cygwin的环境的bug
主要的问题,其实是Windows和Linux的classpath的分隔符不同。 问题原由:搞了一天,简单的本地默认的hbase的环境搭不起,郁闷!最后,原来是hbase脚本的bug!! Winseliu@WINSE ~/hbase-0.94.2$ bin/hbase classpathC:\cygwin\home\Winseliu\hbase-0.94.2\con...原创 2012-11-25 19:17:03 · 104 阅读 · 0 评论 -
java长时间运行后,jps失效
在部署完应用后,原本jps使用的好好的,能正确的查询到自己正在运行的java程序。 但,过了一段时间后,再使用jps来查看运行的应用时,自己运行的程序都看不到,但是自己也没有关闭这些程序啊!然而使用 ps aux | grep java 却能看到对应的进程,纳闷了很久。 然后google了一把,找到了根源所在。http://www.etcn.cn/Tech/Program/...原创 2013-01-21 11:24:34 · 309 阅读 · 0 评论 -
windows配置hadoop-1的伪分布式环境(续)
在前一篇文章中,介绍了一写常见问题的解决方法。 但是,当我重装系统,再次按照前面一篇文章( http://winseclone.iteye.com/blog/1734737 ) 安装cygwin和hadoop-1时,发现伪分布式环境使用mapred时,总是报错。(忘了,但是好像当时没有遇到过这种情况。就当是安装win8送给自己的礼物吧!)。怀疑了很多东西,配置有问题,重新自定had...原创 2013-03-24 01:14:01 · 106 阅读 · 0 评论 -
使用hadoop-eclipse-plugin插件
一直使用hadoop都没有用过hadoop-plugins插件,倒不是看不上这个插件的意思。只是个人感觉使用SecureCRT太好用了。上传一个jar直接一拉进去使用lrzsz(z-moden)就直接搞定了。 但是,只是身边搞hadoop的大部分都使用,今天略有兴致的弄了一弄,把环境hadoop-eclipse-plugins整起来了。在公司本来就使用插件来开发的,同时也看看Run-...原创 2013-03-27 01:16:23 · 311 阅读 · 0 评论 -
使用ANT实现Run-on-Hadoop功能
撇开eclipse的插件不说,如果直接在eclipse运行main方法,运行的时刻会提示map,reduce找不到的错误。其实就是没有把需要的类提供给集群环境。 看过使用hadoop-eclipse-plugin插件(http://winseclone.iteye.com/blog/1837035)最后解析的Run-on-Hadoop的实现,不难得出下面的方法。首先打包jar,然后...原创 2013-03-27 18:53:31 · 131 阅读 · 0 评论 -
masters用来启动secondarynamenode
http://blog.csdn.net/dajuezhao/article/details/5987580 写道2、secondarynamenode一般来说不应该和namenode在一起,所以,我把它配置到了datanode上。配置到datanode上,一般来说需要改以下配置文件。conf/master、conf/hdfs-site.xml和conf/core-site.xml这3个配置...原创 2013-03-30 12:43:35 · 266 阅读 · 0 评论