![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 83
mrking0105
这个作者很懒,什么都没留下…
展开
-
namenode无法启动,解决
hadoop集群关闭后,重新开启Namenode无法启动。现象:执行start-all.sh后,在master机器是哪个,jps里虽然显示有NameNode进程,但是web查看hdfs无法进行,也无法执行hadoop fs相关命令。查看logs/hadoop-hadoop-namenode-xxx.log发现在启动过程的读edits文件花了3000+s,读完这个...原创 2011-10-13 16:24:00 · 1192 阅读 · 0 评论 -
pig 部署在hadoop 23上
pig-0.10.0版本是支持hadoop 23的。但是需要重新编译pig;编译命令如下:[code="shell"]ant -Dhadoopversion=23[/code]编译好之后,把原来的pig的jar包删了就行。当然了,hadoop的几个环境变量还是要配置的:HADOOP_HOME参考资料:http://hortonworks.com/blog...原创 2012-09-16 10:32:44 · 86 阅读 · 0 评论 -
hadoop 2.0.1 HA配置部署
今天折腾HA,那叫一个顺利啊,我原本准备花一周时间来折腾的,结果今天一天基本搞定,没遇到什么大问题。要写总结,我也不知道写啥了。大致流程罗列一下吧。主要分三步,第一步,弄清楚HA原理架构,这个参考官方文档,说的很清楚。http://hadoop.apache.org/docs/r2.0.0-alpha/hadoop-yarn/hadoop-yarn-site/HDFSH...原创 2012-09-12 22:26:12 · 146 阅读 · 0 评论 -
fuse=dfs 安装
其实不是那么难,但是各种小问题搞了我一天。1,确认你的机器安装了以下工具,可以通过yum安装:yum install xxxxx[quote]automakeautoconflibtool[/quote]这些工具,是编译hadoop源码是需要用到的。这一点狠狠很重要2,下载,安装ant下载:apache-ant-1.8.4-bin.tar.gz...原创 2012-08-28 22:34:57 · 143 阅读 · 0 评论 -
hadoop 2.0.1 使用distcp问题解决
幸幸苦苦安装好了新版hadoop,然后辛辛苦苦调通,可以跑mr了。然后用distcp从1.0.3的集群拷数据到2.0.1的集群中。首先是由于版本不同,不能用hdfs协议直接考,需要用http协议。即不能用 distcp hdfs://src:54310/foo hdfs://dst:54310/而要用 distcp hftp://src:50070/foo hdfs://d...原创 2012-08-26 12:55:28 · 576 阅读 · 0 评论 -
hadoop 2.0.1配置纪要
折腾了一天一夜。到运行mr任务时卡住了,一直报错,说找不到hadoop的Congfiguration类。我尝试把hadoop包也打到运行的jar里面,尝试,有报错找不到其他的类。反正问题就是,application运行时,找不到相应的jar包。折腾了整整一晚上,最后搞定,说实话,我都不知道是改了哪里搞定的。注意一点,系统环境变量/etc/profile,hado...原创 2012-08-26 12:55:14 · 68 阅读 · 0 评论 -
尝试bigtop
无意中在cloudera网站上看到的bigtop介绍:http://www.cloudera.com/blog/2012/04/apache-bigtop-0-3-0-incubating-has-been-released/Apache Bigtop 0.3.0 (incubating) is now available. This is the first fully integr...原创 2012-04-14 20:47:11 · 269 阅读 · 0 评论 -
zz hadoop常见问题
http://www.hadoopor.com/thread-71-1-1.htmlHadoop技术论坛注册 登录 论坛 导航 RSSHadoop技术论坛 » Hadoop综合 » Hadoop使用常见问题以及解决方法 123下一页返回列表 发帖版主Rank: 7Rank: 7Rank: 7十级勋章 ...原创 2012-04-12 21:30:24 · 148 阅读 · 0 评论 -
hadoop 0.23 配置(启动、跑mapRedcue、web UI)
启动有几个部分:1,hdfs;其中包括、namenode、datanode、secondaryNamenode、backupNode在namenode上执行:./start-dfs.sh 即可启动nn、dn、snn,backupNode需要在backupNode上去执行:nohup ./hdfs namenode -backup > backupNode.out &2,...原创 2012-03-04 20:24:59 · 106 阅读 · 0 评论 -
hadoop 0.23 配置、安装、升级(YARN 与 log路径 )
yarn的配置比hdfs那几个点点简单多了,网上随便找个教程应该都可以搞定。遇到的几个问题,记录以下。1,尼玛yarn-env.sh 与 hadoop-env.sh,启动dfs的时候只会读取hadoop-env.sh, 启动yarn时,运行./start-yarn.sh,会先执行hadoop-env.sh再执行yarn-env.sh,也就是说后者级别高,会覆盖前者。...原创 2012-03-04 12:30:26 · 106 阅读 · 0 评论 -
hadoop 0.23 配置、安装、升级(HDFS篇)
折腾了一天,装0.23的hdfs。版本是0.23.1官方文档写的这个是alpha,折腾了一下午,这个尼玛果然是alpha,一堆东西有问题。废话少说,直入主题。首先是下载官网上的安装包。官网上也推荐把hdfs、mapred、yarn三个帐号分开。配置ssh这里就不说了。0.23的目录结构跟0.20.2比改动很大,这里大概说明下:1,首先所有...原创 2012-03-03 19:53:03 · 82 阅读 · 0 评论 -
hadoop lzo配置
这个东西,看来很复杂,网上一搜很多资料。总的来说就是一,需要编译hadoop lzo部分的代码,然后添加到hadoop lib里面。二,然后在core-site.xml、mapred-site.xml、hadoop-env.sh里面加几个参数,三,重启集群就ok了。虽然看上去就三步,不过编译hadoop lzo部分的代码还是有点小麻烦的。现在主要记录下这块把。...2012-05-13 23:27:59 · 94 阅读 · 0 评论 -
Hadoop升级,CDH3B3 to CDH3U2
只是升级hadoop和Hbase两个组件。参考的主要是http://www.iteye.com/topic/515848和http://caibinbupt.iteye.com/blog/283811分割线---转载部分----1:运行dfsadmin -upgradeProgress status 检查是否存在备份 如果是第一次升级 就不存在备份2:备...原创 2011-10-30 10:54:44 · 126 阅读 · 0 评论 -
HBase错误处理记录
错误一,hbase版本统一报出一堆getMaster的错误,或者各种看不懂的错误,结果发现是部署的hbase版本和,开发程序依赖的hbase版本不匹配。所以版本问题首先要解决,统一版本。错误二,伪分布和单机模式要区别。hbase-site.xml中有个“hbase.cluster.distributed”参数,如果这个参数为false,则意味着hbase将依赖的是本地文件系统来建立...原创 2011-10-28 09:22:30 · 115 阅读 · 0 评论 -
hadoop 批量移除 dataNode
其实就是编辑一个文本,文本内容就是写出要移除机器的ip地址。然后在mapred-site.xml 设置dfs.hosts.exclude参数,其值为刚提到ip地址文件的路径。然后执行hadoop dfsadmin -refreshNodesok,这个时候,机器就会把那些有待移除的节点上的数据,开始搬移。其实这个时间比我想象的要快,具体多久,也没注意,出去吃顿饭,两个多小时移除了大概...2011-08-02 21:48:25 · 368 阅读 · 0 评论 -
hbase启动失败解决
因为一个程序把hadoop集群整死了。集群重启后,hbase死活无法正常启动。现象:master上HMaster进程有,slaves上的zookeeper和regionserver进程也有,但是web无法访问hbase,hbase shell也起不来。总之,hbase无法提供服务。查看hbase master日志,发现启动过程中,对hdfs/hbase/.log...原创 2011-10-21 20:43:48 · 876 阅读 · 0 评论 -
hadoop 2.0.1-alpha上部署 oozie-3.2.0
不知道为什么bin/addwar.sh里面说只支持0.20.x,于是修改这个文件,addhadoopjar函数里面添加内容,修改后的函数为:[code="shell"]#get the list of hadoop jars that will be injected based on the hadoop versionfunction getHadoopJars() {...原创 2012-09-21 12:33:39 · 65 阅读 · 0 评论