![](https://img-blog.csdnimg.cn/20190918140053667.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Hadoop平台入门基础
包括Hadoop平台的搭建部署,以及一些实战项目
Chensay.
这个作者很懒,什么都没留下…
展开
-
报错:Hbase集群部署掉:Datanode、ResourceManager、NodeManager
Hbase集群部署掉:Datanode、ResourceManager、NodeManager怎么说呢,又见面了,其他掉就算了,Datanode也掉![root@chensy ~]# jps2720 QuorumPeerMain12693 NameNode13144 JournalNode13656 HRegionServer13309 DFSZKFailoverController13949 Jps停掉集群以及所有进程[root@chensy ~]# stop-all.sh[roo原创 2021-05-13 09:49:39 · 569 阅读 · 0 评论 -
MapReduce开发程序调试报错:org.apache.hadoop.fs.FileAlreadyExistsException: Parent path is not a directory:/t
已解决:org.apache.hadoop.fs.FileAlreadyExistsException: Parent path is not a directory: /tmp hadoop-yarnhadoop大数据MapReduce开发Java程序没有问题,hdfs和yarn进程也没有问题,目录文件没有问题,在调试程序报错:删除该报错文件[root@chensy software]# hadoop fs -rm -r -skipTrash /tmpDeleted /tmp已解原创 2021-04-08 11:38:26 · 1593 阅读 · 0 评论 -
已解决:Hadoop启动HDFS时,丢失Namenode/Datanode。
已解决:Hadoop启动HDFS时,丢失namenode进程。There appears to be a gap in the edit log. We expected txid 1, but got txid 102.[root@chensy logs]# hadoop namenode -recover #也许是namenode数据元丢失DEPRECATED: Use of this script to execute hdfs command is deprecated.Instead原创 2021-03-25 11:34:20 · 1118 阅读 · 0 评论 -
Hadoop伪分布搭建
Hadoop伪分布搭建实验环境:在此环境下修改配置文件(以下文件都是出现在hadoop安装路径下的etc/hadoop目录下,以及改动内容都是加些配置)hadoop.env.sh# The java implementation to use.export JAVA_HOME=/data/module/jdk1.8.0_144 #jdk的安装路径core-site.xml#在上图标签间加入以下内容<!-- 指定 HDFS 中 NameNode 的地址 低版本是8020端口原创 2021-03-12 16:59:49 · 417 阅读 · 0 评论 -
搭建Hadoop开发环境(Linux系统)
搭建hadoop开发环境实验环境:centos7图形化界面,配置好固定IP,保证虚拟机和物理机互通,关闭防火墙。配置好固定IP防火墙关闭查看主机名字hostname,将主机名字映射到虚拟机IP上使用远程工具将jdk以及hadoop的压缩包传到虚拟机上,接着解压tar -zxvf jdk-8u144-linux-x64.tar.gz -C /data/moduletar -zxvf hadoop-2.7.3.tar.gz -C /data/module设置全局变量[root@ch原创 2021-03-12 16:25:21 · 206 阅读 · 0 评论