Hadoop
文章平均质量分 92
小满锅lock
微信公众号 小满锅
展开
-
Hadoop系列 hadoop一直处于Safe Mode
之前在docker重新搭建了hadoop,过了一段时间重新使用的时候,发现高可用的两个NameNode一直都是StandBy,然后强制一个hadoop dfsadmin -safemode leave退出Safe Mode。结果呢,发现竟然退出不了。于是查看namenode日志,发现如下错误20/04/27 03:25:12 WARN namenode.NameNodeResourceCheck...原创 2020-04-27 11:49:30 · 605 阅读 · 0 评论 -
简易数据仓库搭建
日志服务器FlumeKafkaFlume->HiveFlink实时数仓原创 2020-04-05 18:08:59 · 945 阅读 · 0 评论 -
Hadoop压缩配置
下载LZO支持包解压maven编译将编译好后的hadoop-lzo-0.4.20.jar 放入hadoop-2.7.2/share/hadoop/common/同步到其他主机添加配置core-site.xml<?xml version="1.0" encoding="UTF-8"?><?xml-stylesheet type="text/xsl" href="con...原创 2020-04-03 15:22:00 · 329 阅读 · 0 评论 -
Docker本地搭建Hadoop高可用,Hbase,Spark,Flink,Zookeeper集群
前期准备#镜像拉取docker pull centos7#创建一个容器,作为基础容器,后期制作为镜像docker run -it --name hadoopimages centos /bin/bash#将scala和jdk的包拷贝到容器里docker cp scala-2.11.12.tgz hadoopimages:/docker cp jdk-8u201-linux-x64.t...原创 2020-04-02 00:16:32 · 4176 阅读 · 3 评论 -
Hadoop集群入坑——突然看不到yarn的node了
Version Mismatch (Expected: 28, Received: 768 ) at org.apache.hadoop.hdfs.protocol.datatransfer.Receiver.readOpRegistered with ResourceManager as localhost:5006 with total resource of <memo...原创 2020-03-07 00:31:12 · 35451 阅读 · 2 评论