Kubernetes搭建Hadoop服务

最新推荐文章于 2024-05-09 21:52:31 发布
最新推荐文章于 2024-05-09 21:52:31 发布
阅读量406 收藏 1
点赞数
文章标签： 大数据 运维
原文链接：http://www.cnblogs.com/00986014w/p/9732796.html
版权

网上使用Kubernetes搭建Hadoop的资料较少，因此自己尝试做了一个，记录下过程和遇到的问题。

一、选择镜像

首先从官方Docker Hub中选择比较热门的镜像。这里选择了bde2020的系列镜像，因为其Githab上的资料比较完善。https://github.com/big-data-europe/docker-hadoop

二、使用docker-compose进行测试

网站上给出的是使用docker-compose运行此hadoop镜像的方法，按照网站上操作即可。

docker-compose是Docker自带的容器编排工具，操作简单，只需要将docker-compose.yml和hadoop.env文件下载到本地，使用docker-compose up命令即可启动。停止服务执行docker-compose down命令。

三、编写各个组件的Kubernetes yaml文件

上面的docker-compose案例虽然简单，但是功能较少，且运行于同一台机器上。我们要做的就是把docker-compose的yaml文件的语法改写为Kubernetes的yaml文件语法。

1.创建configmap

配置文件可以通过configmap录入。参考hadoop.env，编写configmap.yaml如下：

apiVersion: v1
kind: ConfigMap
metadata:
  name: hadoop-config
data:
  CORE_CONF_fs_defaultFS: "hdfs://namenode:8020"
  CORE_CONF_hadoop_http_staticuser_user: "root"
  CORE_CONF_hadoop_proxyuser_hue_hosts: "*"
  CORE_CONF_hadoop_proxyuser_hue_groups: "*"

  HDFS_CONF_dfs_webhdfs_enabled: "true"
  HDFS_CONF_dfs_permissions_enabled: "false"
 
  YARN_CONF_yarn_log___aggregation___enable: "true"
  YARN_CONF_yarn_resourcemanager_recovery_enabled: "true"
  YARN_CONF_yarn_resourcemanager_store_class: "org.apache.hadoop.yarn.server.resourcemanager.recovery.FileSystemRMStateStore"
  YARN_CONF_yarn_resourcemanager_fs_state___store_uri: "/rmstate"
  YARN_CONF_yarn_nodemanager_remote___app___log___dir: "/app-logs"
  YARN_CONF_yarn_log_server_url: "http://historyserver:8188/applicationhistory/logs/"
  YARN_CONF_yarn_timeline___service_enabled: "true"
  YARN_CONF_yarn_timeline___service_generic___application___history_enabled: "true"
  YARN_CONF_yarn_resourcemanager_system___metrics___publisher_enabled: "true"
  YARN_CONF_yarn_resourcemanager_hostname: "resourcemanager"
  YARN_CONF_yarn_timeline___service_hostname: "historyserver"
  YARN_CONF_yarn_resourcemanager_address: "resourcemanager:8032"
  YARN_CONF_yarn_resourcemanager_scheduler_address: "resourcemanager:8030"
  YARN_CONF_yarn_resourcemanager_resource___tracker_address: "resourcemanager:8031"

2.创建namenode

hadoop节点间的通信使用hostname，但是pod在创建时会被系统随机指定一个hostname并写入自己的/etc/hosts文件中，从而造成节点间的通信问题，出现UnresolvedAddressException等错误信息。这里坑了我好久，查了很多资料才发现问题。

解决方法就是在service中将clusterIP指定为None，并在deployment中指定hostname与service名称一致。为了避免混淆，后面的service name、container name、hostname等都设为相同的值。

注意service中clusterIP一定要设定为None，否则使用yarn处理MapReduce任务时会报错！

namenode需要挂载volume，因此先编写pvc.yaml（需要先创建StorageClass，具体可参考我之前的博客https://www.cnblogs.com/00986014w/p/9406962.html）：

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: hadoop-namenode-pvc
spec:
  storageClassName: nfs
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 1Gi

　　

编写namenode的service和deployment文件namenode.yaml如下（把所有可能用到的端口都暴露了，其实不需要这么多）：

apiVersion: v1
kind: Service
metadata:
  name: namenode
  labels:
    name: namenode
spec:
  ports:
    - port: 50070
      name: http
    - port: 8020
      name: hdfs
    - port: 50075
      name: hdfs1
    - port: 50010
      name: hdfs2
    - port: 50020
      name: hdfs3
    - port: 9000
      name: hdfs4
    - port: 50090
      name: hdfs5
    - port: 31010
      name: hdfs6
    - port: 8030
      name: yarn1
    - port: 8031
      name: yarn2
    - port: 8032
      name: yarn3
    - port: 8033
      name: yarn4
    - port: 8040
      name: yarn5
    - port: 8042
      name: yarn6
    - port: 8088
      name: yarn7
    - port: 8188
      name: historyserver
  selector:
    name: namenode
  clusterIP: None
---
apiVersion: apps/v1beta1
kind: Deployment
metadata:
  name: namenode
spec:
  replicas: 1
  template:
    metadata:
      labels:
        name: namenode
    spec:
      hostname: namenode
      containers:
        - name: namenode
          image: bde2020/hadoop-namenode:1.1.0-hadoop2.7.1-java8
          imagePullPolicy: IfNotPresent
          ports:
            - containerPort: 50070
              name: http
            - containerPort: 8020
              name: hdfs
            - containerPort: 50075
              name: hdfs1
            - containerPort: 50010
              name: hdfs2
            - containerPort: 50020
              name: hdfs3
            - containerPort: 9000
              name: hdfs4
            - containerPort: 50090
              name: hdfs5
            - containerPort: 31010
              name: hdfs6
            - containerPort: 8030
              name: yarn1
            - containerPort: 8031
              name: yarn2
            - containerPort: 8032
              name: yarn3
            - containerPort: 8033
              name: yarn4
            - containerPort: 8040
              name: yarn5
            - containerPort: 8042
              name: yarn6
            - containerPort: 8088
              name: yarn7
            - containerPort: 8188
              name: historyserver
          env:
            - name: CLUSTER_NAME
              value: test
          envFrom:
            - configMapRef:
                name: hadoop-config
          volumeMounts:
            - name: hadoop-namenode
              mountPath: /hadoop/dfs/name
      volumes:
        - name: hadoop-namenode
          persistentVolumeClaim:
            claimName: hadoop-namenode-pvc

2.datanode

创建3个datanode。以datanode1为例，编写datanode的datanode.yaml如下（pvc与namenode的类似，不贴出来了）：

apiVersion: v1
kind: Service
metadata:
  name: datanode1
  labels:
    name: datanode1
spec:
  ports:
    - port: 50070
      name: http
    - port: 8020
      name: hdfs
    - port: 50075
      name: hdfs1
    - port: 50010
      name: hdfs2
    - port: 50020
      name: hdfs3
    - port: 9000
      name: hdfs4
    - port: 50090
      name: hdfs5
    - port: 31010
      name: hdfs6
    - port: 8030
      name: yarn1
    - port: 8031
      name: yarn2
    - port: 8032
      name: yarn3
    - port: 8033
      name: yarn4
    - port: 8040
      name: yarn5
    - port: 8042
      name: yarn6
    - port: 8088
      name: yarn7
    - port: 8188
      name: historyserver
  selector:
    name: datanode1
  clusterIP: None
---
apiVersion: apps/v1beta1
kind: Deployment
metadata:
  name: datanode1
spec:
  replicas: 1
  template:
    metadata:
      labels:
        name: datanode1
    spec:
      hostname: datanode1
      containers:
        - name: datanode1
          image: bde2020/hadoop-datanode:1.1.0-hadoop2.7.1-java8
          imagePullPolicy: IfNotPresent
          ports:
            - containerPort: 50070
              name: http
            - containerPort: 8020
              name: hdfs
            - containerPort: 50075
              name: hdfs1
            - containerPort: 50010
              name: hdfs2
            - containerPort: 50020
              name: hdfs3
            - containerPort: 9000
              name: hdfs4
            - containerPort: 50090
              name: hdfs5
            - containerPort: 31010
              name: hdfs6
            - containerPort: 8030
              name: yarn1
            - containerPort: 8031
              name: yarn2
            - containerPort: 8032
              name: yarn3
            - containerPort: 8033
              name: yarn4
            - containerPort: 8040
              name: yarn5
            - containerPort: 8042
              name: yarn6
            - containerPort: 8088
              name: yarn7
            - containerPort: 8188
              name: historyserver
          envFrom:
            - configMapRef:
                name: hadoop-config
          volumeMounts:
            - name: hadoop-datanode1
              mountPath: /hadoop/dfs/data
      volumes:
        - name: hadoop-datanode1
          persistentVolumeClaim:
            claimName: hadoop-datanode1-pvc

 

创建完成后，一定要用kubectl logs查看一下日志，确认没有错误信息后再继续下一步。

3.resourcemanager

编写resourcemanager.yaml文件如下：

apiVersion: v1
kind: Service
metadata:
  name: resourcemanager
  labels:
    name: resourcemanager
spec:
  ports:
    - port: 50070
      name: http
    - port: 8020
      name: hdfs
    - port: 50075
      name: hdfs1
    - port: 50010
      name: hdfs2
    - port: 50020
      name: hdfs3
    - port: 9000
      name: hdfs4
    - port: 50090
      name: hdfs5
    - port: 31010
      name: hdfs6
    - port: 8030
      name: yarn1
    - port: 8031
      name: yarn2
    - port: 8032
      name: yarn3
    - port: 8033
      name: yarn4
    - port: 8040
      name: yarn5
    - port: 8042
      name: yarn6
    - port: 8088
      name: yarn7
    - port: 8188
      name: historyserver
  selector:
    name: resourcemanager
  clusterIP: None
---
apiVersion: apps/v1beta1
kind: Deployment
metadata:
  name: resourcemanager
spec:
  replicas: 1
  template:
    metadata:
      labels:
        name: resourcemanager
    spec:
      hostname: resourcemanager
      containers:
        - name: resourcemanager
          image: bde2020/hadoop-resourcemanager:1.1.0-hadoop2.7.1-java8
          imagePullPolicy: IfNotPresent
          ports:
            - containerPort: 50070
              name: http
            - containerPort: 8020
              name: hdfs
            - containerPort: 50075
              name: hdfs1
            - containerPort: 50010
              name: hdfs2
            - containerPort: 50020
              name: hdfs3
            - containerPort: 9000
              name: hdfs4
            - containerPort: 50090
              name: hdfs5
            - containerPort: 31010
              name: hdfs6
            - containerPort: 8030
              name: yarn1
            - containerPort: 8031
              name: yarn2
            - containerPort: 8032
              name: yarn3
            - containerPort: 8033
              name: yarn4
            - containerPort: 8040
              name: yarn5
            - containerPort: 8042
              name: yarn6
            - containerPort: 8088
              name: yarn7
            - containerPort: 8188
              name: historyserver
          envFrom:
            - configMapRef:
                name: hadoop-config

 

4.nodemanager

编写nodemanager.yaml如下：

apiVersion: v1
kind: Service
metadata:
  name: nodemanager1
  labels:
    name: nodemanager1
spec:
  ports:
    - port: 50070
      name: http
    - port: 8020
      name: hdfs
    - port: 50075
      name: hdfs1
    - port: 50010
      name: hdfs2
    - port: 50020
      name: hdfs3
    - port: 9000
      name: hdfs4
    - port: 50090
      name: hdfs5
    - port: 31010
      name: hdfs6
    - port: 8030
      name: yarn1
    - port: 8031
      name: yarn2
    - port: 8032
      name: yarn3
    - port: 8033
      name: yarn4
    - port: 8040
      name: yarn5
    - port: 8042
      name: yarn6
    - port: 8088
      name: yarn7
    - port: 8188
      name: historyserver
  selector: 
    name: nodemanager1
  clusterIP: None
---
apiVersion: apps/v1beta1
kind: Deployment
metadata:
  name: nodemanager1
spec:
  replicas: 1
  template:
    metadata:
      labels:
        name: nodemanager1
    spec:
      hostname: nodemanager1
      containers:
        - name: nodemanager1
          image: bde2020/hadoop-nodemanager:1.1.0-hadoop2.7.1-java8
          imagePullPolicy: IfNotPresent
          ports:
            - containerPort: 50070
              name: http
            - containerPort: 8020
              name: hdfs
            - containerPort: 50075
              name: hdfs1
            - containerPort: 50010
              name: hdfs2
            - containerPort: 50020
              name: hdfs3
            - containerPort: 9000
              name: hdfs4
            - containerPort: 50090
              name: hdfs5
            - containerPort: 31010
              name: hdfs6
            - containerPort: 8030
              name: yarn1
            - containerPort: 8031
              name: yarn2
            - containerPort: 8032
              name: yarn3
            - containerPort: 8033
              name: yarn4
            - containerPort: 8040
              name: yarn5
            - containerPort: 8042
              name: yarn6
            - containerPort: 8088
              name: yarn7
            - containerPort: 8188
          envFrom:
            - configMapRef:
                name: hadoop-config

 

5.historyserver

pvc与前面类似。编写historyserver.yaml如下：

apiVersion: v1
kind: Service
metadata:
  name: historyserver
  labels:
    name: historyserver
spec:
  ports:
    - port: 50070
      name: http
    - port: 8020
      name: hdfs
    - port: 50075
      name: hdfs1
    - port: 50010
      name: hdfs2
    - port: 50020
      name: hdfs3
    - port: 9000
      name: hdfs4
    - port: 50090
      name: hdfs5
    - port: 31010
      name: hdfs6
    - port: 8030
      name: yarn1
    - port: 8031
      name: yarn2
    - port: 8032
      name: yarn3
    - port: 8033
      name: yarn4
    - port: 8040
      name: yarn5
    - port: 8042
      name: yarn6
    - port: 8088
      name: yarn7
    - port: 8188
      name: historyserver
  selector:
    name: historyserver
  clusterIP: None
---
apiVersion: apps/v1beta1
kind: Deployment
metadata:
  name: historyserver
spec:
  replicas: 1
  template:
    metadata:
      labels:
        name: historyserver
    spec:
      hostname: historyserver
      containers:
        - name: historyserver
          image: bde2020/hadoop-historyserver:1.1.0-hadoop2.7.1-java8
          imagePullPolicy: IfNotPresent
          ports:
            - containerPort: 50070
              name: http
            - containerPort: 8020
              name: hdfs
            - containerPort: 50075
              name: hdfs1
            - containerPort: 50010
              name: hdfs2
            - containerPort: 50020
              name: hdfs3
            - containerPort: 9000
              name: hdfs4
            - containerPort: 50090
              name: hdfs5
            - containerPort: 31010
              name: hdfs6
            - containerPort: 8030
              name: yarn1
            - containerPort: 8031
              name: yarn2
            - containerPort: 8032
              name: yarn3
            - containerPort: 8033
              name: yarn4
            - containerPort: 8040
              name: yarn5
            - containerPort: 8042
              name: yarn6
            - containerPort: 8088
              name: yarn7
            - containerPort: 8188
          envFrom:
            - configMapRef:
                name: hadoop-config 
          volumeMounts:
            - name: hadoop-historyserver
              mountPath: /hadoop/yarn/timeline
      volumes:
        - name: hadoop-historyserver
          persistentVolumeClaim:
            claimName: hadoop-historyserver-pvc

 

以上几部分都用kubectl create创建后，参考GitHub，按照这5个部件对应的endpoint加上对应的端口，在浏览器上测试（需要在集群内部的某台机器上进行操作），如果能够正确显示Hadoop的页面，说明搭建成功！

6.测试hdfs

简单地测试一下节点间是否能够正常通行。

使用kubectl exec -it namenode /bin/bash进入namenode内部，执行hdfs dfs -put /etc/issue /，看看是否能够正常上传。

7.测试yarn

进入namenode容器内部，按照https://www.cnblogs.com/ccskun/p/7820977.html中的操作进行测试，看看任务能否正常执行，看看resourcemanager的web页面能否看到finish的任务。

转载于:https://www.cnblogs.com/00986014w/p/9732796.html

weixin_30375427
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
基于Kubernetes平台部署Hadoop实践.docx
10-14
基于Kubernetes平台部署Hadoop实践.docx
k8s搭建hadoop
牛肉胡辣汤
03-22 1273
通过本文介绍，您学习了如何使用Kubernetes搭建Hadoop集群，实现了大数据处理的分布式部署。这种部署方式可以更好地利用资源，实现高可用性和扩展性。希望本文对您有所帮助，祝您在大数据领域取得成功！
在k8s中部署hadoop后的使用，包括服务端及客户端（客户端的安装及与k8s服务的对接）
最新发布
小白白的博客
05-09 1258
在和这两篇文章中，说明了如何通过helm和k8s部署hadoop，接下来就看怎么在部署好的集群中使用hadoop了。
k8s部署hadoop
小白白的博客
03-15 601
配置和模板参考helm仓库：https://artifacthub.io/packages/helm/apache-hadoop-helm/hadoop。
K8S部署Hadoop集群
u011572675的博客
07-14 6302
K8S部署Hadoop集群 1、拉取镜像 到docker hub上拉取Hadoop镜像 [root@k8s-master hadoop]# docker pull kubeguide/hadoop:latest [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-V4SnZ1pt-1594707422066)(_media/image-20200616174310375.png)] 2、复制镜像到其他节点 # 打包镜像到本地 [root@k8s-master hadoop]# d
hadoop on k8s : What’s the ‘Hadoop-la’ about Kubernetes
10-26
- 平台构建块而非完整解决方案：Kubernetes提供了基础的构建块，用户可以根据自己的需求搭建定制化的解决方案。 - 主要用途：无状态/微服务部署，但正在向有状态应用领域发展。 - **核心概念**： - **Pod**：...
helm安装私有仓库及搭建hadoop实例过程文档
06-07
Helm是Kubernetes生态中的一个关键组件，用于管理Kubernetes应用的部署和服务生命周期。它通过定义一个称为Chart的包格式，可以方便地打包、发布和管理应用程序。本文将深入讲解Helm的安装，以及如何利用Helm搭建...
搭建大数据大一统环境.zip
07-29
"搭建大数据大一统环境.zip"这个压缩包文件显然是为了指导用户如何构建这样的环境，它包含了多个关键组件的安装步骤和指南，如Hadoop、Hive、Sqoop、HBase、Phoenix、Spark、Kafka、Flume、Zookeeper以及Flink。...
私有化对象存储服务器搭建软件MinIO
06-11
MinIO是一款开源的对象存储服务器，特别适合用于搭建私有化的云存储解决方案。它设计的目标是提供高可用性、高性能和可扩展性，适用于大数据、容器化环境和边缘计算场景。MinIO采用现代化的Go语言编写，因此具备轻量...
K8S部署Hadoop集群（七）
赵玉的专栏
06-04 1156
Hadoop是Apache软件基金会下一个开源分布式计算平台，以HDFS（Hadoop Distributed File System）、MapReduce（Hadoop2.0加入了YARN，Yarn是资源调度框架，能够细粒度的管理和调度任务，还能够支持其他的计算框架，比如spark）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。hdfs的高容错性、高伸缩性、高效性等优点让用户可以将Hadoop部署在低廉的硬件上，形成分布式系统。到docker hub上拉取Hadoop镜像。
【云原生】Hadoop on k8s 环境部署
匠人精神，持之以恒！
09-24 4738
Hadoop是Apache软件基金会下一个开源分布式计算平台，以HDFS（Hadoop Distributed File System）、MapReduce（Hadoop2.0加入了YARN，Yarn是资源调度框架，能够细粒度的管理和调度任务，还能够支持其他的计算框架，比如spark）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。hdfs的高容错性、高伸缩性、高效性等优点让用户可以将Hadoop部署在低廉的硬件上，形成分布式系统。目前最新版本已经是3.x了，官方文档。
Hadoop on k8s 编排部署进阶篇
匠人精神，持之以恒！
07-09 1042
Hadoop是一个开源的分布式计算框架，用于处理大规模数据集的存储和处理。它使用了Hadoop分布式文件系统来存储数据，并通过MapReduce编程模型进行数据处理。Kubernetes（通常简称为K8s）是一个开源的容器编排平台，用于自动化部署、扩展和管理容器化应用程序。它提供了一种强大的方式来管理容器化应用程序的资源和生命周期。将Hadoop部署在Kubernetes上（通常称为或）是一种将Hadoop与Kubernetes结合使用的方式。它将Hadoop集群中的各个组件（如NameNode。
【云原生】Hadoop HA on k8s 环境部署
匠人精神，持之以恒！
09-26 3466
在 Hadoop 2.0.0 之前，一个集群只有一个Namenode，这将面临单点故障问题。如果 Namenode 机器挂掉了，整个集群就用不了了。只有重启 Namenode ，才能恢复集群。另外正常计划维护集群的时候，还必须先停用整个集群，这样没办法达到 7 * 24小时可用状态。Hadoop 2.0 及之后版本增加了 Namenode 高可用机制，这里主要讲Hadoop HA on k8s 环境部署。【云原生】Hadoop on k8s 环境部署。
hadoop组件---spark实战----spark on k8s模式k8s原生方式---cluster mode调用运行spark程序
直到世界的尽头
02-05 2231
我们在上篇文章中已经记录了 如果 安装spark on k8s模式k8s原生方式—cluster mode。 hadoop组件—spark实战----spark on k8s模式k8s原生方式安装spark2.4.4 cluster mode 本章记录 cluster mode这种方式的spark集群使用方法。 首先注意 提交spark命令需要借助 spark的安装包中的spark-submit命...
k8s 配置hadoop集群，nfs作为存储
疯飙的蜗牛
06-12 1831
基础环境使用kubeasz（https://github.com/easzlab/kubeasz）配置K8S环境.K8S配置示例:https://blog.csdn.net/zhangxueleishamo/article/details/108670578使用nfs作为资源存储。
hadoop组件---spark实战----spark on k8s模式k8s原生方式spark2.4.4在python程序中通过conf创建sparkSession
直到世界的尽头
02-20 1099
我们在之前的文章中已经尝试了使用spark on k8s。 hadoop组件—spark实战----spark on k8s模式k8s原生方式安装spark2.4.4 client mode提交python程序和运行pyspark 不过 使用的方式 是spark-submit 或者 pyspark 来启动 spark on k8s。 但是 一般 我们进行业务编程，都会 有其他的处理逻辑， 然后在 ...
CentOS上搭建Hadoop集群入门教程
在这个教程中，我们将深入探讨如何使用CentOS，一个深受开发者喜爱的开源企业级Linux发行版，来搭建Hadoop集群。CentOS以其稳定、低维护、高可靠性和长期技术支持而闻名，它基于Red Hat Enterprise Linux (RHEL) 的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值