k8s&大数据
CodeAsWind
不积跬步,无疑至千里
展开
-
快速部署单机版本k8s(kubernetes 1.13)
一,关闭selinux和firewalld# setenforce 0# systemctl stop firewalld# sed -i 's/^SELINUX=enforcing$/SELINUX=disabled/' /etc/selinux/config# systemctl disable firewalld二,禁用swap# swapoff -a三,安装docker这里可能会碰到yum源的问题,建议改成国内的源,速度比较快# yum -y install yu原创 2021-03-17 16:53:59 · 385 阅读 · 0 评论 -
Kubernetes 运行strom(七)
前提:已经安装运行Kubernetes集群安装步骤:1: 启动Zookeeper服务ZooKeeper是一个分布式协调者服务,Strorm使用它来作为引导程序和存储运行状态数据使用examples/storm/zookeeper.json来创建一个运行ZooKeeper服务的pod。kubectl create -f xxxx/zookeeper.json然后使用...原创 2020-03-03 08:20:06 · 3883 阅读 · 0 评论 -
Kubernetes 运行flink(六)
概念:Flink 由Job Manager和Task Manager两个部分组成,Job Manager负责协调流处理作业,管理作业的提交以及生命周期,并把工作分配给任务管理器。任务管理器执行实际的流处理逻辑,同一个时间只能一个活跃的Job Manager,但可以有多个Task manager。Flink还引入Checkpoint机制,来周期性记录各种流处理操作的状态,并且进行持久化存储,...原创 2020-03-03 08:18:58 · 4525 阅读 · 2 评论 -
Kubernetes运行hive(五)
目的:hive 可以基于hadoop mr或者Spark进行高层次的数据处理前提:安装之前先要保证hadoop的目录可以为root用户读写:hadoop fs -chown root:root /1: 构建镜像下载依赖mkdir -p hive/image-buildcd hive/image-buildwget http://download.oracl...原创 2020-03-03 08:13:03 · 2975 阅读 · 3 评论 -
Kubernetes的Spark运行Terasort(四)
目的:Terasort测试Kubernetes平台对于Spark计算过程前提:从HDFS读取能力向HDFS写入能力shuffle中网络读写能力1:准备工作获取代码git clone https://github.com/ehiggs/spark-terasort.git修改编译配置指定合适的spark和scala版本<propertie...原创 2020-03-02 09:34:24 · 2306 阅读 · 0 评论 -
Kubernetes的Spark安装History Server(三)
目的:通过hadoop的共享目录,可以将Spark运行的状态通过运行在Kubernetes的History Server进行展示和跟踪。前提:保证Hadoop HDFS已经顺利运行并且事先在hdfs建立如下目录:hadoop fs -mkdir /eventLog在Kubernetes安装Spark History Server1:获取chart代码git ...原创 2020-03-02 09:23:51 · 2352 阅读 · 0 评论 -
Kubernetes编译并运行基于Scalar的Spark程序WordCount(二)
目的:通过SBT编译scala程序然后在Kubernetes使用Spark运行WordCount任务1: 安装环境和编译安装SBTcurl https://bintray.com/sbt/rpm/rpm > bintray-sbt-rpm.repomv bintray-sbt-rpm.repo /etc/yum.repos.d/yum install -y sb...原创 2020-03-02 09:15:58 · 2387 阅读 · 1 评论 -
Kubernetes Scheduler运行Spark(一)
概念:版本2.3.0起,Spark开始支持采用Kubernetes作为native的资源调度器;使用Kubernetes作为原生调度器需要满足如下的前提条件:Spark 2.3+ Kubernetes 1.6+ 有增删改查POD的能力 Kubernetes配置了DNS和传统的Spark运行方式一样,通过spark-submit向Kubernetes提交任务,只是将maste...原创 2020-03-02 09:13:08 · 3002 阅读 · 2 评论