大树叶 技术专栏

骨灰攻城狮 架构师

【推荐】Hadoop Combiner与自定义Combiner

该文详细讨论了Combiner的作用和使用场景: 参考文档:Hadoop Combiner与自定义Combiner

2019-08-13 01:03:40

阅读数 12

评论数 0

【推荐】Hadoop MapReduce八大步骤以及Yarn工作原理详解

不错的总结:Hadoop MapReduce八大步骤以及Yarn工作原理详解

2019-08-13 00:41:56

阅读数 14

评论数 0

Mapreduce CombineFileInputFormat 的使用例子

CombineFileInputFormat是一个抽象类, Hadoop提供了两个实现类CombineTextInputFormat和CombineSequenceFileInputFormat。 参考:解读:MR多路径输入和解读:CombineFileInputFormat类 下面是JAV...

2019-08-10 12:53:39

阅读数 15

评论数 0

搭建Flink的高可用集群环境​​​​​​​

1.Flink的高可用集群环境​​​​​​​ 2.官方Flink HA 文档:JobManager High Availability (HA)

2019-07-08 00:55:00

阅读数 26

评论数 0

【推荐】深度解析Apache Flink结构

Apache Flink(以下简称Flink)项目是大数据处理领域最近冉冉升起的一颗新星,其不同于其他大数据项目的诸多特性吸引了越来越多人的关注。本文将深入分析Flink的一些关键技术与特性,希望能够帮助读者对Flink有更加深入的了解,对其他大数据系统开发者也能有所裨益。本文假设读者已对MapR...

2019-07-07 23:32:02

阅读数 48

评论数 0

Kubernetes 1.8.2 个人手动安装实战笔记(系统能起来的!)

本博折腾了好一阵子,从0到1折腾起了基于 Kubernetes 1.8.2 的 纯手动安装 。 下面是个人这套手工安装流程和注解(本人安装的K8S就是这样起来的)。 若想要了解更多平台的部署可以参考 Picking the Right Solution来选择自己最喜欢的方式。 本次安装版本为...

2018-10-25 16:53:10

阅读数 479

评论数 0

CentOS7.3.x + Hadoop 2.9.0 集群搭建实战

 前言: 系统安装要求   1: CentOS7  2:  Hadoop 2.9.0    3:  JDK1.8  说明:Hadoop从版本2开始加入了Yarn这个资源管理器,Yarn并不需要单独安装。只要在机器上安装了JDK就可以直接安装Hadoop,单纯安装Hadoop并不依赖Zookeepe...

2018-04-16 14:59:21

阅读数 642

评论数 0

推荐 tranquity 重大问题及其解决方案

https://fangyeqing.github.io/categories/druid-io/https://fangyeqing.github.io/2017/03/14/druid.io实践5---druid.io问题记录/https://github.com/druid-io/tranq...

2018-04-04 20:55:31

阅读数 641

评论数 0

推荐:Druid + Grafana 应用实践

到大数据,大家首先想到的肯定是Hadoop,近年来互联网技术的快速增长催生了各类大体量数据的爆发,Hadoop最大的贡献在于帮助企业将那些低价值的事件流数据转化为高价值的聚合数据,为企业的经营决策提供数据支撑。但Hadoop擅长的是存储和获取大规模数据,但是它并不提供任何性能上的保证。从这个角度来...

2018-03-29 16:22:48

阅读数 1450

评论数 0

Kubernetes系列01:Kubernetes入门

转自:http://blog.csdn.net/levy_cui/article/details/70215627 什么是Kubernetes? Kubernetes是Google开源的容器集群管理系统,实现基于Docker构建容器,利用Kubernetes能很方面管理多台Docker...

2017-12-09 16:30:50

阅读数 489

评论数 0

kubectl 命令集合

k8s的实现核心实际上就是通过读写etcd数据库实现对资源的存储,管理和控制。 k8s所有资源的本源都是存储在etcd中的一个个键值对。 理论上可以观察到etcd数据库中的数据变化。具体的使用方式如下: 用$K8SPATH/hack/local-up-cluster.sh启动一个...

2017-12-09 15:07:35

阅读数 2321

评论数 0

Kubernetes(k8s)如何使用kube-dns实现服务发现

Kubernetes中如何发现服务 如何发现Pod提供的服务如何使用Service发现服务如何使用kube-dns发现服务 kube-dns原理 组成域名格式配置 注:本次分享内容基于Kubernetes 1.2版本! 下面从一个简单的例子开始讲解。 1、Kubernetes中...

2017-12-08 20:24:18

阅读数 2655

评论数 0

Traefik-kubernetes 负责均衡器初试

Traefik-kubernetes 初试 traefik 是一个前端负载均衡器,对于微服务架构尤其是 kubernetes 等编排工具具有良好的支持;同 nginx 等相比,traefik 能够自动感知后端容器变化,从而实现自动服务发现;今天小试了一下,在此记录一下使用过程  一、Kubern...

2017-12-07 14:44:38

阅读数 789

评论数 0

kubernetes中 demo: tomcat + mysql

  目录(?)[+] 背景 相信大家应该都在自己的电脑中部署过tomcat与mysql集群,我们可以通过访问tomcat来访问后台数据库。kubernetes是一个可自动部署、扩缩、管理容器化应用的工具。本篇博客主要讲解如何在kubernetes中部署tomcat与mysql集群。当然,这涉...

2017-12-03 01:47:12

阅读数 3510

评论数 0

kubernetes 1.8 高可用安装大全集合

1.ubernetes 1.8 高可用安装(0) 2.kubernetes 1.8 高可用安装(1) 3. ubernetes 1.8 高可用安装(2) 4. ubernetes 1.8 高可用安装(3) 5.ubernetes 1.8 高可用安装(4) 6.ubernetes 1.8 高...

2017-12-02 16:26:22

阅读数 689

评论数 0

Kubernetes集群的安全配置

使用kubernetes/cluster/kube-up.sh脚本在装有Ubuntu操作系统的bare metal上搭建的Kubernetes集群并不安全,甚至可以说是“完全不设防的”,这是因为Kubernetes集群的核心组件:kube-apiserver启用了insecure-port。i...

2017-11-25 14:34:05

阅读数 1848

评论数 0

在Kubernetes Pod中使用Service Account访问API Server

Kubernetes API Server是整个Kubernetes集群的核心,我们不仅有从集群外部访问API Server的需求,有时,我们还需要从Pod的内部访问API Server。 然而,在生产环境中,Kubernetes API Server都是“设防”的。在《Kubernetes集...

2017-11-25 14:22:41

阅读数 2157

评论数 0

容器平台选型:Docker、DC/OS、K8S ?

无论是在社区,还是在同客户交流的过程中,总会被问到到底什么时候该用 Docker?什么时候用虚拟机?如果使用容器,应该使用哪个容器平台?   显而易见,我不会直接给大家一个答案,而是希望从技术角度进行分析具体的场景。例如客户是大公司还是小公司,将部署小集群还是大集群,倾向于私有云还是公有云,已...

2017-11-19 01:23:42

阅读数 864

评论数 0

kubernetes(k8s)简单介绍

什么是kubernetes?         Kubernetes是一个全新的基于容器技术的分布式架构领先方案。是Google内部集群管理系统Borg的一个开源版本。直到2015年4月,随着论文发布,才被众人熟知。Kubernetes是一个开放的开发平台。不局限于任何一种语言,没有限定任何编程...

2017-11-19 00:12:28

阅读数 977

评论数 0

Kubernetes 主从架构安装

Kubernetes安装环境 Centos7.1系统的机器3台 Master:192.168.0.120 Nodes:192.168.0.106, 192.168.0.107  ===== Master ===== 1 在Master上安装ku...

2017-11-17 21:31:42

阅读数 443

评论数 0

提示
确定要删除当前文章?
取消 删除