分布式集群
文章平均质量分 95
阿啄debugIT
0、精通java,及常用设计模式,熟练编写shell脚本,掌握python、scala、golang的编写;
1、精通Spring Cloud等微服务架构,掌握SpringBoot、batis等后端技术,kafka、redis、es等中间件的整合开发;
2、熟悉掌握mysql、pg等关系数据的原理及调优,及NoSQL数据的存储和查询;
3、熟悉CDH各个组件,及精通离线、实时等计算技术;
4、掌握java多线程高并发编程,及整合shiro、redis、fastdfs、MQ、netty等开发;
5、熟悉K8S集群管理Docker容器,及理解掌握openstack原理和操作。
展开
-
大数据集群部署策略是什么,集群运行状态如何监控,数据怎么采集的,采集后的存储和分析策略是什么?
前言集群部署策略是什么,集群运行状态如何监控,数据怎么采集的,采集后的存储和分析策略是什么?集群部署策略是什么简单的节点部署策略因为在一般情况下,Hadoop节点需要占用的磁盘空间是最紧张的资源,所以最基本的节点部署策略,是按照磁盘空间的大小来考虑的。首先将所有Hadoop节点按照磁盘空间的要求从大到小进行排序,再将可用的Host按照剩余磁盘空间从大到小进行排序。第一步将磁盘空间需求最大的Hadoop节点部署到剩余磁盘空间最大的主机上去,第二步将磁盘空间需求次大的Hadoop节点部署到原创 2021-04-15 20:09:26 · 1512 阅读 · 0 评论 -
采用ipvsadm管理工具,及Keepalived软件检测服务器的状态,搭建负载均衡的高可用集群
前言ipvsadm是Linux虚拟服务器的管理命令,是用于设置、维护和检查Linux内核中虚拟服务器列表的命令。Linux虚拟服务器可用于基于两个或更多个节点的集群构建可扩展的网络服务。群集的活动节点将服务请求重定向到真正执行服务的服务器主机上。支持TCP和UDP协议,支持三咱数据包转发方法(NAT、隧道、直接路径)以及八种负载均衡算法(轮询、加权轮询、最少连接、加权最少连接、基于位置的最小连接,基于位置的最小连接与复制,目标散列和源散列)。keepalived是一个类似于layer3, 4 &am原创 2020-08-03 18:54:25 · 1969 阅读 · 1 评论 -
OpenStack的Ceph存储支持的CephFS分布式存储系统配置和挂载
1. 前言在研究k8s持久化存储时发现OpenStack的Ceph RBD存储不能满足ReadWriteMany的场景需求,即多个节点同时读写。如下图是k8s支持的存储插件,支持ReadWriteMany的插件包括CephFS、Glusterfs、Quobyte、NFS。NFS不支持分布式存储,首先排除。其他如Gluesterfs、Quobyte等方案没有部署过,需要时间去部署测试,而Ceph存储支持CephFS,所以优先考虑CephFS方案。2.CephFS部署2.1创建mds要运行原创 2020-06-12 20:08:28 · 911 阅读 · 2 评论 -
安装Kubernetes的轻量集群minikube
前言Minikube是一种方便在本地运行Kubernetes的工具,Minikube是可以在VM中运行单节点的Kubernetes集群,Minikube是为了开发或测试在本地启动一个节点的kubernetes集群。特点:不能启动生产集群,没有高可用性的单节点机器,可以工作在Windows,Linux,MacOS下,先决条件需要安装VirtualBox。安装minikube[roo...原创 2020-02-22 04:46:27 · 354 阅读 · 0 评论 -
安装部署具有监控页面的高可用的双master双slave的rocketMq集群
1、安装前准备Jdk1.8 集群的各个服务器上已经安装jkd8最新版的rocketmq 源码包4.3.2Rocketmq监控页面源码包,方便监控集群情况。Idea2018编辑器Maven3只准备2台服务器,安装占用端口如下服务器1 master1(10911) slave01(10917) namesrv(9876) console(8080)服务器2 ...原创 2020-02-10 00:09:37 · 243 阅读 · 0 评论 -
提高spark任务稳定性的解决方案及Blacklist 机制说明解释
分布式集群中,特别是高负载的情况下,就会引发很多意想不到的问题,例如:1、坏盘/硬盘满将会导致 /path/to/usercache 目录创建失败,一个stage中任务失败次数达到一定次数(spark.task.maxFailures)会导致整个job失败。2、executor 注册 external shuffle service 超时。3、executor 从 external shuf...原创 2020-02-06 12:48:00 · 847 阅读 · 0 评论