分布式
文章平均质量分 78
蔚蓝色天空sky
不抛弃,不放弃、、、
展开
-
Zookeeper客户端Curator使用示例
1、Curator简介Apache Curator是一个比较完善的ZooKeeper客户端框架,通过封装的一套高级API 简化了ZooKeeper的操作。通过查看官方文档,可以发现Curator主要解决了三类问题:1、封装ZooKeeper client与ZooKeeper server之间的连接处理2、提供了一套Fluent风格的操作API3、提供ZooKeeper各种应用场景(recipe, 比如:分布式锁服务、集群领导选举、共享计数器、缓存机制、分布式队列等)的抽象封装Curator主要从以原创 2020-09-15 11:36:51 · 425 阅读 · 0 评论 -
Nacos监控部署配置(数据采集:prometheus,grafana:面板展示)
1、Nacos集群搭建参考:Centos7安装Nacos集群1.1 修改配置application.properties文件,暴露metrics数据management.endpoints.web.exposure.include=*注:上面的这个配置原来是注释掉的,现在去掉注释,放开。(集群中每个都要修改)1.2修改后,重启集群的每个节点然后在浏览器中访问http://192.168.1.10:8848/nacos/actuator/prometheus,如下图,说明已经暴露监控信息了原创 2021-04-16 19:58:40 · 3623 阅读 · 2 评论 -
Nacos简介
1、Nacos简介Nacos官网一个更易于构建云原生应用的动态服务发现、配置管理和服务管理平台。2、什么是Nacos2.1 概览Nacos 致力于帮助您发现、配置和管理微服务。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据及流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。 Nacos 是构建以“服务”为中心的现代应用架构 (例如微服务范式、云原生范式) 的服务基础设施。服务(Service)是 Nacos 世界的一等公民。Nac原创 2021-04-16 19:56:45 · 499 阅读 · 0 评论 -
Centos7服务器安装Apache Druid,以及文件数据摄入、kafka实时数据流摄入
1、Apache Druid简介Apache Druid是一个实时分析型数据库,旨在对大型数据集进行快速的查询分析("OLAP"查询)。Druid最常被当做数据库来用以支持实时摄取、高性能查询和高稳定运行的应用场景,同时,Druid也通常被用来助力分析型应用的图形化界面,或者当做需要快速聚合的高并发后端API,Druid最适合应用于面向事件类型的数据。Druid通常应用于以下场景:点击流分析(Web端和移动端)网络监测分析(网络性能监控)服务指标存储供应链分析(制造类指标)应用性能指标分析原创 2021-04-10 00:06:07 · 550 阅读 · 0 评论 -
Centos7服务器kafka的安装
1、使用Docker方式安装1.1 安装并启动kafka容器docker run -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=192.168.1.12:2181/kafka -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.1.12:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -v /etc原创 2021-04-09 15:11:00 · 186 阅读 · 0 评论 -
使用Elastic-Job创建动态定时任务
1、Elastic Job简介elastic-job是当当开源的一款非常好用的作业框架,在这之前,我们开发定时任务一般都是使用quartz或者spring-task(ScheduledExecutorService),无论是使用quartz还是spring-task,我们都会至少遇到两个痛点:不敢轻易跟着应用服务多节点部署,可能会重复多次执行而引发系统逻辑的错误。quartz的集群仅仅只是用来HA,节点数量的增加并不能给我们的每次执行效率带来提升,即不能实现水平扩展。Elastic job是当当网架原创 2021-04-09 10:03:27 · 1381 阅读 · 0 评论 -
Centos7服务器Docker方式安装RocketMQ
1、RocketMQ简介RocketMQ是由阿里捐赠给Apache的一款分布式、队列模型的开源消息中间件,经历了淘宝双十一的洗礼。RocketMQ的特性:1、原生分布式2、两种消息拉取3、严格消息顺序4、特有的分布式协调器5、亿万消息堆积6、组(Group)RocketMQ基本概念:Client端Producer Group 一类Producer的集合名称,这类Producer通常发送一类消息,且发送逻辑一致Consumer Group 一类Consumer的集合名称,这类Cons原创 2021-04-07 21:01:28 · 449 阅读 · 0 评论 -
Centos7服务器安装Seata
1、Seata简介Seata 是一款开源的分布式事务解决方案,致力于在微服务架构下提供高性能和简单易用的分布式事务服务。在 Seata 开源之前,Seata 对应的内部版本在阿里经济体内部一直扮演着分布式一致性中间件的角色,帮助经济体平稳的度过历年的双11,对各BU业务进行了有力的支撑。经过多年沉淀与积累,商业化产品先后在阿里云、金融云进行售卖。2019.1 为了打造更加完善的技术生态和普惠技术成果,Seata 正式宣布对外开源,开放以来,广受欢迎,不到一年已经成为最受欢迎的分布式事务解决方案。Seat原创 2021-04-07 19:59:37 · 497 阅读 · 0 评论 -
Centos7中安装MongoDB(使用Docker方式)及简单使用
1、MongoDB简介MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。MongoDB是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。它支持的数据结构非常松散,是类似json的bson格式,因此可以存储比较复杂的数据类型。Mongo最大的特点是它支持的查询语言非常强大,其语法有点类似于面向对象的查询语言,几乎可以实现类似关系数据库单表查询的绝大部分功能,而且还支持对数据建立索引。Mongo原创 2021-04-05 23:07:26 · 671 阅读 · 0 评论 -
Centos7服务器Canal安装
1、Canal简介canal 阿里巴巴旗下的一款开源项目,主要用途是基于 MySQL 数据库增量日志解析,提供增量数据订阅和消费。通过Canal监听数据库变更,并实时消费变更数据,实现实现数据同步到缓存、ElasticSearch等。我们也可以把canal理解为一个用来同步增量数据的一个工具。通过Canal我们实现以下业务场景:数据库镜像数据库实时备份索引构建和实时维护(拆分异构索引、倒排索引等)业务 cache 刷新带业务逻辑的增量数据处理2、Canal安装2.1 修改mysql数据原创 2021-04-05 10:09:11 · 674 阅读 · 0 评论 -
Centos7服务器上安装OpenResty
1、OpenResty简介OpenResty 是一个基于 Nginx 与 Lua 的高性能 Web 平台,其内部集成了大量精良的 Lua 库、第三方模块以及大多数的依赖项。用于方便地搭建能够处理超高并发、扩展性极高的动态 Web 应用、Web 服务和动态网关。OpenResty 通过汇聚各种设计精良的 Nginx 模块(主要由 OpenResty 团队自主开发),从而将 Nginx 有效地变成一个强大的通用 Web 应用平台。这样,Web 开发人员和系统工程师可以使用 Lua 脚本语言调动 Nginx原创 2021-03-29 21:14:32 · 540 阅读 · 2 评论 -
Ceph分布式文件系统集群搭建详解
1、Ceph分布式文件系统简介Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。Ceph 独一无二地在一个统一的系统中同时提供了对象、块、和文件存储功能。基开发目标是:可轻松扩展到数 PB 容量支持多种工作负载的高性能(每秒输入/输出操作[IOPS]和带宽)高可靠性Ceph 不仅仅是一个文件系统,还是一个有企业级功能的对象存储生态环境。中文学习网址:CEPH中文学习网2.Ceph分布式文件系统搭建2.1 环境准备准备三台centos机器(使用虚拟机)原创 2021-03-27 00:20:48 · 2604 阅读 · 5 评论 -
使用mapreduce统计文件中所有单词出现的次数
1、将wordcount.txt文本文件上传到/data/目录下,wordcount.txt文件内容如下:red black green yellowred blue blueblack big small small yellowred red red redblue 2、创建一个java maven工程,pom.xml中添加hdfs、mapreduce的引用,如下<project xmlns="http://maven.apache.org/POM/4.0.0" xm原创 2020-10-23 08:35:13 · 1685 阅读 · 0 评论