架构设计
neil1314
这个作者很懒,什么都没留下…
展开
-
大数据架构方案 - Flink+Iceberg实时数据湖
导读:Apache Flink是大数据领域非常流行的流批统一的计算引擎,数据湖是顺应云时代发展潮流的新型技术架构。那么,当Apache Flink遇见数据湖时,会碰撞出什么样的火花呢?本次分享主要包括以下核心内容: 数据湖的相关背景介绍 经典业务场景介绍 为什么选择 Apache Iceberg 如何通过 Flink+Iceberg 实现流式入湖 社区未来规划工作 一、数据湖的相关背景介绍数据湖是个什么概念呢?一般来说我们把一家企业产生的数据都..转载 2020-12-04 09:58:18 · 2116 阅读 · 0 评论 -
日志收集方案filebit+logstash+es
日志系统场景一般常见我们需要进行日志分析场景是:直接在日志文件中grep、awk就可以获得自己想要的信息。但在规模较大的场景中,此方法效率低下,面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理,所有服务器上的日志收集汇总。常见解决思路是建立集中式日志收集系统,将所有节点上的日志统一收集,管理,访问。 大型系统是一个分布式部署的架构,不同的服务模块部署在不同的服务器上,问题出现时,大部分情况需要根据问题暴露的关键信息,定位到具体的服务器和服务模块,构建一套集中原创 2020-12-02 10:12:25 · 3635 阅读 · 0 评论 -
canal实现Elasticsearch数据同步
一.canal介绍转存失败重新上传取消转存失败重新上传取消canal 主要用途是基于 MySQL 数据库增量日志解析,提供增量数据订阅和消费基于日志增量订阅和消费的业务包括数据库镜像 数据库实时备份 索引构建和实时维护(拆分异构索引、倒排索引等) 业务 cache 刷新 带业务逻辑的增量数据处理当前的 canal 支持源端 MySQL 版本包括 5.1.x , 5.5.x...原创 2020-04-16 17:40:49 · 3059 阅读 · 0 评论 -
大型网站架构之架构模式
网站架构模式的目标:面临高并发访问,海量数据处理,高可靠运行等问题和挑战,我们在实践中提出很多解决方案,主要为了实现网站的高性能、高可用、易伸缩、可扩展、安全等架构目标。网站架构模式具体方案如下:1、分层分层是一种常见的架构模式,将系统在横向维度上切分为几个部分,每个部分负责单一的职责,然后通过上层对下层的依赖和调用完成整个系统工作。一般大型网站系统都分为下面3层:应用层:负责具体业务和视图展示;...转载 2018-03-06 09:35:33 · 217 阅读 · 0 评论 -
前后端分离利器之JWT
一、HTTP的无状态性HTTP 是无状态协议,它不对之前发送过的请求和响应的状态进行管理。也就是说,无法根据之前的状态进行本次的请求处理。假设要求登录认证的 Web 页面本身无法进行状态的管理(不记录已登录的状态),那么每次跳转新页面不是要再次登录,就是要在每次请求报文中附加参数来管理登录状态。不可否认,无状态协议当然也有它的优点。由于不必保存状态,自然可减少服务器的 CPU 及内存资源的消耗。从...转载 2018-03-06 10:58:09 · 1272 阅读 · 0 评论 -
spring cloud实现 rocketmq可靠一致性
1.前言1.1 目的为开发测试提供指导性文件 为系统今后的扩展提供参考 解决系统中消息不可达问题1.2 范围和功能1.3 适用读者需要发送MQ分布式系统的开发人员和测试人员 可靠消息服务的开发人员和测试人员1.4 读者须知本服务需要提供一个sdk和数据库初始语句创建数据库表,并且对外提供可扫描的domain、mapper、service,使用的技术框架zk + map...转载 2018-09-06 14:46:01 · 1226 阅读 · 0 评论