大数据计算
文章平均质量分 90
奇华智能
关注AI技术和AI设备
展开
-
如何从0搭建公司后端技术栈?
如何您是一名创业公司的负责人,如何从0搭建公司的后端技术栈。今天要说的后台是大后台的概念,放在服务器上的东西都属于后台的东西,比如使用的框架,语言,数据库,服务,操作系统等等。整个后台技术栈我的理解包括 4 个层面的内容: 语言:用了哪些开发语言,如:C++/Java/Go/PHP/Python/Ruby 等等; 组件:用了哪些组件,如:MQ 组件,数据库组件等等; 流程:怎样的流程和规范,如:开发流程,项目流程,发布流程,监控告警流程,代码规范等等; 系统:系统化建转载 2021-12-27 16:08:04 · 283 阅读 · 0 评论 -
常用消息队列介绍和对比
消息队列是分布式应用间交换信息的重要组件,消息队列可驻留在内存或磁盘上, 队列可以存储消息直到它们被应用程序读走。通过消息队列,应用程序可以在不知道彼此位置的情况下独立处理消息,或者在处理消息前不需要等待接收此消息。所以消息队列可以解决应用解耦、异步消息、流量削锋等问题,是实现高性能、高可用、可伸缩和最终一致性架构中不可以或缺的一环。现在比较常见的消息队列产品主要有ActiveMQ、RabbitMQ、ZeroMQ、Kafka、RocketMQ等。1 ActiveMQActiveM转载 2021-12-27 16:05:24 · 445 阅读 · 0 评论 -
用Python实现简易可拓展的规则引擎
简介:用Python实现简易可拓展的规则引擎 做这个规则引擎的初衷是用来实现一个可序列号为json,容易拓展的条件执行引擎,用在类似工作流的场景中,最终实现的效果希望是这样的: ![] 简单整理下需求 执行结果最终返回=true= or false 支持四则运算,逻辑运算以及自定义函数等用Python实现简易可拓展的规则引擎做这个规则引擎的初衷是用来实现一个可序列号为json,容易拓展的条件执行引擎,用在类似工作流的场景中,最终实现的效果希望是这样的:![]简单整理下需求执行结果最终返.转载 2021-07-28 19:22:31 · 1331 阅读 · 0 评论 -
Apache Flink:特性、概念、组件栈、架构及原理分析
Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台,它能够基于同一个Flink运行时(Flink Runtime),提供支持流处理和批处理两种类型应用的功能。现有的开源计算方案,会把流处理和批处理作为两种不同的应用类型,因为他们它们所提供的SLA是完全不相同的:流处理一般需要支持低延迟、Exactly-once保证,而批处理需要支持高吞吐、高效处理,所以在实现的时候通常...转载 2018-09-04 14:10:37 · 1799 阅读 · 1 评论 -
Flink架构、原理与部署测试
Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台,它能够基于同一个Flink运行时,提供支持流处理和批处理两种类型应用的功能。现有的开源计算方案,会把流处理和批处理作为两种不同的应用类型,因为它们所提供的SLA(Service-Level-Aggreement)是完全不相同的:流处理一般需要支持低延迟、Exactly-once保证,而批处理需要支持高吞吐、高效处理...转载 2018-09-04 14:12:36 · 7938 阅读 · 1 评论 -
Apache Flink 概览 - 有状态的流式计算
Flink的主要特性如下: 一、所有的流式使用用例 事件驱动的应用 流式 & 批量分析 数据 Pipelines & ETL二、保证正确性 严格一次(Exactly-once) 状态一致性 基于消息时间(Event-time)的 处理 复杂的后期数据处理(Sophisticated late data handling)三、分层的API...转载 2018-09-04 14:15:17 · 861 阅读 · 0 评论 -
ELK实践文档收集——持续更新
https://mp.weixin.qq.com/s/eVukCJI-U7uWsoO7uLacUAhttps://www.cnblogs.com/kevingrace/p/5919021.htmlhttps://www.cnblogs.com/zclzhao/p/5749736.htmlhttps://blog.51cto.com/13527416/2117141https://b...原创 2018-08-20 11:42:45 · 285 阅读 · 0 评论
分享