- 博客(2577)
- 收藏
- 关注
RSS订阅转载 阿里云微服务引擎 MSE 全新升级，实用能力更普惠，最高降幅 75%
微服务，已经成为一种普惠技术。开源选择趋向集中，商业产品趋向体验一致，开源和商业在培养客户使用习惯的过程中，逐步成为了事实上的使用标准。5 月 17 日，阿里云峰会·常州站宣布微服务引擎 MSE 三大普惠升级，进一步降低客户享受微服务技术红利的成本。
2023-06-08 11:01:56
2
转载 HashTable 在蚂蚁转化归因中的极致运用
蚂蚁的转化归因在初期运行两个多小时的情况下，进行了一系列优化，其中建立hash cluster表及强制hash关联及Shuffle的手动干预进行remove操作此部分优化占了较大比重。本文则主要讲述hash cluster表的一些运用。Hash cluster表具有两个作用：· 存储预排序的重排压缩。Hash cluster表采用分桶排序操作，若相同的值重复度高，则可以达到更好的压缩效果。· 下游任务的Shuffle Remove。
2023-06-08 11:00:55
3
转载 实践教程之采集PolarDB-X SQL日志到ElasticSearch
完成了PolarDB-X的搭建部署，使用PolarDB-X Operator安装PolarDB-X，并且可以成功链接上PolarDB-X数据库。本步骤将指导您安装PolarDB-X LogCollector组件，并将PolarDB-X日志投递到Elastic Search中。1.执行如下命令，创建一个名为polardbx-logcollector的命名空间。2.执行如下命令，安装 PolarDB-X LogCollector。
2023-06-08 11:00:04
2
转载 Seata 的可观测实践
Seata 的前身是阿里巴巴集团内大规模使用保证分布式事务一致性的中间件，Seata 是其开源产品，由社区维护。在介绍 Seata 前，先与大家讨论下我们业务发展过程中经常遇到的一些问题场景。
2023-06-08 10:58:30
2
转载 实践教程之如何对PolarDB-X进行备份恢复
完成了PolarDB-X的搭建部署，使用PolarDB-X Operator安装PolarDB-X，并且可以成功链接上PolarDB-X数据库。2.按i键进入编辑模式，将如下代码复制到文件中，然后按ECS退出编辑模式，输入:wq后按下Enter键保存并退出。1.执行如下命令，创建 transfer.yaml。本步骤将指导您如何使用账户转账场景模拟业务流量。
2023-06-07 10:29:51
5
转载 进阶篇丨链路追踪（Tracing）很简单：常见问题排查
经过前面多篇内容的学习，想必大部分同学都已经熟练掌握分布式链路追踪的基础用法，比如回溯链路请求轨迹，定位耗时瓶颈点；配置核心接口黄金三指标告警，第一时间发现流量异常；随着深入使用链路追踪技术，问题发现与诊断方面的能力想必都有大幅提升。比如接口偶发性超时，调用链只能看到超时接口名称，看不到内部方法，无法定位根因，也难以复现，怎么办？比如大促压测时或发布变更后，发现 CPU 水位非常高，如何分析应用性能瓶颈点，针对性优化？比如接口调用成功，但是业务状态异常，导致结果不符合预期，如何排查？
2023-06-07 10:29:32
8
转载 【换模型更简单】如何用 Serverless 一键部署 Stable Diffusion?
本篇章是阿里云函数计算部署 Stable Diffusion 系列的第三篇，如果说第一篇是尝试使用云服务来解决用户本地部署 Stable Diffusion 的问题（显卡成本，部署技术复杂），第二篇是面向技术同学解决云服务 Stable Diffusion 的实用性问题（自定义模型，扩展），那么本篇则是以更大众的方式实现本地电脑的平替，使得人人皆可拥有一套实用的 Stable Diffusion 服务，不管你是普通用户，或者是技术同学，皆可适用。
2023-06-07 10:28:50
7
转载 RocketMQ 在小米的多场景灾备实践案例
在小米内部，因为是面向在线业务，服务的恢复速度至关重要，而基于 Raft 协议的 DLedger 模式可以实现秒级 RTO，因此我们在 2020 年初选用了 DLedger 架构作为基本的部署模式（在 5.0 中，主从模式也可以做到自动 failover）。支持机房灾备需要增加额外的成本，下面我将用三个灾备部署的实践案例，讲解小米如何在成本和可用性的取舍上去支持灾备。但现实的运维经验告诉我们这是不可能的，硬件故障是非常常见的问题，比如内存故障、磁盘故障等，甚至是机房相关的故障（专线故障、机房拉闸等）。
2023-06-07 10:27:07
9
转载 阿里云李钟：弹性计算控制系统团队提效之路
2023年3月25日，“城市领航之夜第一期”活动在上海举行，阿里云弹性计算控制系统技术架构负责人李钟出席了本次活动并带来了《弹性计算控制系统团队提效之路》的主题演讲，为大家详细分享了阿里云弹性计算控制系统团队所面临的挑战、如何通过技术架构提效，以及工程师文化建设等一系列内容。
2023-06-06 11:41:52
15
转载 如何使用SQL任务计算房间电量消耗的实践案例
在智能家居行业里产生了各种各样场景的数字解决方案，有解决方案商使用物联网平台的能力搭建各种数据分析应用，比如房间电量消耗统计，在公寓中部署了智能电表，每隔15min上传一次累计电量，需要根据设备上传值计算用电量。56.3-56.2 = 0.1度电。101-100.2 = 0.8度电。60-56.3 = 3.7度电。120-101 = 19度电。
2023-06-06 11:41:00
11
转载 云服务器的vCPU和CPU有什么区别？
实例的CPU选项由CPU物理核心数和每核线程数决定，以ecs.g6.xlarge实例为例，阿里云默认提供2个物理核CPU，开启超线程，将每核线程数设置为2，则该实例规格有2*2=4个vCPU，默认情况下该实例规格开启超线程配置。如果关闭超线程配置，则1个物理核只能运行1个线程，实例的vCPU数量等于物理核数，为2。CPU是指中央处理器，CPU代表物理CPU核数，是真实存在的，CPU不是虚拟的，vCPU是物理CPU的基础上通过超线程HT技术虚拟出来的，一般来讲，云服务器的CPU指的是vCPU。
2023-06-06 11:39:14
17
转载 polardb_pg可以使用postGIS吗？
使用 PostGIS，您可以在数据库中轻松地存储和处理各种类型的地理数据，包括点、线、面、多边形等。是的，PolarDB for PostgreSQL 支持 PostGIS 扩展，可以使用 PostGIS 扩展在 PolarDB for PostgreSQL 中进行地理定位和空间数据处理。确认您的 PolarDB for PostgreSQL 版本支持 PostGIS 扩展。这将启用 PostGIS 扩展。如果您希望在新数据库中启用 PostGIS，需要在执行上面的 SQL 语句之前连接到该数据库。
2023-06-06 11:38:27
11
转载 ADB中concat_ws函数不能用作聚合吗？
表示 with separator，可以指定连接字符串之间的分隔符。在 ADB 中，该函数同样可以用于连接多个字符串，但是不能用作聚合函数。若想将多个字符串进行连接并聚合，则需要使用聚合函数，例如 MySQL 和 MariaDB 数据库中的。是 MySQL 和 MariaDB 数据库中的函数，用于连接多个字符串，其中。等），并返回单个结果的函数。在 ADB 中，聚合函数只能作用于。也是用于连接多个字符串并聚合的函数。聚合函数是用于执行聚合计算（例如。
2023-06-05 13:50:22
11
转载 与伙伴同行，Serverless 让创新触手可及
现场，阿里云智能 CTO 周靖人发表主题演讲《与伙伴同行，让创新触手可及》，他在分享中详细介绍了阿里云在 Serverless 领域的产品布局、技术创新以及服务伙伴和客户的经验。今天 Serverless 的方式真正意义上做到了云产品、云技术的开箱即用，企业和开发者不需要再关注底层的资源配置，更多地把精力放在业务系统的开发中。4 月 26 日，在。
2023-06-05 13:49:34
14
转载 云原生底座之上，这些企业领跑行业的秘密
一些数字先行者，正在通过云原生技术实现全面的创新。数字化转型不是把技术武装到牙齿，而是把技术融入企业的基因。云原生是阿里云的 DNA，相信在阿里云云原生的助推下，越来越多的企业将实现业务“生于云，长于云”，全面迈向数字化新阶段。随着人工智能、云计算、大数据等技术的发展日新月异 ，各种数字技术已经成为创新的支柱。底层技术的发展与行业之间的碰撞，正在成为颠覆性变革的巨大力量。
2023-06-05 13:48:05
13
转载 云原生技术实践营「微服务X消息队列专场」
微服务架构是一种云原生架构方法，目的是提高系统的扩展性、可靠性和灵活性，它提倡将单一的应用程序划分成一组小的服务，服务之间互相协调、互相配合，每个服务运行在其独立的进程中，服务与服务之间采用轻量级的通信机制互相沟通，每个服务都拥有自己的代码库、数据存储和运行环境，可以独立开发、测试、部署和运行。但是，微服务架构也面临一些挑战，如服务之间的通信和数据一致性等问题，为了解决这些问题，通常使用消息队列等工具来协调服务之间的通信和数据交换。
2023-06-05 13:47:16
11
转载 同一FC，不同alias能不能走不同vpc？
在配置函数的 VPC 时，可以为每个 alias 分别配置不同的 VPC，也可以为所有 alias 共享同一个 VPC。是的，可以为同一个函数的不同 alias 配置不同的 VPC，使其在不同的 VPC 中运行。这样可以实现在同一函数中使用不同的网络资源，例如访问不同的数据库或者使用不同的云服务资源等。
2023-06-02 10:56:18
24
转载 Koordinator 一周年，新版本 v1.2.0 支持节点资源预留，兼容社区重调度策略
从 2022 年 4 月发布以来，Koordinator 迄今一共迭代发布了 10 个版本，吸引了了包括阿里巴巴、小米、小红书、爱奇艺、360、有赞等在内的大量优秀工程师参与贡献。随着 2023 年春天的来临，Koordinator 也迎来了它的一周年，在此我们很高兴的向大家宣布，Koordinator v1.2 版本正式发布。通过混部、资源画像、调度优化等技术能力，能够提高延迟敏感的工作负载和批处理作业的运行效率和可靠性，优化集群资源使用效率。
2023-06-02 10:55:41
22
转载 精进云原生 - Dubbo 3.2 正式发布
Apache Dubbo 是一款 RPC 服务开发框架，用于解决微服务架构下的服务治理与通信问题，官方提供了 Java、Golang 等多语言 SDK 实现。使用 Dubbo 开发的微服务原生具备相互之间的远程地址发现与通信能力， 利用 Dubbo 提供的丰富服务治理特性，可以实现诸如服务发现、负载均衡、流量调度等服务治理诉求。Dubbo 被设计为高度可扩展，用户可以方便的实现流量拦截、选址的各种定制逻辑。
2023-06-02 10:54:09
17
转载 ECS和RDS之间如何关联，访问？
3.如果您正在使用阿里云ECS和RDS实例，则可以在同一VPC中创建这些实例，以便它们可以直接相互通信，而无需进行任何其他配置。2.在RDS实例的白名单中添加ECS实例的IP地址，以便ECS实例可以访问RDS实例。1.在ECS实例上安装数据库客户端，并使用RDS实例的连接信息连接到RDS实例。
2023-06-02 10:53:15
29
转载 流控验证太麻烦？不敢上生产？MSE 有办法！
影响服务稳定性的因素有很多，其中比较常见但又往往容易被忽视的就是面向流量的稳定性，流控是保障服务稳定性的重要手段。但是，我们发现大量客户仅仅在开发环境和预发环境中测试流控，却在生产环境中鲜有使用。在不验证的情况下，直接在生产环境中生效流控规则，很有可能让解决灾难的办法成为灾难本身，例如流控规则配置错误、流控没有达到预期、流控无故生效导致业务宕机等等，这些问题在生产环境中是完全无法接受的。
2023-06-01 10:42:25
22
转载 AnalyticDB PostgreSQL和AnalyticDB MySQL该如何选择？
数据类型和存储格式：AnalyticDB MySQL 支持 JSON 和 bitmap 等高级数据类型和存储格式，可用于分析海量数据和复杂数据结构。因此，如果您的数据结构比较复杂，建议选择 AnalyticDB MySQL，如果您的数据需要进行高效的聚合和分析，则建议选择 AnalyticDB PostgreSQL。数据库引擎和语法：AnalyticDB PostgreSQL 是基于 PostgreSQL 数据库引擎的，而 AnalyticDB MySQL 是基于 MySQL 数据库引擎的。
2023-06-01 10:41:38
21
转载 还在为项目初始化、依赖管理问题困扰？Dubbo Initializer 来了！
Dubbo Initializer 是一款帮助开发者快速生成 Dubbo Spring Boot 项目的 UI 工具，它帮助生成具有基本 Dubbo 配置、代码示例、Web、SQL 等微服务组件的项目源码并提供 ZIP 包下载方式。下载后，你就可以将项目模板代码导入 IDE 开发环境并增加自己的业务逻辑，免去从头初始化项目的各种繁琐操作。注：Initializer 仍在持续更新中，更多 Dubbo Feature 的支持将会陆续发布。还在为项目初始化、依赖管理问题困扰？
2023-06-01 10:39:05
20
转载 对象存储文件如何修改默认查询数量 ？
在阿里云OSS对象存储中，您可以使用OSS SDK进行文件列表查询和文件排序。默认情况下，OSS返回的每页文件数最多为1000个。要修改此设置，您可以使用。
2023-06-01 10:38:13
16
转载 日常节省 30%计算资源：阿里云实时计算 Flink 自动调优实践
批作业在算子实际处理数据时，可以提前感知到要处理的这部分数据有多大。从而可以根据数据量的大小，选择合适的资源处理数据。但流作业是一种 long-running 的作业，它的特点是流量会随着时间进行变化。我们没有办法在流作业刚启动时，就预估到未来的流量有多少，需要多少资源。没有一份初始的通用资源配置可以适用于一个流作业的所有场景。
2023-05-31 10:34:09
32
转载 蚂蚁实时低代码研发和流批一体的应用实践
在这三个应用场景中，报表场景根据查询特性的不同，实时数据会被存储到 OLAP 引擎或 KV 库，在应用层进行实时/离线数据的融合，来构建实时数据报表；而在实时标签场景，将实时数据直写到 Hbase/Lindorm 库中，离线数据通过标签平台回流至线上库中；蚂蚁实时的数据应用主要包括报表监控、实时标签和实时特征三部分。最底层的实时数据采集来源于线上日志、实时消息和数据库日志三大块，并由此构建了实时和离线的明细中间层，该中间层定义不同的主题域，如：流量、营销、交易等。
2023-05-31 10:31:50
29
转载 Flink SQL 的数据脱敏解决方案
Flink SQL 的数据脱敏解决方案，支持面向用户级别的数据脱敏访问控制，即特定用户只能访问到脱敏后的数据。此方案是实时领域Flink的解决思路，类似于离线数仓 Hive 中 Ranger Column Masking 方案。
2023-05-31 10:30:59
26
转载 DMS的数据库克隆原理是什么，会影响源端的性能吗
数据管理DMS的数据库克隆功能支持将源数据库的表结构和表数据复制至目标数据库中，实现全部表或部分表备份，适用多环境数据库初始化，例如将开发环境复制到测试环境。在数据库中出现克隆功能，主要是为了满足目前云原生的技术应用场景，同时也是为了海量数据备份而诞生的;启动克隆操作的mysql数据库服务器实例中的数据，将会克隆到同服务器或同节点上的一个目录里;数据库实例的管控模式为自由操作。更多信息，请参见管控模式。前提条件 数据库类型为MySQL。
2023-05-31 10:30:57
24
转载 巴别时代基于 Apache Paimon 的 Streaming Lakehouse 的探索与实践
我们基于 Apache Paimon(Incubating) 构建 Streaming Lakehouse 的落地实践主要分为三期：第一期是在调研验证的基础上进行数仓分层，并且上线一些简单的业务验证效果；第三期主要是完善 Paimon 的生态建设，包括数据资产、数据服务等平台服务建设，主要目标是提供完整的基于 Apache Paimon(Incubating) 端到端的平台服务能力。第一期是在调研验证的基础上进行数仓分层，并且上线一些简单的业务验证效果；
2023-05-30 10:18:03
26
转载 Hive SQL on Flink 构建流批一体引擎
目前，流和批仍然是相对割裂的。虽然我们在应用层统一了，但从接入层开始，不同的引擎依旧有不同的接入层、API 层、执行层。我们认为，统一的流批一体引擎应该是从接入层开始使用 SQL Gateway 作为接入层。在 API 层使用 Flink SQL 作为编写作业的主要语言，在执行层替换成统一的 Runtime。
2023-05-30 10:17:24
28
转载 最佳实践｜如何写出简单高效的 Flink SQL？
批处理里仅有 Append 消息，而流处理中，不仅有 Append 消息，还有 UpdateBefore、UpdateAfter 和 Delete 消息，这些消息都是历史数据的订正。在算子的计算逻辑里，如果不能很好的处理订正消息，会导致下游数据膨胀，引发新的问题。当流算子接收到上游的一条数据后，对于 Stateful 算子会从 State 里读取之前的计算结果，然后结合当前数据进行计算，并将计算结果存储到 State 里。所以流算子的处理是一条一条的（也可能会按一小批进行计算）。
2023-05-30 10:16:27
27
转载 Flink 2.0 启航，开启全新篇章
在过去几年中，这个话题时不时地在邮件列表、Jira 和线下讨论中被提到。然而，2.0 版本的规划需要投入巨大的决心和努力，再加上社区忙于其他优先事项，Flink 2.0 一直没有真正推进起来。以下是我们对 2.0 版本的一些想法。期待您的意见和反馈。
2023-05-30 10:16:00
22
转载 Elastic产品技术回顾与前瞻
我们从Elasticsearch的各个不同部分，比如general、search以及网络方面做大量测试与发掘，查看哪些点阻碍了Elasticsearch的扩展性。此处的扩展性主要指在大集群里，具有大量分片的情况下，集群消耗了大量资源，对搜索以及生命周期管理等都会产生很多负面影响。我们在GitHub issue里罗列了所有点，并且会后面版本陆续做修复，使Elasticsearch的集群承载能力变得更好，能够处理更多分片。因此，该工程会从所有方面进行测试、发掘，整理在系统扩展性方面的各种瓶颈。
2023-05-29 10:19:36
28
转载 Apache Flink ML 2.2.0 发布公告
Apache Flink 社区很荣幸地宣布 Apache Flink ML 2.2.0 版本正式发布！本次发布的版本重点添加了 Flink ML 中的特征工程算法。现在 Flink ML 包含了 33 个开箱可用的特征工程算法，可以支持很多常见的特征工程任务。随着这些算法的添加，我们相信 Flink ML 已经准备好用于需要特征工程的生产作业，例如预处理离线和在线机器学习任务的输入数据。我们鼓励您下载该版本 [1] 并通过 Flink 邮件列表 [2] 或 JIRA [3] 与社区分享您的反馈！
2023-05-29 10:18:47
28
转载 B 站构建实时数据湖的探索和实践
在大数据场景应用中，业务不仅要计算数据结果，而且要保障时效性。目前，我司演化出两条链路。数据采集主要通过 APP 端上报的行为事件数据。服务端上报的日志数据会通过网关以及分发层，流式分发到大数据数仓体系内。MySQL 中存储的业务数据，通过 Datax 周期性的批式同步到数仓内。时效性高的数据会通过 Flink+Kafka 进行流式计算。时效性低的数据通过 Spark+HDFS 进行批计算最后出仓到 MySQL Redis Kafka 的介质中，为 AI、BI 的模型训练、报表分析场景使用。
2023-05-29 10:17:55
31
转载 阿里云Elasticsearch智能存储引擎能力再升级，索引存储大小降低超40%！
在上周结束的Elastic中国开发者大会2023上，阿里云首次对外公开Elasticsearch全面Serverless化背后的产品技术架构，阿里云Elasticsearch依靠云原生底座技术升级，持续进行内核优化，并在日志场景大幅提升使用性价比，向用户提供更简单、更稳定、更弹性的搜索云服务。通过底层架构升级，进行运管平台云原生化升级，带来更加灵活的集群变更体验，推出的基于全新管控的7.16和8.5版本，集群创建时间最快可达5分钟。
2023-05-29 10:14:09
30
转载 阿里云Elasticsearch 让搜索上云像使用“水电”一样简单
作为阿里云Elasticsearch 的合作伙伴，观测未来的创始人兼CEO蒋烁淼提到，为了构建业务的全面可观测性，他们在搭建观测云可观测平台时耗费了很多精力，阿里云Elasticsearch 为其夯实了存储数据的基础，稳定可靠、成本可控、分析能力强大、运维成本低，用户每个 Elasticsearch 应用资源能跟随业务负载、流量和数据量大小动态伸缩，真正做到降本增效。阿里云Elasticsearch 为用户提供了一套云原生的运管平台，支持弹性伸缩、智能巡检等，帮助用户轻松应对日常管理运维。
2023-05-26 10:11:43
30
转载 CNStack 多集群服务：基于 OCM 打造完善的集群管理能力
随着 Kubernetes 在企业业务中的应用和发展，单集群内的管理能力已经趋于完善，越来越多的客户期望在多云、多集群场景部署其业务，因此需要提供相应的多云、多集群管理能力。CNStack 多集群服务是 CNStack 面向多集群、多云场景提供的云原生服务，能够统一管理 CNStack 平台创建的、阿里云上的、客户自建的和其他云上的 Kubernetes 集群。
2023-05-26 10:11:18
25
转载 Soul 云原生网关最佳实践
Soul 是基于兴趣图谱和游戏化玩法的产品设计，属于新一代年轻人的虚拟社交网络。成立于2016年，Soul 致力于打造一个“年轻人的社交元宇宙”，最终愿景是“让天下没有孤独的人”。在 Soul，用户可以无顾虑地表达自己，认知他人，探索世界，交流兴趣和观点，获得精神共鸣和认同感，在交流中获取信息，并获得有质量的新关系。
2023-05-26 10:10:55
32
转载 OpenYurt v1.2 新版本深度解读（一）: 聚焦边云网络优化
云原生边缘计算智能开源平台 CNCF OpenYurt 于近期发布了 v1.2 版本。OpenYurt 是业界首个对云原生体系无侵入智能边缘计算平台，具备全方位的“云、边、端一体化”能力，能够快速实现海量边缘计算业务和异构算力的高效交付、运维及管理。在 v1.2 版本中，OpenYurt 遵循社区提出的“节点池治理”理念，新增组件 Pool-Coordinaotr，提出了一套针对云边场景的资源、网络、应用、监控等角度的边缘治理方案。本文首先聚焦云边场景下的网络优化问题的解决进行解读，敬请持续关注。
2023-05-26 10:10:13
26
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人