自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

阿里云技术

汇聚阿里云技术精粹!

  • 博客(92)
  • 收藏
  • 关注

原创 DataWorks 功能实践速览03期 - 生产开发环境隔离

通过前两期的介绍,您可以了解使用DataWorks进行数据同步的主要知识点:数据同步方案和资源组,而在实际应用过程中,我们常常会需要将开发和生产环境进行隔离,开发环境用于数据同步测试,生产环境用于生产数据的同步处理。本期就为您介绍DataWorks实现开发与生产环境隔离的主要知识点。功能推荐:标准模式——开发环境与生产环境隔离为方便不同安全管控要求的用户生产数据,DataWorks为您提供简单模式和标准模式两种工作空间模式,其中简单模式无法设置开发环境和生产环境,而标准模式同时提供开发环境与生产

2021-08-31 15:06:48 161

原创 应用性能提升 70%,探究 mPaaS 全链路压测的实现原理和实施路径

业务背景随着移动开发行业的步入存量时代,App 整体架构的负载能力、以及各个环节的优化逐步成为各个开发者们关注的重点。压力测试就是实现以上功能的主要方案。一般可以基于压力测试:测试后端业务的负荷瓶颈; 评估整体架构性能; 业务稳定峰值; 排查出各节点的薄弱关系; 优化系统资源; 避免短板效应;为运营提供准确的用户承载量作为作证,避免活动/新应用的上线带来的突发流量造成的用户体验不佳。今天,我们将为大家介绍全链路压测方案的是实现原理和实施路径。全链路压测与原理通常我们可以简

2021-08-31 14:43:39 172

原创 学术顶会再突破!计算平台 MaxCompute 论文入选国际顶会VLDB 2021

一、顶会概览VLDB 2021上,阿里云计算平台MaxCompute参与的论文入选,核心分布式调度执行引擎Fangorn、基于TVR Cost模型的通用增量计算优化器框架Tempura等分别被Industry Track、Research Track录取。作为数据管理与数据库领域三大顶级学术会议之一,VLDB每年都吸引了各大高校、科研机构与科技公司的论文投稿,许多重要技术成果都在VLDB上中选发布。多篇研究成果的发布离不开25位计算平台布道师和达摩院布道师花费大量时间撰写和修改,布道师们通过撰写

2021-08-31 11:14:44 165

原创 模仿 Spring 实现一个类管理容器

概述项目的初衷是独立作出一个成熟的有特色的IOC容器,但由于过程参考Spring太多,而且也无法作出太多改进,于是目的变为以此项目作为理解Spring的一个跳板,与网上的一些模仿Spring的框架不同,本项目主要是针对注解形式地址是Thales流程在Spring中,一个bean的形成分三个大的阶段,bean的定义阶段(包含BeanDefinition的加载,解析,与注册) bean的实例化阶段(包含对象的创建,属性的注入) bean的初始化阶段(包含一些资源的初始化,譬如打开文件建立连

2021-08-31 10:59:36 125

原创 解读 Dataphin 流批一体的实时研发

背景每当双11全球购物狂欢节钟声响起,上千万用户涌入天猫、淘宝,流畅的购物体验背后是阿里工程师用技术打造出的营地,支撑了每年双11所带来的数据洪峰。2020年11月1日至11月12日0:00,天猫“双11”累计总交易额达4982亿元,物流订单总量达到23.21亿单。这一切的背后都离不开实时计算技术。Dataphin作为一款企业级智能数据构建与管理产品,具备全链路实时研发能力,从2019年开始支撑集团天猫双11的实时计算需求。就以下文介绍Dataphin实时计算的能力。传统的数仓架构在数仓建设

2021-08-30 14:40:25 405

原创 运营也用的起来的数据分析工具:Quick BI 即席分析详解

Quick BI即席分析:让业务实现自助分析无论是初创型公司还是大型集团,数据分析都是BI团队的核心工作之一,是驱动业务数据化和推动业务发展的利器。但是,随着业务的快速发展,BI团队支撑的工作量往往呈几何式增长,那么在人力资源有限的情况下,难以满足业务部门的诉求。“授人以鱼不如授人以渔”!Quick BI的即席分析,提供灵活的数据分析能力,随时取数、随时分析。在IT支撑,提供标准元数据,以及由组织管理员完善行级权限管控的基础之上,业务人员能够借助即席分析提成本的通过拖拽,零SQL的进行分析和

2021-08-30 14:08:18 493

原创 使用 Flink Hudi 构建流式数据湖

本文介绍了 Flink Hudi 通过流计算对原有基于 mini-batch 的增量计算模型不断优化演进。用户可以通过 Flink SQL 将 CDC 数据实时写入 Hudi 存储,且在即将发布的 0.9 版本 Hudi 原生支持 CDC format。主要内容为:1.背景2.增量 ETL3.演示一、背景近实时从 2016 年开始,Apache Hudi 社区就开始通过 Hudi 的 UPSERT 能力探索近实时场景的使用案例 [1]。通过 MR/Spark 的批处理模型,用户可以实现小时

2021-08-30 11:19:49 302

原创 阿里云 CDN 操控2.0版本正式发布

2021年8月,阿里云边缘云CDN完成过去3年来最大的一次版本升级。本次升级根据上万企业客户的使用反馈和行业应用特征,从简单开通到个性化定制,从内容分发到边缘计算完整解决方案,对客户侧的使用体验进行了全局梳理和全链路优化,推进边缘云CDN操控革新,并逐步构建面向“5G+边缘”的开放平台。通过以下6项重点内容的介绍,让我们一起开启全新的CDN操控之旅。1、控制台概览页①我们在概览页优先放置:基础数据、域名创建入口、费用查询、告警设置等内容,希望帮助用户快速找到核心功能并进行配置;②在热门服务中

2021-08-30 10:42:29 137

原创 分布式计算引擎 Flink/Spark on k8s 的实现对比以及实践

以 Flink 和 Spark 为代表的分布式流批计算框架的下层资源管理平台逐渐从 Hadoop 生态的 YARN 转向 Kubernetes 生态的 k8s 原生 scheduler 以及周边资源调度器,比如 Volcano 和 Yunikorn 等。这篇文章简单比较一下两种计算框架在 Native Kubernetes 的支持和实现上的异同,以及对于应用到生产环境我们还需要做些什么。1. 什么是 Native这里的 native 其实就是计算框架直接向 Kubernetes 申请资源。比如很多跑

2021-08-27 14:39:38 932

原创 如何对接口参数的描述进行集中管理

参数描述库填写参数描述是我们最烦恼的一件事情,尤其对于很多接口来说,往往具有大量相同名称、相同意义的参数,假如每次都需要手动录入,将会是一件非常耗时、低效的事情。我们可以通过参数描述库解决这个问题。参数描述库的使用通过自定义参数描述库,我们可以将本项目用到的大量参数进行预注释:我们也可以通过导入参数描述功能,将数据库定义的字段注释快速导入到APIPOST的参数描述库中。快速导入参数描述这样我们在填写参数描述的时候,针对已定义的参数,我们可以直接快速导入参数描述:什

2021-08-27 14:23:40 103

原创 一文详解 Redis 中 BigKey、HotKey 的发现与处理

一 前言在Redis的使用过程中,我们经常会遇到BigKey(下文将其称为“大key”)及HotKey(下文将其称为“热key”)。大Key与热Key如果未能及时发现并进行处理,很可能会使服务性能下降、用户体验变差,甚至引发大面积故障。二 大Key与热Key的定义我们经常能够在公司内部的Redis开发使用规范手册,或网络中大量的Redis最佳实践文章里看到有关大Key、热Key的定义,然而这些资料中的大Key热Key判定标准却不尽相同,但可以明确的是,它们的判定维度是一致的:大Key通常都会..

2021-08-27 11:10:19 714

原创 PyFlink 开发环境利器:Zeppelin Notebook

PyFlink 作为 Flink 的 Python 语言入口,其 Python 语言的确很简单易学,但是 PyFlink 的开发环境却不容易搭建,稍有不慎,PyFlink 环境就会乱掉,而且很难排查原因。今天给大家介绍一款能够帮你解决这些问题的 PyFlink 开发环境利器:Zeppelin Notebook。主要内容为:1.准备工作2.搭建 PyFlink 环境3.总结与未来也许你早就听说过 Zeppelin,但是之前的文章都偏重讲述如何在 Zeppelin 里开发 Flink SQL,今天则来

2021-08-27 11:03:04 98

原创 快手基于 Flink 构建实时数仓场景化实践

本文整理自快手数据技术专家李天朔在 5 月 22 日北京站 Flink Meetup 分享的议题《快手基于 Flink 构建实时数仓场景化实践》,内容包括:1.快手实时计算场景2.快手实时数仓架构及保障措施3.快手场景问题及解决方案4.未来规划一、快手实时计算场景快手业务中的实时计算场景主要分为四块:公司级别的核心数据:包括公司经营大盘,实时核心日报,以及移动版数据。相当于团队会有公司的大盘指标,以及各个业务线,比如视频相关、直播相关,都会有一个核心的实时看板; 大型活动实时指标:

2021-08-27 10:51:58 219

原创 阿里云 IoT Studio 升级版新增解决方案引擎 大幅提升方案交付效率

8月25日,阿里云发布IoT Studio升级版,新增了解决方案引擎,让设备方案商复用之前搭建的解决方案模板进行简单的定制化修改,即可交付。使整个物联网解决方案的交付过程由几个月,缩短到几小时,用户经济高效的完成物联网应用开发。此次推出的最新版,IoT Studio面向各个行业提供了解决方案引擎。通过解决方案发布工作台,将设备驱动、数据、服务、应用,打包成针对场景的解决方案模版,减轻重复项目交付成本。同时,物联网方案商可以发布私有、授权解决方案,也能发布公开解决方案吸引更多商机和用户购买设备。此

2021-08-26 14:38:05 129

原创 开源自建/托管与商业化自研 Trace,如何选择?

随着微服务架构的兴起,服务端的调用依赖愈加复杂,为了快速定位异常组件与性能瓶颈,接入分布式链路追踪 Trace 已经成为 IT 运维领域的共识。但是,开源自建、开源托管或商业化自研 Trace 产品之间到底有哪些差异,我该如何选择?这是许多用户在调研 Trace 方案时都会遇到的疑问,也是最容易混淆的误区。为了搞清楚这个问题,我们需要从两方面入手,一是梳理线上应用的核心风险与典型场景。二是对比开源自建、托管与商业化自研三种 Trace 方案的能力差异。所谓“知己知彼,百战不殆”,只有结合自身实际情况..

2021-08-26 11:46:51 141

原创 AI 让边缘更智能 边缘让 AI 无处不在

从2012年开始,国家相关部委逐步出台各类政策法规,城市管理和城市服务逐步走向智能化,智慧化。到2019底,全国100%的副省级城市,95%以上的地级市,以及50%以上的县级市均提出建设新型智慧城市,并已经有32个主要城市成立了专门的大数据管理机构,负责智慧城市建设相关的工作。其中,视频作为城市中的主要的数据之一,视觉AI分析的需求不断增加,对于视觉AI专业度的要求也越来越高。「混合云一体机」(Apsara Stack Appliance)面向边缘计算场景,提供软硬件一体化解决方案,通过预安装、预集成、

2021-08-26 10:27:40 201

原创 CPU Burst 有副作用吗?让数学来回答

编者按:CPU Burst 特性已合入 Linux 5.14,Anolis OS 8.2、Alibaba Cloud Linux2、Alibaba Cloud Linux3也都支持CPU Burst特性。在系列文章的上篇中,我们讨论了让人讨厌的 CPU 限流,它会影响运行在容器中的应用的一些关键指标。为了避免限流的出现,有时我们不得不牺牲容器部署密度,从而导致资源浪费的产生。在解决方案部分,我们也介绍了新的CPU Burst 技术,通过这一技术,我们既能保证容器运行服务质量,又不降低容器部署密度。听

2021-08-26 10:21:13 133

原创 MySQL 深潜 - 一文详解 MySQL Data Dictionary

一 背景在 MySQL 8.0 之前,Server 层和存储引擎(比如 InnoDB)会各自保留一份元数据(schema name, table definition 等),不仅在信息存储上有着重复冗余,而且可能存在两者之间存储的元数据不同步的现象。不同存储引擎之间(比如 InnoDB 和 MyISAM)有着不同的元数据存储形式和位置(.FRM, .PAR, .OPT, .TRN and .TRG files),造成了元数据无法统一管理。此外,将元数据存放在不支持事务的表和文件中,使得 DDL 变更..

2021-08-25 18:14:45 201

原创 日志审计携手 DDoS 防护助力云上安全

日志审计携手DDoS防护助力云上安全1 背景介绍设想一下,此时你正在高速公路上开车去上班,路上还有其他汽车,总体而言,大家都按照清晰的合法速度平稳驾驶,当你接近入口坡道的时候,会有更多的车辆加入,然后入口处的车辆越来越多,越来越多,直到所有的交通都慢了下来,最后原来的通行入口拒绝了所有车辆的通过请求。若把通行入口比作服务器的某些资源,那么这就是现实中的一种DDoS案例。1.1 DDoS攻击那么什么是DDoS呢?分布式拒绝服务(Distributed Denial of Service,简称D

2021-08-25 14:38:20 383

原创 5分钟搞定 AlertManager 接入短信、语音等10+种通知渠道

SLS告警管理AlertManager作为Prometheus生态系统的一员,提供了包括静默、抑制、通知在内的多种告警管理服务。同时AlertManager在实际使用中还存在着或多或少的不足,例如通知渠道过少,规则配置过程繁琐。阿里云日志服务为了解决告警的通知、管理等问题,推出了日志服务告警中心,为客户提供了一站式的告警解决方案。下图中的功能对比给出了SLS告警和AlertManager+Prometheus生态的功能对比,可以看出SLS告警提供了企业级的服务,能够极大的方便用户的工作。SL

2021-08-25 11:26:59 944

原创 如何快速搭建云原生企业级数据湖架构及实践分享

内容框架:背景介绍 如何使用 DLF数据湖 实操演示一、背景介绍什么是数据湖数据湖:以一定规则形式存储各种类型的数据结构化数据( Orc 、Parquet ) 半结构化数据 ( Json 、Xml ) 非结构化数据(图像 、视频)为什么需要数据湖1、数据规模进一步扩大大数据存储需要治理 数据治理需要厘清数据依赖关系(血缘) 用户需要明确大数据整体成本(TCO)2、数据来源多样化事务数据(MySQL, SqlServer) 搜索数据 (SOLR) 批处理数据

2021-08-25 10:47:58 237

原创 浅谈 Linux 高负载的系统化分析

讲解 Linux Load 高如何排查的话题属于老生常谈了,但多数文章只是聚焦了几个点,缺少整体排查思路的介绍。所谓“授人以鱼不如授人以渔”。本文试图建立一个方法和套路,来帮助读者对 Load 高问题排查有一个更全面的认识。从消除误解开始没有基线的 Load,是不靠谱的 Load从接触 Unix/Linux 系统管理的第一天起,很多人就开始接触 System Load Average 这个监控指标了,然而,并非所有人都知道这个指标的真正含义。一般说来,经常能听到以下误解:Load 高是 C.

2021-08-25 10:39:35 142

原创 Javascript 机器学习的四个层次

Atwood定律说,凡是可以用Javascript实现的应用,最终都会用Javascript实现掉。作为最热门的机器学习领域,服务端是Python的主场,但是到了手机端呢?Android和iOS里默认都没有Python。但是有浏览器的地方就有js,现在还有个新场景 - 小程序。除此之外,为了可以在不联网情况下进行训练的,也有支持本地框架比如React Native的。可以说,只要有前端的地方,就有机器学习的框架在。js唯一的问题在于,变化太快,每年都有很多新库出现,但是也有不少老的库宣布不维..

2021-08-20 18:14:05 456 1

原创 40年技术发展变革,物联网行业的趋势、现状与挑战

基础设施的完善,推动应用形态不断变迁我们把过去四十年分为五个重要的技术发展阶段,从时间轴上我们把它切分为:1980 - 2000,2000 - 2005,2005 - 2010,2010 - 2020 以及 2020 - 2025。今天的发布会和第五个阶段的技术发展有关,从过去看未来,所以我们先回顾下技术发展史,先来看下前四个阶段分别经历了怎样的技术发展?在技术应用上的主要场景是什么?主流的应用形态是什么?诞生了什么样的新技术和新产品?在 1980~2000 这个阶段,是计算机技术发展和应用的阶段。

2021-08-20 15:03:21 231

原创 提升代码质量的方法:领域模型、设计原则、设计模式

一 影响代码差的根因1 差代码的体现我们可以列举出非常多质量差的代码的表现现象,如名字不知所意、超大类、超大方法、重复代码、代码难懂、代码修改困难……其中最为影响代码质量的两个表现是命名名不副实、逻辑可扩展性差,当一个新人阅读代码时,有时发现方法命名与实际逻辑对不上,这就让人感到非常疑惑,这种现象在平时工作并不少见;另一个就是逻辑扩展性差,一个新业务需求提出来后,发现要在多处改动,需要回归的业务逻辑比较多,造成研发效率不高。2 问题归纳对第1节中提到的现象进行问题归纳整理,大致整理出6类..

2021-08-20 12:43:50 273

原创 基于英特尔® 优化分析包(OAP)的 Spark 性能优化方案

Spark SQL 作为 Spark 用来处理结构化数据的一个基本模块,已经成为多数企业构建大数据应用的重要选择。但是,在大规模连接(Join)、聚合(Aggregate)等工作负载下,Spark 性能会面临稳定性和性能方面的挑战。为了提升 Spark SQL 的性能,用户可以选择使用英特尔® 优化分析包(Optimized Analytics Package,OAP)以及英特尔® 傲腾™ 持久内存和新一代英特尔® 至强® 处理器来改善典型 Spark SQL 工作负载的运行效率。Spark SQL

2021-08-20 10:57:53 126

原创 SmartNews:基于 Flink 加速 Hive 日表生产的实践

本文介绍了 SmartNews 利用 Flink 加速 Hive 日表的生产,将 Flink 无缝地集成到以 Airflow 和 Hive 为主的批处理系统的实践。详细介绍过程中遇到的技术挑战和应对方案,以供社区分享。主要内容为:1.项目背景2.问题的定义3.项目的目标4.技术选型5.技术挑战6.整体方案及挑战应对7.项目成果和展望8.后记一、项目背景SmartNews 是一家机器学习驱动的互联网公司。自 2012 年于日本东京成立,并在美国和中国设有办公室。经过 8 年多的发展,S

2021-08-20 10:39:32 93

原创 万物智联时代的终端智能「管家」 重磅升级:混合云IoT一体机

随着云计算技术的普及,企业云化程度加深,各行业场景逐步将计算、存储等IT资源从传统的云数据中心向用户侧迁移,通过拉近用户和IT资源的物理距离,实现更低的数据交互时延、节省网络流量。据IDC预测,2023年超过50%的新企业基础设施将部署在边缘,边缘基础设施在计算和存储方面的支出将达到212亿美金,五年间的复合年增长率为13%,到2024年,边缘应用的数量将增长800%。「混合云一体机」(Apsara Stack Appliance)面向边缘计算场景,提供软硬件一体化解决方案,通过预安装、预集成、深度

2021-08-19 14:54:48 282

原创 如何玩转 WebGL 并行计算

如今在 Web 端使用 WebGL 进行高性能计算已有不少实践,例如在端智能领域中的 tensorflow.js,再比如可视化领域中的 Stardust.js。在本文中,我们将介绍以下内容:使用 GPU 进行通用计算(GPGPU)的历史 当前在 Web 端使用图形 API 实现 GPGPU 的技术原理,以及前端开发者可能遇到的难点 相关业界实践,包括布局计算、动画插值等 局限性与未来展望一 什么是 GPGPU由于硬件结构不同,GPU 与 CPU 擅长执行不同类型的计算任务。CPU 通过复..

2021-08-19 11:20:55 236

原创 云原生,开发者的黄金时代

对开发者而言,这是一个最好的时代。数字产业蓬勃发展,传统云计算产业走向成熟,大数据、物联网、人工智能、区块链各种新兴技术百花齐放,开发者大有用武之地。但与此同时,新技术层出不穷的涌现,也让开发者对现有技术能力产生焦虑,对于未来道路的选择变得困惑。2021 年 3 月,阿里云委托 Forrester 咨询公司对中国开发者群体进行调研,通过线上问卷方式调研了 422 名包括企业内部应用开发、测试、运维等在内的不同角色人员,以及独立开发者在内的广泛开发者群体。同时为了充分揭示云原生时代对开发者群体带来..

2021-08-19 11:07:50 148

原创 居然之家:核心业务系统全面上云 采用PolarDB替代传统商业数据库

居然之家是中国家居行业龙头,也是中国商业流通领域的知名品牌。截至2021年第一季度末,门店网络遍布全国29个省(市)自治区、270个城市,负责经营的家居卖场达393家,年销售总额最高超过850亿元。随着居然之家加速数字化转型,线上业务呈现爆发式增长,自建IDC已经难以满足实际业务发展的需要,系统每当面临业务高峰,都需要提前花费大量的精力财力和时间去做相应准备。此外,居然之家一直使用传统商业数据库来支撑ERP、POS等核心业务系统,传统集中式部署、使用传统商业数据库带来的高IT建设成本、高并发支撑能力..

2021-08-19 10:47:40 110

原创 “不服跑个分?”是噱头还是实力?

一、背景:性能之战“不服跑个分”已经沦为手机行业的调侃用语,但是实话实说,在操作系统领域“跑分”确实是最重要的评价方式之一。比如 Linux 内核社区常常以跑分软件得分,来评价一个优化补丁的价值。甚至还有 phoronix 这样专注于 Linux 跑分的媒体。而且今天我还想说一点,让软件跑分高,这是实力的体现,是建立在对内核的深刻理解基础上的。本文的故事就源于一次日常的性能优化分析。我们在评估自动化性能调优软件 tuned 的时候,发现它在服务器场景,对 Linux 内核调度器相关的参数做了一些微小的修

2021-08-18 18:30:26 253

原创 解密万亿参数M6模型预训练背后的分布式框架Whale

最近,阿里云PAI团队和达摩院智能计算实验室一起发布“低碳版”巨模型M6,大幅降低万亿参数超大模型训练能耗。借助我们自研的Whale框架仅使用480卡GPU,即训练出了规模达人类神经元10倍的万亿参数多模态大模型M6,与传统海外公司实现万亿参数规模相比,能耗降低超八成、效率提升近11倍。M6是国内首个实现商业化落地的多模态大模型。M6拥有超越传统AI的认知和创造能力,擅长绘画、写作、问答,在电商、制造业、文学艺术等诸多领域拥有广泛应用前景。这里来为大家介绍支持万亿参数模型训练的Whale框架设计..

2021-08-18 18:27:12 407

原创 KubeDL 加入 CNCF Sandbox,加速 AI 产业云原生化

2021 年 6 月 23 日,云原生计算基金会(CNCF)宣布通过全球 TOC 投票接纳 KubeDL 成为 CNCF Sandbox 项目。KubeDL 是阿里开源的基于 Kubernetes 的 AI 工作负载管理框架,取自"Kubernetes-Deep-Learning"的缩写,希望能够依托阿里巴巴的场景,将大规模机器学习作业调度与管理的经验反哺社区。项目地址:http://kubedl.io项目介绍随着 TensorFlow, PyTorch,XGBoost 等主流 AI 框架的不断

2021-08-18 18:16:19 134

原创 谁来拯救存量 SGX1 平台?又一个内核特性合并的血泪史

前言自从Intel内核开发人员Jarkko Sakkinen于2017年9月2日在intel-sgx-kernel-dev@lists.01.org邮件列表上发出v1版的SGX in-tree驱动以来,时间已经过去了3年多了。这期间这个驱动前前后后共修改了41个版本,终于在2020年11月13日,v41版本的补丁合入了5.11-rc1内核。Jarkko松了一口气,任务完成啦!不过,为什么合并一个普通的驱动模块会这么难?事实上,由于SGX所代表的新的机密计算领域的特殊性,围绕着它的争议和讨论就从未..

2021-08-18 15:31:40 166

原创 DataWorks 功能实践速览02期

功能推荐:独享数据集成资源组如上期数据同步解决方案介绍,数据集成的批数据同步任务运行时,需要占用一定的计算资源,这些资源即资源组,通常先从数据来源所在的机器抽取数据至资源组所在的机器,再推送至目标数据源所在的机器。而进行数据同步时,可以根据实际情况规划使用哪种数据集成资源组,资源组规划的关键点包括连通性和性能两方面。以下就从数据集成资源组的类型与性能、网络连通性两方面,为您介绍数据集成资源组的详情:Part1:数据集成资源组的类型与性能对比DataWorks数据集成支持多种不同资..

2021-08-18 15:29:04 262

原创 coredump 瘦身风云

继上一篇非典型程序员青囊搞定内存泄露问题后,美美地睡了一觉。睡梦中,突然金光闪闪,万道光芒照进时光隧道,恍惚来到大唐神龙年间。青囊此时化身狄仁杰高级助理,陪同狄老大和元芳及千牛卫来到案发现场,一番勘察后迅速锁定真凶。虽整日伏于桌前写代码,但早被生活驯服得谨小慎微、擅于察言观色的青囊亦早已悟透了这断案的奥秘。只是,站在一旁的元芳眉头紧锁,面露难色......狄公上前问道:元芳,有心事?元芳起身答道:“大人断案如神,只是像长安这种要案频繁的地方,每次案发,都要出动上百千牛卫来大面积封锁现场,..

2021-08-18 10:22:01 324

原创 JVM 性能提升50%,聊一聊背后的秘密武器 Alibaba Dragonwell

今年四月五日,阿里云开放了新一代ECS实例的邀测[1],Alibaba Dragonwell也在新ECS上进行了极致的优化。相比于之前的dragonwell_11.0.8.3版本,即将发布的dragonwell_11.0.11.6在SPECjbb2015[2]composite模式测试中,系统吞吐量max-jOPS提升55%,响应时间约束下的系统吞吐量critical-jOPS提升602%。如下图所示,图中数据做了归一化处理,以11.0.8.3_GA的critical-jOPS为1个基准单位。测试...

2021-08-17 17:04:11 269

原创 首发|Forrester云原生开发者洞察白皮书,低代码概念缔造者又提出新的开发范式

云原生时代的到来为开发者群体带来了前所未有的机遇,让开发者可以更加专注业务价值创造与创新,并使得人人成为开发者成为现实。广大开发者如何转型成为云原生开发者?运维等专业人员在云原生时代如何避免边缘化的囧境?阿里云委托Forrester对中国开发者群体进行了研究并出了答案。突如其来的新冠疫情并未阻碍企业上云的进程,反而通过企业对数字化转型的重视大大促进了云原生技术的大规模落地。从以Docker为代表的容器技术兴起,再到Kubernetes(K8s)厚积薄发,在对性能、效率、可迁移性、可管理性以及便捷性永..

2021-08-17 14:48:23 171

原创 ARMv9 刷屏 - 号称十年最大变革,Realm 机密计算技术有什么亮点?

ARMv9的新闻刷屏了。ARMv9号称十年以来最重大变革,因此让我们看下ARMv9中机密计算相关的新特性Realm。(注:本文是对Introducing the Confidential Compute Architecture的部分翻译和个人注解,本文图均来自http://anandtech.com网站。)背景在过去的几年里,我们看到安全问题和硬件安全漏洞已经成为了新闻热点。许多处理器侧信道漏洞,如幽灵、熔毁以及与它们有关的侧通道攻击,都表明有必要重新思考如何在处理器架构层面解决安全问题。..

2021-08-17 11:42:55 164

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除