自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

阿里云技术

汇聚阿里云技术精粹!

  • 博客(85)
  • 收藏
  • 关注

原创 OpenKruise:解放 DaemonSet 运维之路

前言OpenKruise 是阿里云开源的大规模应用自动化管理引擎,在功能上对标了 Kubernetes 原生的 Deployment/StatefulSet 等控制器,但 OpenKruise 提供了更多的增强功能,如:优雅原地升级、发布优先级/打散策略、多可用区 workload 抽象管理、统一 sidecar 容器注入管理等,都是经历了阿里巴巴超大规模应用场景打磨出的核心能力。这些 feature 帮助我们应对更加多样化的部署环境和需求、为集群维护者和应用开发者带来更加灵活的部署发布组合策略。..

2020-10-30 16:18:01 270

原创 云原生数据湖解决方案打破数据孤岛,大数据驱动互娱行业发展

行业综述全民娱乐时代,网络互娱市场持续保持高速增长随着互联网的普及以及技术的发展,互联网娱乐行业的发展也日渐成熟。从早期单一门户网站,到个人博客的流行,再到视频网站的壮大。以及这两年层出不穷的短视频、直播、资讯平台等,网络娱乐行业的发展也正在从内容为王,开始往大数据驱动内容创新与推广的方向进行发展。随着生活条件的变好,人们进入了娱乐即生活,生活即娱乐的时代。如同互联网时代到来引爆信息爆炸一样,互联网娱乐的兴起和发展同样有爆发力。据统计,截至2019年6月,我国网络直播用户规模达4.33亿,较20

2020-10-30 16:16:13 441

原创 天猫国际通过 Hologres 进行排行榜的实时交互式分析

一.业务背景天猫国际营销活动分析实时排行榜是在大促中帮助业务快速的分析商家或者品牌的交易和流量的数据情况,给下一步大促的销售目标,流量蓄水等等做出运营决策;尤其是在活动当天当发现行业的问题之后,仅仅靠子行业的拆分不足以确定具体的问题,也不一定有具体的业务抓手,所以需要有到商家、品牌和商品粒度的数据来快速定位问题。二.原技术方案原始技术方案的架构如下图所示,可以看到是非常典型的Lambda架构,实时和离线分别是两套系统,离线数据通过MaxCompute(原MaxCompute)轻度汇总同步至M

2020-10-30 14:08:13 889

原创 接入阿里巴巴商业操作系统,麦当劳中国双11发力数字化

早上8点出门前,你可以打开支付宝搜索麦当劳,点击“优惠预点”订餐,在你去办公室途中,热腾腾的麦当劳早餐就为你准备好了。不管你想坐在麦当劳堂食、外卖送到家里,还是路过门店自提、使用卡券兑换,都可以实现。今年双11前,麦当劳中国上线了阿里跨端轻店铺“官方会员店”,接入阿里巴巴商业操作系统,恰到好处地满足消费者全域全场景的需求。这意味着麦当劳中国与阿里巴巴开启了全面战略合作。此次合作,双方将在餐饮行业全场景业务,以及线上全域消费者精细化运营展开深入探索。依托阿里巴巴商业操作系统(ABOS:Alibaba

2020-10-30 11:28:38 214

原创 持续定义 Saas 模式云数据仓库+实时搜索

一、Why:概述与价值(一)MaxCompute我们把MaxCompute定义为SaaS模式的企业级云数据仓库。在之前,我们可能会认为MaxCompute是一个离线数据处理引擎,也就是一个传统的数仓,但是MaxCompute所能做的事情要比传统数仓多的多。因此,我们更倾向于把MaxCompute看成一个数据处理的平台,在它上面我们可以做离线数据的处理,包括数据库的应用,传统数据仓库的应用,以及近实时的数据采集和近实时的数据查询,现在将其与MC-Holegres组件结合,我们还能做到实时数仓的应用场景

2020-10-30 11:20:07 403 1

原创 谈谈我对零售云在云原生总结与思考

零售云是阿里三朵业务云:零售云、金融云和政务云之一,将开辟阿里在电商、零售行业的新蓝海,2B快速交付、赋能合作伙伴更快业务增长和节省成本。云原生是零售云的最重要的技术底座,云原生是什么,会走向哪里,在零售2B交付的场景上该如何应用,怎么能够结合帮助建设零售云系列产品体系,值得我们的思考和探索,也将有效指导我们接下来几年的零售云项目和产品建设。云原生定义、阿里巴巴云原生架构方法论及产品体系云原生定义Cloud Native 翻译为云原生,是 Matt Stine 提出的一个概念,它是一个思想的集合

2020-10-29 16:30:42 2364 1

原创 如何通过 Serverless 技术降低微服务应用资源成本?

前言在大型分布式 IT 架构领域,微服务是一项必不可少的技术。从本质上来讲,微服务是一种架构风格,将一个大型的系统拆分为多个拥有独立生命周期的应用,应用之间采用轻量级的通信机制进行通信。这些应用都是围绕具体业务进行构建,可以独立部署、独立迭代,也可能根据业务负载独立进行水平扩展。微服务思想以及相关的技术为 IT 架构的发展带来了一系列深刻的变革:易于开发和维护:一个应用只会关注一组特定的业务功能,通过服务拆分,能减少应用之间的耦合度,让开发和维护更加简单。技术栈不受限制:在微服务架构中,..

2020-10-29 15:23:09 181 2

原创 人工智能如何提升大数据存储与管理效率?

随着大数据的大量来源以及企业可用数据量的增加,存储容量规划已成为存储管理员的问题。据估计,每天产生2.5万亿字节的数据。现在,如果以神经元计算的话,那就是相当于2.5亿个人类大脑的海量数据。而且,相同的估计表明,全球总数据的90%是从2016年到2018年生成的。可以简单地说,每天生成越来越多的数据,这正增加了存储工作负载的规模和复杂性。但是,人工智能可以拯救存储管理员,帮助他们高效地存储和管理数据。通过使用AI数据存储,供应商和企业可以将存储管理提升到一个新的水平。而且,存储管理员可以找到他们目前

2020-10-29 15:13:26 321

原创 持续定义 SaaS 模式云数据仓库+AI

一、Why:概述与价值(一)人工智能的发展历史人工智能是很早就出现的一个概念,起源于上个世纪50年代,之后由于种种原因人工智能经历了几十年的漫长的消沉的过程,直到最近几年人工智能才火热起来。人工智能的发展其实有三次黄金时期:第一次是人工智能概念提出的时候,学者们以为AI技术能改变世界,但是实际上并没有;第二次是上个世纪80年代左右,此时已经提出了神经网络等模拟人脑思考的算法,但是也并没有得到很快的发展;第三次可以认为是从2010年左右开始的,与前两次不一样的是这次我们有大数据为生产资料,以强大的算力

2020-10-29 15:01:52 143

原创 Flink SQL 1.11 on Zeppelin 平台化实践

大数据领域 SQL 化开发的风潮方兴未艾(所谓"Everybody knows SQL"),Flink 自然也不能“免俗”。Flink SQL 是 Flink 系统内部最高级别的 API,也是流批一体思想的集大成者。用户可以通过简单明了的 SQL 语句像查表一样执行流任务或批任务,屏蔽了底层 DataStream/DataSet API 的复杂细节,降低了使用门槛。但是,Flink SQL 的默认开发方式是通过 Java/Scala API 编写,与纯 SQL 化、平台化的目标相去甚远。目前官方提供的

2020-10-29 14:43:35 99

原创 持续定义 SaaS 模式云数据仓库+数据银行

一、云数据仓库本章节介绍云数据仓库带来的价值及解决方案。MaxCompute:SaaS模式企业级云数据仓库的应用场景包括广告场景-用户标签计算、分析;业务运营场景-业务指标计算、查询;各行业搭建数据仓库;云上弹性扩展大数据计算和存储。产品优势包括云原生极致弹性:云原生设计,无服务器架构,支持秒级弹性伸缩,快速实现大规模弹性负载需求; 简单易用多功能计算:预置多种计算模型和数据通道能力,开通即用; 企业级平台服务:支持开放生态,提供企业级安全管理能力; 与阿里云众多大数据服务无缝集成;

2020-10-28 16:35:40 268

原创 Serverless 对研发效能的变革和创新

对企业而言,Serverless 架构有着巨大的应用潜力。随着云产品的完善,产品的集成和被集成能力的加强,软件交付流程自动化能力的提高,我们相信在 Serverless 架构下,企业的敏捷性有 10 倍提升的潜力。本次分享我主要分为以下四个方面:一、DevOps的挑战以及如何降低 DevOps 实施代价?二、为什么 Serverless 是云发展的必然结果?三、Serverless+DevOps =?四、实战案例分享一、DevOps的挑战DevOps的挑战对于应用交付的整个流程而言..

2020-10-28 14:49:55 90

原创 阿里云推出业内首个云原生企业级数据湖解决方案

10月23日,数据湖高峰论坛在京召开,阿里云宣布推出业内首个云原生企业级数据湖解决方案,提供EB级数据存储、分析能力,可一站式实现湖存储、湖加速、湖管理、湖计算,帮助企业对数据深入挖掘与分析,洞察其中蕴含的价值,更适合于人工智能、物联网、自动驾驶等拥有海量数据场景的新兴行业。阿里云智能存储产品资深总监陈起鲲表示,云原生企业级数据湖解决方案将首次被大规模应用于今年双十一,支撑阿里巴巴经济体及百万客户全面上云,帮助其最大程度地释放数据价值。据悉,阿里云云原生企业级数据湖解决方案采用了存储计算分离架构

2020-10-28 14:35:53 215

原创 再升级 - Kubernetes Ingress监控进入智能时代

Kubernetes的门户 - Ingress目前Kubernetes(K8s)已经真正地占领了容器编排市场,是默认的云无关计算抽象,越来越多的企业开始将服务构建在K8s集群上。在K8s中,组件通过Service对外暴露服务,常见的包括NodePort、LoadBalancer、Ingress等。其中Ingress主要提供HTTP层(7层)路由功能,相比TCP(4层)的负载均衡具备非常多的优势(路由规则更加灵活、支持金丝雀、蓝绿、A/B Test发布模式、SSL支持、日志、监控、支持自定义扩展等),是目

2020-10-28 10:48:06 225 1

原创 Flink + Iceberg 数据湖探索与实践

导读:今天主要和大家交流的是网易在数据湖 Iceberg 的一些思考与实践。从网易在数据仓库建设中遇到的痛点出发,介绍对数据湖 Iceberg 的探索以及实践之路。主要内容包括:数据仓库平台建设的痛点数据湖 Iceberg 的核心原理数据湖 Iceberg 社区现状网易数据湖 Iceberg 实践之路01 数据仓库平台建设的痛点痛点一:我们凌晨一些大的离线任务经常会因为一些原因出现延迟,这种延迟会导致核心报表的产出时间不稳定,有些时候会产出比较早,但是有时候就可能会产出比较晚,业务很难接

2020-10-28 10:39:31 728

原创 持续定义 SaaS 模式云数据仓库 + Serverless

一、Serverless简介下图是MaxCompute的Serverless架构,主要包括数据接入服务、多计算环境、储存服务和管理几个模块。其中各个模块的主要特点如下:(1)Serverless的数据接入服务提供Tunnel批量、流式导入,转换为MC列存格式、自动伸缩等功能,且免费; 可以免费使用LOAD/UNLOAD命令进行OSS导入/导出。(2)Serverless的多计算环境Severless计算资源池,大规模计算资源池,On-demand按需提供,按作业付费; 独占计算

2020-10-27 18:09:06 153

原创 如何使用云原生数据湖,助力线上教育行业逐步智能化

行业综述线下教育行业因疫情受挫,线上教育却逆势增长随着90年代互联网的引入,在线教育产品也依托于互联网诞生。随着互联网技术的发展,在线教育产品也开始了出现新的模式。在线教育从最初单纯的文字形式,开始往图片、音频方面开始发展。加上这几年直播技术的发展和人工智能等技术在在线教育的应用,在线教育成为今年疫情影响下,为数不多能实现逆势增长的行业。由于疫情的影响,教育行业根据中央疫情防控工作部署,直接暂停各类线下授课,不举办任何形式的聚集性培训活动。在此期间各类线下培训机构遭受重创,某知名线下教育机构上半年营

2020-10-27 14:25:42 162

原创 一文教会你如何写复杂业务代码

了解我的人都知道,我一直在致力于应用架构和代码复杂度的治理。这两天在看零售通商品域的代码。面对零售通如此复杂的业务场景,如何在架构和代码层面进行应对,是一个新课题。针对该命题,我进行了比较细致的思考和研究。结合实际的业务场景,我沉淀了一套“如何写复杂业务代码”的方法论,在此分享给大家。我相信,同样的方法论可以复制到大部分复杂业务场景。一个复杂业务的处理过程业务背景简单的介绍下业务背景,零售通是给线下小店供货的 B2B 模式,我们希望通过数字化重构传统供应链渠道,提升供应链效率,为新零..

2020-10-27 11:11:44 162

原创 深度 | 容器规模化落地企业的最佳途径

随着云原生时代的发展,传统 IT 基础设施加速云化,云原生化成为云上的必然趋势。作为云原生代表技术之一,容器技术可帮助企业提升 IT 架构的敏捷性,加速应用创新,帮助企业更加灵活地应对商业发展中的不确定性。疫情期间,在线教育、音视频、公共健康等行业出现了大幅度的增长。一些基于云计算和容器技术的公司,很好地把握住了业务快速增长的机遇,实现了自身的跨越式发展。容器规模化落地已成为企业发展“必修课”疫情加速了企业数字化的发展进程,低延时和高并发的线上场景频繁出现在企业日常经营中,业务创新的需求也在倒逼..

2020-10-27 11:05:44 304 1

原创 2020亚太内容分发大会 阿里云荣获“边缘计算领航企业”奖

10月21日,第八届亚太内容分发大会在北京隆重召开。凭借在边缘计算领域的先发优势、技术实力与丰富实践,阿里云荣获“边缘计算领航企业”称号。伴随着中国5G商用进程提速,大带宽、大连接、低时延的应用场景爆发,将催生产业变革,超高清、大容量的交互式视频、万物互联的海量终端连接等产业变革必将带来计算环境的变化,大量的边缘计算业务需求随之而来。边缘计算将与云计算并驾齐驱,成为无处不在的核心基础设施。在此背景下,本届大会以“逆向·生长”为主题,与云计算、互联网、运营商等领域的行业领袖,共话行业变革,寻求创新发展

2020-10-27 10:53:41 138

原创 Spring boot 2.3优雅下线,距离生产还有多远?

前言在生产环境中,随着云原生架构的发展,自动的弹性伸缩、滚动升级、分批发布等云原生能力让用户享受到了资源、成本、稳定性的最优解。但是在应用的缩容、发布等过程中,由于实例下线处理得不够优雅,将会导致短暂的服务不可用,短时间内业务监控会出现大量 io 异常报错;如果业务没做好事务,那么还会引起数据不一致的问题,那么需要紧急手动订正错误数据;甚至每次发布,您需要发告示停机发布,否则您的用户会出现一段时间服务不可用。没处理好服务实例下线,无论发生上述哪种情况,都会对您业务的连续性造成困扰。对于任何一个线上应

2020-10-26 17:53:55 274

原创 基于 Flink+ClickHouse 打造轻量级点击流实时数仓

Flink 和 ClickHouse 分别是实时计算和(近实时)OLAP 领域的翘楚,也是近些年非常火爆的开源框架,很多大厂都在将两者结合使用来构建各种用途的实时平台,效果很好。关于两者的优点就不再赘述,本文来简单介绍笔者团队在点击流实时数仓方面的一点实践经验。点击流及其维度建模所谓点击流(click stream),就是指用户访问网站、App 等 Web 前端时在后端留下的轨迹数据,也是流量分析(traffic analysis)和用户行为分析(user behavior analysis)的基础

2020-10-26 14:41:45 640 1

原创 阿里双11同款,流量防卫兵 Sentinel go 源码解读

导读:本文主要分析阿里巴巴集团开源的流量控制中间件 Sentinel,其原生支持了 Java/Go/C++ 等多种语言,本文仅仅分析其 Go 语言实现。下文如无特殊说明,sentinel 指代 Sentinel-Go。1 基本概念 Resource 和 Rule1.1 Resource// ResourceType represents classification of the resources type ResourceType int32 const ( ..

2020-10-26 14:24:33 254

原创 从 Storm 迁移到 Flink,美团外卖实时数仓建设实践

本文主要介绍一种通用的实时数仓构建的方法与实践。实时数仓以端到端低延迟、SQL 标准化、快速响应变化、数据统一为目标。在实践中,我们总结的最佳实践是:一个通用的实时生产平台 + 一个通用交互式实时分析引擎相互配合同时满足实时和准实时业务场景。两者合理分工,互相补充,形成易于开发、易于维护、效率最高的流水线,兼顾开发效率与生产成本,以较好的投入产出比满足业务多样需求。01 实时场景实时数据在美团外卖的场景是非常多的,主要有以下几点:运营层面:比如实时业务变化,实时营销效果,当日营业情况以及

2020-10-26 11:10:06 113

原创 四年,如何从前端小白蜕变为前端技术专家?

本文,将结合笔者的 4 年,从以下几点具体谈谈我的前端成长之路。职业经历 关键技能 一些反思职业经历职场初探-实习的那几个月首先是实习期,当时是北邮的一个师兄内推来的杭州这边。实习期间,主要负责 2 块东西, XList 和周末淘宝, XList 是聚划算之前的一个解决无尽滚动的框架,当时主要还是在熟悉团队的工具链、看源码,顺便给其他业务打打杂。这个时期的重点是团队融入和兴趣探索,对实习生本身能力要求并不高,所以这个阶段的同学们不要过于焦虑,重点还是看自己的个人意愿与团队的匹配度..

2020-10-26 10:54:32 101

原创 独家下载!Java工程师成神必备宝典

初学Java的你还在烦恼不知道怎么去学,学习什么内容吗?那么多的技术书籍是否已经让你无从下手?别急,这就附上一份完整的Java学习路径。从头开始,给你一个体系化的学习方案。结合作者多年开发经验,倾心五年沉淀,旨在与众多Javaer相互交流,共同进步。《Java工程师成神之路(基础篇)》介绍了普通Java工程师必须要学习的相关知识点,包括面向对象和Java语言基础两大部分,涵盖基本数据类型、关键字、异常、I/O流、集合、反射、泛型和枚举......另外,内附成神导图哦~目录精彩节选Ja

2020-10-23 16:30:51 71

原创 阿里云网站全新启航,重新定义2.0时代的“一站式上云”

在刚刚过去的2020年云栖大会上,阿里云智能总裁张建锋宣布,阿里云正式从“飞天云平台”走向“数字原生操作系统”,进入2.0时代。关于阿里云2.0,张建锋如此定义:“阿里云2.0,我认为就是云+数字原生操作系统的一个组合。我们希望来改变大家使用云的方式,也希望来改变大家开发应用的方式。最终,让我们的组织,让我们的社会、企业变得更智能,真正迈入数字化的社会。”在这样的背景下,阿里云官网在10月24日程序员节到来之际,进行了全面的改版升级,向程序员致敬,推出了更具数字化、科技感的首页。此次改版升级具体

2020-10-23 15:34:56 141

原创 SAE 的极致应用部署效率

作为 Serverless 平台,SAE 提供了应用全托管的服务,充分利用了云原生的技术红利,以容器作为应用载体,提供了敏捷的部署、编排、弹性等能力。SAE 屏蔽了底层的基础设施,对于用户来说,感知到的最底层资源是应用实例本身,应用创建、部署等操作是用户交互的主要接口。接下来将介绍我们在应用创建、部署、重启等过程所做的效率优化工作。应用创建首先是应用创建。目前,用户界面可通过镜像或 war、jar 安装包的方式部署应用,最后在平台侧,以统一打包成容器镜像的方式进行分发,然后平台去申请计算、存..

2020-10-23 11:16:23 117 1

原创 数据湖有新解!Apache Hudi 与 Apache Flink 集成

Apache Hudi 是由 Uber 开发并开源的数据湖框架,它于 2019 年 1 月进入 Apache 孵化器孵化,次年 5 月份顺利毕业晋升为 Apache 顶级项目。是当前最为热门的数据湖框架之一。1. 为何要解耦Hudi 自诞生至今一直使用 Spark 作为其数据处理引擎。如果用户想使用 Hudi 作为其数据湖框架,就必须在其平台技术栈中引入 Spark。放在几年前,使用 Spark 作为大数据处理引擎可以说是很平常甚至是理所当然的事。因为 Spark 既可以进行批处理也可以使用微批模拟

2020-10-23 11:04:56 284

原创 MQTT 在游戏运营发行中的实践

前言在游戏生态中,主要包含游戏的研发方以及运营发行方。一款游戏的运行,分为研发和运营两个阶段。研发的主体有个人、独立工作室、游戏研发公司等;游戏的研发主体专注于游戏内容的研发,对游戏的发行及运营往往在人力、财力上投入不足,促使游戏发行及运营业务应运而生,产生了独立的运营发行方。目前市场上很多大型游戏厂商将自己的发行及运营能力打包给运营发行方。另外还有一些游戏的分发渠道方,依托于自己的流量优势,也提供仅针对本渠道的联合运营服务。上图中有关的交互的部分:l 游戏本身的操控交互是在游戏客户端与

2020-10-23 10:45:37 347

原创 从“等等”到“秒开”再到“直开”,是什么让闲鱼社区相见恨晚?

背景闲鱼前端页面的性能常常被人念叨,凡跳转、必跳鱼的印象深入人心,部分页面甚至需要跳四五下才能打开,最近我们对闲鱼前端页面系统性的做了些优化,由于闲鱼前端技术栈相对多元,不同栈技术原理各不相同,优化方案也有所差异,本文主要介绍目前闲鱼占比较重的 Weex 页面的优化过程。闲鱼 Weex 页面多以前端渲染为主,其打开过程与 Web 页面略微相近,大致分为以下几个阶段:我们将「从开始加载(navigationStart)到屏幕首次 paint(绘制)像素内容」的这段时间称为白屏时间(FP),将..

2020-10-23 10:28:37 98

原创 1024,阿里云惊喜“加油包”让你“猿”力觉醒

1024程序员节是广大程序员共同的节日,程序员就像是一个个1024以最核心、踏实、低调的功能模块,搭建起科技世界。现如今,技术更新迭代越来越快,人类生活愈发便捷化、智能化。这背后自然离不开一批批程序员的默默耕耘与辛苦付出。他们起早贪黑、兢兢业业,认真地编写程序、修改BUG,开发了数不清的软件。不得不说,正是因为有他们的存在,我们的生活才更加方便。今年,阿里云在1024程序员节将免费发放价值4500元的“1024专属加油包”,助力广大程序员跑赢焦虑的2020。1024专属加油包明细如下:如

2020-10-22 15:54:50 435

原创 如何让一套代码适配所有iOS设备尺寸?

响应式是基于同一套代码,开发一个APP能够兼容多尺寸、多终端设备的显示,能够动态调整页面的布局以及容器的布局,充分利用当前屏幕的尺寸,为用户提供更好的浏览体验,提升APP开发效率和迭代效率。一 iOS布局尺寸预研当下,iOS端的主要尺寸类型有五种:iPhone、iPad竖屏、iPad横屏、iPad浮窗、iPad分屏。通常,App是按iPhone尺寸开发的,需要适配剩余的四种iPad尺寸。iPad横、竖屏比较常见,旋转设备即可,比较特殊的是浮窗和分屏模式。自苹果iPad iOS 9开始,用户在..

2020-10-22 14:34:05 253

原创 蚂蚁王旭:开源协作如何提升业界的安全?

在前不久的上海外滩大会上,蚂蚁资深技术专家、Kata Containers创始人王旭向参会者分享了开源、开放协作与软件安全可信的话题,本文根据演讲内容编辑整理而成。今天,我想在这里和大家探讨开源与安全的话题。在过去,人们一直有一些疑问:开源是否比闭源更安全?开源项目如何保证自己的安全?如何通过开源社区促进业界改善安全性?这里,我将以Kata Containers项目以及蚂蚁基础设施团队的实践为例,对这些问题做一些探讨,来看看社区和业界是怎么做的。开源项目如何保证安全性?首先是开源比闭源更

2020-10-22 11:18:45 180

原创 如何生成 Flink 作业的交互式火焰图?

前言Flink 是目前最流行的大数据及流式计算框架之一,用户可以使用 Java/Scala/Python 的 DataStream 接口或者标准 SQL 语言来快速实现一个分布式高可用的流式应用,通过内部的 Java JIT、off-heap 内存管理等技术优化性能,并且有完整的 Source、Sink、WebUI、Metrics 等功能集成,让 Flink 几乎成为了流式计算的事实标准。但是当处理海量数据的时候,很容易出现各种异常和性能瓶颈,这时我们需要优化系统性能时,常常需要分析程序运行行为和性

2020-10-22 10:33:24 90

原创 IEEE EDGE 2020论文:Astraea - 以优雅的方式在边缘部署AI服务

前言为什么说边缘计算带来了数据、计算的根据变化? 边缘AI是边缘计算最重要的应用之一,它的挑战是什么? 一个用于边缘计算场景的新型AI服务部署平台——Astraea是如何诞生的? 如何通过Astraea一键化部署边缘AI服务?近日,阿里云边缘计算团队博士后付哲的论文《Astraea: Deploy AI Services at the Edge in Elegant Ways》入选2020年IEEE边缘计算国际会议(IEEE International Conference on Edge Co

2020-10-22 10:28:30 386

原创 应用架构之道:分离业务逻辑和技术细节

架构什么是架构?关于架构这个概念很难给出一个明确的定义,也没有一个标准的定义。硬是要给一个概述,我认为架构就是对系统中的实体以及实体之间的关系所进行的抽象描述。架构始于建筑,是因为人类发展(原始人自给自足住在树上,也就不需要架构),分工协作的需要,将目标系统按某个原则进行切分,切分的原则,是要便于不同的角色进行并行工作。为什么需要架构?有系统的地方就需要架构,大到航空飞机,小到一个电商系统里面的一个功能组件都需要设计和架构。我很喜欢《系统架构:复杂系统的产品设计与开发》里面的..

2020-10-22 10:05:05 270

原创 面对复杂业务,if-else coder 如何升级?

导读:针对业务在不同场景下的差异,我们常常会习惯性地使用 if-else 来实现不同的业务逻辑,久而久之代码越来越难以维护。那么如何消除这些 if-else?面对复杂业务应如何思考和分析?本文分享阿里高级技术专家张建飞(Frank)关于复杂业务治理的方法论,介绍一种多维度分析问题的方法:矩阵分析法。You should not be a if-else coder, should be a complexity conquer.——Frank这篇文章,是对之前我在《阿里高级技术专家方法论:如何写..

2020-10-21 15:32:21 101

原创 前端搞报表 | 数据分析提效全链路解决方案

背景介绍闲鱼 2014 年成立,到现在的话已经实现了从 0 ~ 千万级 DAU 的跃迁,随着业务的快速发展,业务决策方法紧跟升级。从最原始的经验驱动到更加科学合理的数据驱动。而要做到数据驱动,需要去做大量的数据分析以及大量的数据报表开发。在整个数据分析链路上,存在一些研发痛点:BI资源紧张、响应较慢 SQL 查询速度慢、等待耗时较长 前端与服务端的联调成本较高 数据类型复杂度高,难以直观发现有价值的信息业务现状数据分析的现状流程分为三个部分SQL 开发 应用开发 数据可视

2020-10-21 13:29:07 301

转载 看动画学算法之:linkedList

简介linkedList应该是一种非常非常简单的数据结构了。节点一个一个的连接起来,就成了linkedList。今天我们使用动画的方法一起来看看linkedList是怎么插入和删除的。linkedList的构建linkedList是由一个一个的节点构成的。而每个节点只需要存储要保存的数据和下一个节点的引用即可。linkedList本身需要一个head节点,所以我们的linkedList可以这样构建:public class LinkedList { Node head;

2020-10-21 10:51:49 87

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除