自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

阿里云技术

汇聚阿里云技术精粹!

  • 博客(99)
  • 论坛 (1)

原创 Go 开发关键技术指南 | 为什么你要选择 GO?(内含超全知识大图)

导读:从问题本身出发,不局限于 Go 语言,探讨服务器中常常遇到的问题,最后回到 Go 如何解决这些问题,为大家提供 Go 开发的关键技术指南。我们将以系列文章的形式推出《Go 开发的关键技术指南》,共有 4 篇文章,本文为第 1 篇。Go 开发指南大图Overview该指南主要讨论了服务器领域常见的并发问题,也涉及到了工程化相关的问题,还整理了 C 背景程序员对于 Go 的 ...

2019-12-31 19:19:44 66

原创 PouchContainer 容器技术演进助力阿里云原生升级

我们从 2016 年开始在集团推广全面的镜像化容器化,今年是集团全面镜像化容器化后的第 4 个 双11,PouchContainer 容器技术已经成为集团所有在线应用运行的运行时底座和运维载体,每年 双11 都有超过百万的 PouchContainer 容器同时在线,提供电商和所有相关的在线应用平稳运行的载体,保障大促购物体验的顺滑。我们通过 PouchContainer 容器运行时这一层标准...

2019-12-31 17:59:18 71

原创 快速搭建 Serverless 人脸识别离线服务

快速搭建 Serverless 人脸识别离线服务简介首先介绍下在本文出现的几个比较重要的概念:函数计算(Function Compute):函数计算是一个事件驱动的服务,通过函数计算,用户无需管理服务器等运行情况,只需编写代码并上传。函数计算准备计算资源,并以弹性伸缩的方式运行用户代码,而用户只需根据实际代码运行所消耗的资源进行付费。函数工作流(Function Flow):函数工...

2019-12-31 16:57:40 47

原创 移植 Python 量化交易 TA-Lib 库到函数计算

TA-Lib,全称“Technical Analysis Library”, 即技术分析库,是 Python 金融量化的高级库,涵盖了 150 多种股票、期货交易软件中常用的技术分析指标,如 MACD、RSI、KDJ、动量指标、布林带等等。TA-Lib 可分为 10 个子板块:Overlap Studies(重叠指标) Momentum Indicators(动量指标) Volume ...

2019-12-31 15:47:42 58

原创 从零开始入门 K8s | Kubernetes 调度和资源管理

Kubernetes 调度过程首先来看第一部分 - Kubernetes 的调度过程。如下图所示,画了一个很简单的 Kubernetes 集群架构,它包括了一个 kube-ApiServer,一组 Web-hook Controllers,以及一个默认的调度器 kube-Scheduler,还有两台物理机节点 Node1 和 Node2,分别在上面部署了两个 kubelet。我们来看一...

2019-12-31 15:11:10 86

原创 2020将至,谈谈中小企业创业的那些事儿

2019正迎来尾声,在创业这场轰轰烈烈的旅途中,有的人名利双收,有的人饱受非议。一入创业深似海,在创业赛道上,很多公司完成了从0到1,却死在从1到100的路上。而小程序的出现,让移动互联网创业走向低门槛。正如小程序权威机构阿拉丁的创始人史文禄在2019全球小程序生态大会所说,“2019年至少有23家小程序的DAU突破了1千万,在2020年至少会有100家小程序单日DAU突破1千万。” 小程序首次进...

2019-12-30 17:57:31 26

原创 嗖的一下!只要一条命令,K8s监控数据一键写入时序数据库

这里的“快速”有多快呢?一条命令就能搞定!本文就介绍如何使用helm一键完成k8s监控数据到阿里云InfluxDB®的存储链路。关于helm对于helm的安装和使用,网上有很多资料,这里不赘述。有一点需要注意,虽然近期helm 3已经发布,但短期内不是所有的helm chart都兼容helm 3,比如社区的这个issue。本文依然使用helm 2来安装。准备这里假设用户已经...

2019-12-30 16:30:57 24

原创 Kubernetes 下零信任安全架构分析

简介零信任安全最早由著名研究机构 Forrester 的首席分析师约翰.金德维格在 2010 年提出。零信任安全针对传统边界安全架构思想进行了重新评估和审视,并对安全架构思路给出了新的建议。其核心思想是,默认情况下不应该信任网络内部和外部的任何人/设备/系统,需要基于认证和授权重构访问控制的信任基础。诸如 IP 地址、主机、地理位置、所处网络等均不能作为可信的凭证。零信任对访问控制进行了范...

2019-12-30 15:32:45 118

原创 在 Flink 算子中使用多线程如何保证不丢数据?

分析痛点笔者线上有一个 Flink 任务消费 Kafka 数据,将数据转换后,在 Flink 的 Sink 算子内部调用第三方 api 将数据上报到第三方的数据分析平台。这里使用批量同步 api,即:每 50 条数据请求一次第三方接口,可以通过批量 api 来提高请求效率。由于调用的外网接口,所以每次调用 api 比较耗时。假如批次大小为 50,且请求接口的平均响应时间为 50ms,使用同步 ...

2019-12-30 14:57:24 191

原创 千万创业者的自白:踩过坑才明白这些真相!

“大众创业、万众创新”的浪潮正兴,随着国家对自主创业扶持力度的加强,中国的初创企业正在蓬勃发展,据统计,最近五年中国新注册的公司约有3000万家。而另一方面,在轰轰烈烈的创业大潮中,市场竞争指数也急速上升,今年1月至9月,中国初创企业的融资额较上年同期下降了46%。在竞争如此激烈的大环境下,唯有更加高效、高质的数字化办公,才是企业突出重围的不二法门。尤其是对中小企业来说,必须时刻保持业务创新,...

2019-12-26 18:35:24 53

原创 【科普】TLS1.3如此强大!我们如何迎接它?

HTTPS 时代已经来临,而新一代安全传输协议TLS1.3的普及会大大提升HTTP连接速度的性能,消除HTTPS使用性能上的担忧,助推HTTPS进一步应用落地。早在去年,阿里云CDN HTTPS就已经全面支持TLS1.3,鼓励用户逐步升级到更安全、性能更佳的TLS1.3,帮助终端获得更好的访问体验。本文由阿里云CDN技术专家林胜恩(啸坤)为你详细揭秘TLS1.3的发展历程、特性以及应用。一、T...

2019-12-26 17:59:17 201

原创 Struct复杂数据类型的UDF编写、GenericUDF编写

一、背景介绍:MaxCompute 2.0版本升级后,Java UDF支持的数据类型从原来的BIGINT、STRING、DOUBLE、BOOLEAN扩展了更多基本的数据类型,同时还扩展支持了ARRAY、MAP、STRUCT等复杂类型,以及Writable参数。Java UDF使用复杂数据类型的方法,STRUCT对应com.aliyun.odps.data.Struct。com.aliyun.od...

2019-12-26 17:27:49 60

原创 明厨亮灶上云 | 看阿里云智能视觉平台如何保护舌尖上的安全?

中国有句古话:“民以食为天”,人们对饮食的看重始终贯穿于中国文明发展的历史长河。但近年来,食品安全事件频发,餐饮业“后厨重地”合规性问题逐渐走上公众舆论的焦点,成为政府重点监管的所在。那么,面对“食品安全大过天”这一社会诉求,云计算、大数据、人工智能技术又能发挥怎样的作用呢?“明厨亮灶”有何难言之隐?从2015年起,国家食品药品监督管理局提出的“明厨亮灶”工程已经在全国范围内推广。目的是让...

2019-12-26 16:52:05 292

原创 盘点阿里巴巴 15 款开发者工具

从人工到自动化,从重复到创新,技术演进的历程中,伴随着开发者工具类产品的发展。阿里巴巴将自身在各类业务场景下的技术积淀,通过开源、云上实现或工具等形式对外开放,本文将精选了一些阿里巴巴的开发者工具,希望能帮助开发者们提高开发效率、更优雅的写代码。由于开发者涉及的技术领域众多,笔者仅从自己熟悉的领域,以后端开发者的视角盘点平时可能用得到的工具。每个工具按照以下几点进行介绍:工具名称和简介...

2019-12-26 15:57:04 45

原创 实战课堂 | 让大数据分析更简单,4步教你玩转MongoDB BI Connector

MongoDB使用BI Connector支持BI组件直接使用SQL或ODBC数据源方式直接访问MongoDB,在早期MongoDB直接使用Postgresql FDW实现 SQL到MQL的转换,后来实现更加轻量级的mongosqld支持BI工具的连接。安装 BI Connectorwget https://info-mongodb-com.s3.amazonaws.com/m...

2019-12-25 17:02:44 30

原创 万字干货 | 每秒7亿次请求,阿里新一代数据库如何支撑?

导读Lindorm,就是云操作系统飞天中面向大数据存储处理的重要组成部分。Lindorm是基于HBase研发的、面向大数据领域的分布式NoSQL数据库,集大规模、高吞吐、快速灵活、实时混合能力于一身,面向海量数据场景提供世界领先的高性能、可跨域、多一致、多模型的混合存储处理能力。目前,Lindorm已经全面服务于阿里经济体中的大数据结构化、半结构化存储场景。注:Lindorm是阿里内部...

2019-12-25 16:36:01 67

原创 阿里云发布智能账单功能,让你免费拥有专属的“云产品 消费账单管家”

2019年12月18日,阿里云宣布AI智能账单分析功能“成本管家”正式上线,这是国内云厂商首次把数据智能技术与账单系统结合,推出的正式产品。让用户从低效的账单获取、整理和分析的工作中解放出来。让AI为用户整理账单、预测未来的消费趋势以及挖掘异常账单。帮助用户能够更好地管理费用支付,优化成本。据介绍,成本管家是日志服务(SLS)产品内置的新功能,主打面向账单分析的场景。成本管家能实时从账单中心拉...

2019-12-25 15:59:35 108

原创 可闭环、可沉淀、可持续的企业级数据赋能体系

以下内容根据演讲视频以及PPT整理而成。本次分享主要围绕以下两个方面:一、构建可闭环、可沉淀、可持续的企业级数据赋能体系的背景二、开发者数据银行一、构建可闭环、可沉淀、可持续的企业级数据赋能体系的背景1.数据“四化”如何让属于企业自己的不同触点的数据快速形成一个闭环,沉淀串联这些零散的数据能够快速应用去赋能业务?这涉及到四个关键词,一是业务数据化,企业所有触点是否为真,是否被...

2019-12-25 15:34:19 179

原创 案例解读|迁云的灵魂3问,降多少本,增多少效,真平滑否?

近年来,在线教育产业发展十分迅速,在线教育真正打破了时间和空间的限制,使得学员可以随时随地学习,预期2020年将有超过3000亿的市场规模。随着行业不断成熟,国家政策的规范发展使得在线教育的发展进入调整期,烧钱获客的模式不再持续,在兼顾业务发展的同时要注意成本控制。那就需要注意两大问题。一是服务器资源作为IT基础设施支出的头部预算,如何合理利用服务器资源,按需扩容,节省人力维护成本是关键。第二...

2019-12-25 15:05:34 32

原创 Serverless 实战——使用 Rendertron 搭建 Headless Chrome 渲染解决方案

为什么需要 Rendertron?传统的 Web 页面,通常是服务端渲染的,而随着 SPA(Single-Page Application) 尤其是 React、Vue、Angular 为代表的前端框架的流行,越来越多的 Web App 使用的是客户端渲染。使用客户端渲染有着诸多优势,比如节省后端资源、局部刷新、前后端分离等等,但也带来了一些挑战,比如本文要解决的 SEO 问题。对于服...

2019-12-24 17:22:32 100

原创 从零开始入门 K8s | etcd 性能优化实践

导读:etcd 是容器云平台用于存储关键元信息的组件。阿里巴巴使用 etcd 已经有 3 年的历史, 在今年 双11 过程中它又一次承担了关键角色,接受了 双11 大压力的检验。本文作者从 etcd 性能背景出发,带领我们了解了etcd server 端性能优化及 etcd client 使用最佳实践,希望能够为大家运行一个稳定而且高效的 etcd 集群提供帮助。一、etcd 简要介绍...

2019-12-24 16:23:11 35

原创 State Processor API:如何读取,写入和修改 Flink 应用程序的状态

过去无论您是在生产中使用,还是调研Apache Flink,估计您总是会问这样一个问题:我该如何访问和更新Flink保存点(savepoint)中保存的state?不用再询问了,Apache Flink 1.9.0引入了状态处理器(State Processor)API,它是基于DataSet API的强大扩展,允许读取,写入和修改Flink的保存点和检查点(checkpoint)中的状态。在...

2019-12-24 15:54:10 33

原创 阿里云叔同:以容器为代表的云原生技术,已成为释放云价值的最短路径

2019 年阿里巴巴 双11 核心系统 100% 以云原生的方式上云,完美支撑了 54.4w 峰值流量以及 2684 亿的成交量。随着阿里巴巴经济体云原生技术的全面升级,容器性能、稳定性及在线率也得到了全面提升。本文作者将从云计算时代容器的发展路径为出发点,剖析阿里云的容器技术演进历程,借此探析整个行业的发展趋势。以容器为代表的云原生技术,成为云时代释放云价值的最短路径过去我们常以虚拟化作...

2019-12-24 15:19:22 21

原创 Flink SQL 如何实现数据流的 Join?

无论在 OLAP 还是 OLTP 领域,Join 都是业务常会涉及到且优化规则比较复杂的 SQL 语句。对于离线计算而言,经过数据库领域多年的积累,Join 语义以及实现已经十分成熟,然而对于近年来刚兴起的 Streaming SQL 来说 Join 却处于刚起步的状态。其中最为关键的问题在于 Join 的实现依赖于缓存整个数据集,而 Streaming SQL Join 的对象却是无限的数据...

2019-12-24 14:48:53 28

原创 仅 1 年 GitHub Star 数翻倍,Flink 做了什么?

Apache Flink 是公认的新一代开源大数据计算引擎,其流水线运行系统既可以执行批处理程序也可以执行流处理程序。目前,Flink 已成为 Apache 基金会和 GitHub 社区最为活跃的项目之一。在 Flink Forward Asia 2019 上,阿里巴巴资深技术专家,实时计算负责人王峰 (莫问)总结了 2019 年 Flink 在中国的发展和演进,阿里对 Flink 社区的贡献以及...

2019-12-23 16:54:10 20

原创 Lyft 基于 Flink 的大规模准实时数据分析平台(附FFA大会视频)

摘要:如何基于 Flink 搭建大规模准实时数据分析平台?在 Flink Forward Asia 2019 上,来自 Lyft 公司实时数据平台的徐赢博士和计算数据平台的高立博士分享了 Lyft 基于 Apache Flink 的大规模准实时数据分析平台。查看FFA大会视频。本次分享主要分为四个方面:Lyft 的流数据与场景 准实时数据分析平台和架构 平台性能及容错深入分析 总...

2019-12-23 16:17:12 51

原创 阿里风控大脑关于大数据应用的探索与实践

以下内容根据演讲视频以及PPT整理而成。本次分享主要围绕以下三个方面:一、阿里风控大脑整体介绍二、近线引擎三、离线引擎一、阿里风控大脑整体介绍1. 阿里风控大脑是什么?阿里的风控主要分为两大块。一块是金融领域,主要业务是支付宝,另一块是非金融领域,如新零售、高德、大文娱等,我们负责的主要是非金融领域。阿里风控大脑的含义较为丰富,可以有不同的解读,但基本上代表了几个方向。首先,阿里风控大脑是“...

2019-12-23 15:50:04 86

原创 MaxCompute - ODPS重装上阵 第六弹 - User Defined Type

MaxCompute(原ODPS)是阿里云自主研发的具有业界领先水平的分布式大数据处理平台, 尤其在集团内部得到广泛应用,支撑了多个BU的核心业务。 MaxCompute除了持续优化性能外,也致力于提升SQL语言的用户体验和表达能力,提高广大ODPS开发者的生产力。MaxCompute基于ODPS2.0新一代的SQL引擎,显著提升了SQL语言编译过程的易用性与语言的表达能力。我们在此推出Max...

2019-12-23 15:15:26 42

原创 基于MaxCompute InformationSchema进行血缘关系分析

一、需求场景分析在实际的数据平台运营管理过程中,数据表的规模往往随着更多业务数据的接入以及数据应用的建设而逐渐增长到非常大的规模,数据管理人员往往希望能够利用元数据的分析来更好地掌握不同数据表的血缘关系,从而分析出数据的上下游依赖关系。本文将介绍如何去根据MaxCompute InformationSchema中作业ID的输入输出表来分析出某张表的血缘关系。二、方案设计思路MaxCompu...

2019-12-23 14:15:27 63

原创 阿里云杨敬宇:四层技术构建基于城市场景的边缘计算

12月11日,阿里云边缘计算技术负责人杨敬宇在2019亚太内容分发大会上表示:在未来,边缘计算主要是以地市、区县为单位开展,面向城市服务的交通、医疗、健康、教育、新零售等场景提供算力基础。阿里云认为边缘计算就是城市计算,我们将围绕城市场景去建设边缘计算基础设施和灵活易用的上层操作系统。产业互联网、5G、AI与边缘计算在过去25年,行业应用主要是集中在消费互联网领域,在技术层面大部...

2019-12-20 17:33:00 135

原创 阿里经济体大数据平台的建设与思考

本文内容根据演讲视频以及PPT整理而成。双十一!=11.11首先从双11说起,双11已经成为阿里巴巴最大的单日促销活动。双11活动可能对于消费者而言只是一天而已,但是对于阿里巴巴和数百万商家而言,却是一个非常长线的工作。站在阿里巴巴的角度来看双11,其实无论是从业务线还是技术线,背后都存在着很多的思考。从“人、货、场”的角度看待双11。首先,对于“人”而言,双11需要回答什么样的消费者会...

2019-12-20 16:45:47 121

原创 厉害了!阿里云首批通过边缘云标准符合性测试

12月16日,第九届中国云计算标准与应用大会于北京隆重召开。大会聚焦云计算产业新阶段面临的诸多挑战与机遇,从技术标准、技术解析、应用落地等方面进行深入的解读和探讨。会上,阿里云获得由中国电子技术标准化研究院颁发的首批《边缘云标准符合性测试证书》。这是业内权威机构首次开展边缘云领域的测评认证,对于产业上下游和技术服务商具有重要指导意义,也意味着阿里云在推进边缘云领域标准化建设上更进一步。...

2019-12-20 16:21:29 85

原创 边缘计算和“寒武纪”有什么关系?阿里云资深专家刘强如是说

12月12日,第六届DEAS数字娱乐产业年度高峰会于厦门隆重召开,阿里云边缘计算产品首席架构师刘强受邀参会,并在“开启5G元年新场景”主题板块中发表《边缘计算驱动科技“寒武纪”时代》演讲,分享边缘计算在当下企业办公、安防、物流等城市场景的关键作用。“寒武纪”时代带来的启发什么是“寒武纪”时代?“寒武纪”是6亿年前的一个时代,这个时代之前没有太多的复杂生物,但是由于“寒武纪”时代地球温度逐渐...

2019-12-20 15:50:36 65

原创 阿里云荣获最佳智能边缘计算技术创新平台

12月11日, 2019亚太内容分发大会暨CDN峰会在广州如期召开,大会围绕“边缘计算”为主题,探讨新技术下,全球互联网产业发展趋势。会上,国内第一,全球前三的阿里云凭借在边缘计算领先的技术布局与创新方案,荣获“最佳智能边缘计算技术创新平台”奖项。边缘计算因5G万物智联的快速发展而备受关注。据Gartner预测,2021年将有40%的大型企业在项目中纳入边缘计算原则。阿里云是国内最早布局边...

2019-12-20 15:26:41 116

原创 阿里云与创业者的下半程故事

近期,朋友圈刷屏的2017和2019对比图,扎了许多人的心,相信创投圈人士更是体会尤深。2018年的创业“寒冬”,一直延续到了2019年。ofo的戴威、锤子的老罗相继倒下,国民老公王思聪的熊猫TV倒闭,P2P金融全面清退,互联网VC投融资断崖式下跌……“创业就是不知疲倦地翻越每一个山丘”,在环境变化和商业竞争中,有人跌倒,也有人攀顶;有人停下脚步,也有人继续前行。喧嚣之中,我们更需要回归商业的...

2019-12-19 17:01:52 51

原创 寒冬中“逆势生长”,阿里云如何帮助创业者破局?

近期,朋友圈刷屏的2017和2019对比图,扎了许多人的心,相信创投圈人士更是体会尤深。2018年的创业“寒冬”,一直延续到了2019年。ofo的戴威、锤子的老罗相继倒下,国民老公王思聪的熊猫TV倒闭,P2P金融全面清退,互联网VC投融资断崖式下跌……“创业就是不知疲倦地翻越每一个山丘”,在环境变化和商业竞争中,有人跌倒,也有人攀顶;有人停下脚步,也有人继续前行。喧嚣之中,我们更需要回归商业的...

2019-12-19 16:45:09 47

原创 在 Cloudera Data Flow 上运行你的第一个 Flink 例子

文档编写目的Cloudera Data Flow(CDF) 作为 Cloudera 一个独立的产品单元,围绕着实时数据采集,实时数据处理和实时数据分析有多个不同的功能模块,如下图所示:图中 4 个功能模块从左到右分别解释如下:Cloudera Edge Management(CEM),主要是指在边缘设备如传感器上部署 MiNiFi 的 agent 后用于采集数据。 Clouder...

2019-12-19 16:25:08 59

原创 Apache Flink CEP 实战

本文根据Apache Flink 实战&进阶篇系列直播课程整理而成,由哈啰出行大数据实时平台资深开发刘博分享。通过一些简单的实际例子,从概念原理,到如何使用,再到功能的扩展,希望能够给打算使用或者已经使用的同学一些帮助。主要的内容分为如下三个部分:Flink CEP概念以及使用场景。 如何使用Flink CEP。 如何扩展Flink CEP。Flink CEP 概念以及使用场...

2019-12-18 16:41:28 36

原创 如何在 PyFlink 1.10 中自定义 Python UDF?

我们知道 PyFlink 是在 Apache Flink 1.9 版新增的,那么在 Apache Flink 1.10 中 Python UDF 功能支持的速度是否能够满足用户的急切需求呢?Python UDF 的发展趋势直观的判断,PyFlink Python UDF 的功能也可以如上图一样能够迅速从幼苗变成大树,为啥有此判断,请继续往下看…Flink on Beam我们都知...

2019-12-18 15:59:38 631

原创 容器镜像服务 联手 IDE 插件,实现一键部署、持续集成与交付

容器技术提供了一种标准化的交付方式,将应用的代码以及代码环境依赖都打包在一起,成为一个与环境无关的交付物,可以被用在软件生命周期的任何阶段,彻底改变了传统的软件交付方式。甚至可以说,是在容器技术之后,DevOps、CI/CD 等运维关键问题才有了质的飞跃:实现资源的动态创建和销毁,更轻量的容器技术既能保证环境一致性也能进一步提高迭代频率,各种容器平台也能更好地保证应用高可用、自动伸缩、业务连续...

2019-12-18 15:33:05 33

空空如也

阿里云技术的留言板

发表于 2020-01-02 最后回复 2020-08-17

空空如也
提示
确定要删除当前文章?
取消 删除