- 博客(72)
- 收藏
- 关注
RSS订阅转载 开发者说：如何使用插件降低上传文件部署服务的复杂度
导读：从问题本身出发，不局限于 Go 语言，探讨服务器中常常遇到的问题，最后回到 Go 如何解决这些问题，为大家提供 Go 开发的关键技术指南。我们将以系列文章的形式推出《Go 开发的关键技术指南》，共有 4 篇文章，本文为第 1 篇。Go 开发指南大图Overview该指南主要讨论了服务器领域常见的并发问题，也涉及到了工程化相关的问题，还整理了 C 背景程序员对于 Go 的 GC 以...
2019-12-31 15:41:31
192
转载 PouchContainer 容器技术演进助力阿里云原生升级
我们从 2016 年开始在集团推广全面的镜像化容器化，今年是集团全面镜像化容器化后的第 4 个 双11，PouchContainer 容器技术已经成为集团所有在线应用运行的运行时底座和运维载体，每年 双11 都有超过百万的 PouchContainer 容器同时在线，提供电商和所有相关的在线应用平稳运行的载体，保障大促购物体验的顺滑。我们通过 PouchContainer 容器运行时这一层标准构...
2019-12-31 15:37:22
91
转载 快速搭建 Serverless 人脸识别离线服务
快速搭建 Serverless 人脸识别离线服务简介首先介绍下在本文出现的几个比较重要的概念：函数计算（Function Compute）：函数计算是一个事件驱动的服务，通过函数计算，用户无需管理服务器等运行情况，只需编写代码并上传。函数计算准备计算资源，并以弹性伸缩的方式运行用户代码，而用户只需根据实际代码运行所消耗的资源进行付费。函数计算更多信息参考函数工作流（Function Fl...
2019-12-31 15:19:42
195
转载 移植 Python 量化交易 TA-Lib 库到函数计算
TA-Lib 可分为 10 个子板块：Overlap Studies(重叠指标)Momentum Indicators(动量指标)Volume Indicators(交易量指标)Cycle Indicators(周期指标)Price Transform(价格变换)Volatility Indicators(波动率指标)Pattern Recognition(模式识别)Statis...
2019-12-31 14:55:02
240
转载 Kubernetes 下零信任安全架构分析
简介零信任安全最早由著名研究机构 Forrester 的首席分析师约翰.金德维格在 2010 年提出。零信任安全针对传统边界安全架构思想进行了重新评估和审视，并对安全架构思路给出了新的建议。其核心思想是，默认情况下不应该信任网络内部和外部的任何人/设备/系统，需要基于认证和授权重构访问控制的信任基础。诸如 IP 地址、主机、地理位置、所处网络等均不能作为可信的凭证。零信任对访问控制进行了范式上...
2019-12-30 15:40:53
339
转载 嗖的一下！只要一条命令，K8s监控数据一键写入时序数据库
这里的“快速”有多快呢？一条命令就能搞定！本文就介绍如何使用helm一键完成k8s监控数据到阿里云InfluxDB®的存储链路。关于helm对于helm的安装和使用，网上有很多资料，这里不赘述。有一点需要注意，虽然近期helm 3已经发布，但短期内不是所有的helm chart都兼容helm 3，比如社区的这个issue。本文依然使用helm 2来安装。准备这里假设用户已经在阿里云购...
2019-12-30 15:34:15
131
转载 2020将至，谈谈中小企业创业的那些事儿
2019正迎来尾声，在创业这场轰轰烈烈的旅途中，有的人名利双收，有的人饱受非议。一入创业深似海，在创业赛道上，很多公司完成了从0到1，却死在从1到100的路上。而小程序的出现，让移动互联网创业走向低门槛。正如小程序权威机构阿拉丁的创始人史文禄在2019全球小程序生态大会所说，“2019年至少有23家小程序的DAU突破了1千万，在2020年至少会有100家小程序单日DAU突破1千万。” 小程序首次进...
2019-12-30 15:29:10
80
原创 在 Flink 算子中使用多线程如何保证不丢数据？
分析痛点笔者线上有一个 Flink 任务消费 Kafka 数据，将数据转换后，在 Flink 的 Sink 算子内部调用第三方 api 将数据上报到第三方的数据分析平台。这里使用批量同步 api，即：每 50 条数据请求一次第三方接口，可以通过批量 api 来提高请求效率。由于调用的外网接口，所以每次调用 api 比较耗时。假如批次大小为 50，且请求接口的平均响应时间为 50ms，使用同步 a...
2019-12-30 15:25:05
309
转载 日处理数据量超10亿：友信金服基于Flink构建实时用户画像系统的实践
导读世界上只有两种物质：高效率和低效率；世界上只有两种人：高效率的人和低效率的人。——萧伯纳同理，世界上只有两种代码：高效代码和低效代码；世界上只有两种人：编写高效代码的人和编写低效代码的人。如何编写高效代码，是每个研发团队都面临的一个重大问题。所以，作者根据实际经验，查阅了大量资料，总结了"Java高效代码50例"，让每一个Java程序员都能编写出"高效代码"。1.常量&变量...
2019-12-27 15:57:51
411
转载 考拉海购技术支持的前世今生
本文来自考拉海购技术支持中心负责人–书渊的分享，想和大家聊一聊考拉技术支持的前世今生，在这个发展历程的介绍当中，大家也可以此对考拉窥一斑而知全豹。当然，既然是聊我们的家常(“黑历史”)，我会从这几年在考拉供应链产品事业部的视角去讲述(请轻拍~~)，并且，也不会就很多过往事项留恋于细致的介绍，只讲下大面上的东西。技术支持的由来和定位技术支持由来其实电商公司或者说考拉这个 BG ，刚开始成立时是...
2019-12-27 15:53:09
254
转载 跑的好好的 Java 进程，怎么突然就瘫痪了
内存回收一直是 Java的痛点用 Java 无法做出类似 Redis 这样的产品。Java 的内存回收机制使我们在编写代码时不需要关注对象的回收，同时加大了内存回收的消耗，标记复制需要做内存拷贝，标记清除算法则需要 stop the world 。所以我们在使用缓存的时候，量稍微大一些就需要借助类似 Redis 这样的中间件帮我们处理了。作为 Javaer ，我们享受了自动内存回收的安逸，同时也...
2019-12-27 15:48:45
90
转载 Dubbo 如何成为连接异构微服务体系的最佳服务开发框架
从编程开发的角度来说，Apache Dubbo （以下简称 Dubbo ）首先是一款 RPC 服务框架，它最大的优势在于提供了面向接口代理的服务编程模型，对开发者屏蔽了底层的远程通信细节。同时 Dubbo 也是一款服务治理框架，它为分布式部署的微服务提供了服务发现、流量调度等服务治理解决方案。在这篇文章中，我们将以以上基础能力为背景，尝试突破 Dubbo 体系自身，探索如何利用 Dubbo 对多...
2019-12-27 15:32:47
124
转载 微服务治理实践：如何对单点异常进行自动摘除
微服务架构下，稳定性和高可用性一个永恒的话题，在实际的治理过程中，我们有可能会遇到以下场景：某个应用灰度发布，先上了几台机器，由于代码逻辑写的有问题，造成线程池满，出现运行异常。服务端集群中，某几台机器由于磁盘满，或者是宿主机资源争抢导致 load 过高，客户端出现调用超时。服务端集群中，某几台机器由于线程池满，造成 Full Garbage Collection。在以上 3 种场景中...
2019-12-27 15:27:19
472
转载 阿里云移动研发平台 EMAS 助力银行业打造测试中台，提升发版效能
一、背景介绍：MaxCompute 2.0版本升级后，Java UDF支持的数据类型从原来的BIGINT、STRING、DOUBLE、BOOLEAN扩展了更多基本的数据类型，同时还扩展支持了ARRAY、MAP、STRUCT等复杂类型，以及Writable参数。Java UDF使用复杂数据类型的方法，STRUCT对应com.aliyun.odps.data.Struct。com.aliyun.od...
2019-12-26 16:49:08
346
转载 明厨亮灶上云 | 看阿里云智能视觉平台如何保护舌尖上的安全？
中国有句古话：“民以食为天”，人们对饮食的看重始终贯穿于中国文明发展的历史长河。但近年来，食品安全事件频发，餐饮业“后厨重地”合规性问题逐渐走上公众舆论的焦点，成为政府重点监管的所在。那么，面对“食品安全大过天”这一社会诉求，云计算、大数据、人工智能技术又能发挥怎样的作用呢？“明厨亮灶”有何难言之隐？从2015年起，国家食品药品监督管理局提出的“明厨亮灶”工程已经在全国范围内推广。目的是让餐饮...
2019-12-26 15:41:48
1019
转载 实战课堂 | 让大数据分析更简单，4步教你玩转MongoDB BI Connector
MongoDB使用BI Connector支持BI组件直接使用SQL或ODBC数据源方式直接访问MongoDB,在早期MongoDB直接使用Postgresql FDW实现 SQL到MQL的转换,后来实现更加轻量级的mongosqld支持BI工具的连接。安装 BI Connector参考 Install BI Connectorhttps://docs.mongodb.com/b...
2019-12-25 17:23:11
124
转载 万字干货 | 每秒7亿次请求，阿里新一代数据库如何支撑？
导读Lindorm，就是云操作系统飞天中面向大数据存储处理的重要组成部分。Lindorm是基于HBase研发的、面向大数据领域的分布式NoSQL数据库，集大规模、高吞吐、快速灵活、实时混合能力于一身，面向海量数据场景提供世界领先的高性能、可跨域、多一致、多模型的混合存储处理能力。目前，Lindorm已经全面服务于阿里经济体中的大数据结构化、半结构化存储场景。注：Lindorm是阿里内部HBa...
2019-12-25 17:19:07
306
转载 阿里云发布智能账单功能,让你免费拥有专属的“云产品 消费账单管家”
2019年12月18日，阿里云宣布AI智能账单分析功能“成本管家”正式上线，这是国内云厂商首次把数据智能技术与账单系统结合，推出的正式产品。让用户从低效的账单获取、整理和分析的工作中解放出来。让AI为用户整理账单、预测未来的消费趋势以及挖掘异常账单。帮助用户能够更好地管理费用支付，优化成本。据介绍，成本管家是日志服务（SLS）产品内置的新功能，主打面向账单分析的场景。成本管家能实时从账单中心拉取...
2019-12-25 17:06:15
133
转载 可闭环、可沉淀、可持续的企业级数据赋能体系
以下内容根据演讲视频以及PPT整理而成。本次分享主要围绕以下两个方面：一、构建可闭环、可沉淀、可持续的企业级数据赋能体系的背景二、开发者数据银行一、构建可闭环、可沉淀、可持续的企业级数据赋能体系的背景1.数据“四化”如何让属于企业自己的不同触点的数据快速形成一个闭环，沉淀串联这些零散的数据能够快速应用去赋能业务？这涉及到四个关键词，一是业务数据化，企业所有触点是否为真，是否被打通。第二...
2019-12-25 16:53:01
289
转载 案例解读|迁云的灵魂3问，降多少本，增多少效，真平滑否？
近年来，在线教育产业发展十分迅速，在线教育真正打破了时间和空间的限制，使得学员可以随时随地学习，预期2020年将有超过3000亿的市场规模。随着行业不断成熟，国家政策的规范发展使得在线教育的发展进入调整期，烧钱获客的模式不再持续，在兼顾业务发展的同时要注意成本控制。 那就需要注意两大问题。一是服务器资源作为IT基础设施支出的头部预算，如何合理利用服务器资源，按需扩容，节省人力维护成本是关键...
2019-12-25 15:50:41
94
转载 State Processor API：如何读取，写入和修改 Flink 应用程序的状态
过去无论您是在生产中使用，还是调研Apache Flink，估计您总是会问这样一个问题：我该如何访问和更新Flink保存点（savepoint）中保存的state？不用再询问了，Apache Flink 1.9.0引入了状态处理器（State Processor）API，它是基于DataSet API的强大扩展，允许读取，写入和修改Flink的保存点和检查点（checkpoint）中的状态。在这...
2019-12-24 15:42:10
339
转载 阿里云叔同：以容器为代表的云原生技术，已成为释放云价值的最短路径
作者 | 丁宇（叔同） 阿里云智能容器平台负责人 、刘丹2019 年阿里巴巴 双11 核心系统 100% 以云原生的方式上云，完美支撑了 54.4w 峰值流量以及 2684 亿的成交量。随着阿里巴巴经济体云原生技术的全面升级，容器性能、稳定性及在线率也得到了全面提升。本文作者将从云计算时代容器的发展路径为出发点，剖析阿里云的容器技术演进历程，借此探析整个行业的发展趋势。以容...
2019-12-24 15:37:14
126
转载 Flink SQL 如何实现数据流的 Join？
无论在 OLAP 还是 OLTP 领域，Join 都是业务常会涉及到且优化规则比较复杂的 SQL 语句。对于离线计算而言，经过数据库领域多年的积累，Join 语义以及实现已经十分成熟，然而对于近年来刚兴起的 Streaming SQL 来说 Join 却处于刚起步的状态。其中最为关键的问题在于 Join 的实现依赖于缓存整个数据集，而 Streaming SQL Join 的对象却是无限的数据流...
2019-12-24 15:17:26
215
转载 MaxCompute - ODPS重装上阵 第六弹 - User Defined Type
功能简介MaxCompute中的UDT（User Defined Type）功能支持在SQL中直接引用第三方语言的类或者对象，获取其数据内容或者调用其方法 。在其他的SQL引擎中也有UDT的概念，但是和MaxCompute的概念有许多差异。很多SQL引擎中的概念比较像MaxCompute的struct复杂类型。而某些语言提供了调用第三方库的功能，如Oracle 的 CREATE TYPE。相比...
2019-12-23 14:46:59
520
转载 基于MaxCompute InformationSchema进行血缘关系分析
12月12日，第六届DEAS数字娱乐产业年度高峰会于厦门隆重召开，阿里云边缘计算产品首席架构师刘强受邀参会，并在“开启5G元年新场景”主题板块中发表《边缘计算驱动科技“寒武纪”时代》演讲，分享边缘计算在当下企业办公、安防、物流等城市场景的关键作用。“寒武纪”时代带来的启发什么是“寒武纪”时代？“寒武纪”是6亿年前的一个时代，这个时代之前没有太多的复杂生物，但是由于“寒武纪”时代地球温度逐渐上升...
2019-12-20 15:36:37
732
转载 阿里云荣获最佳智能边缘计算技术创新平台
12月11日， 2019亚太内容分发大会暨CDN峰会在广州如期召开，大会围绕“边缘计算”为主题，探讨新技术下，全球互联网产业发展趋势。会上，国内第一，全球前三的阿里云凭借在边缘计算领先的技术布局与创新方案，荣获“最佳智能边缘计算技术创新平台”奖项。边缘计算因5G万物智联的快速发展而备受关注。据Gartner预测，2021年将有40%的大型企业在项目中纳入边缘计算原则。阿里云是国内最早布局边缘计...
2019-12-20 15:31:56
92
转载 阿里云杨敬宇：四层技术构建基于城市场景的边缘计算
12月11日，阿里云边缘计算技术负责人杨敬宇在2019亚太内容分发大会上表示：在未来，边缘计算主要是以地市、区县为单位开展，面向城市服务的交通、医疗、健康、教育、新零售等场景提供算力基础。阿里云认为边缘计算就是城市计算，我们将围绕城市场景去建设边缘计算基础设施和灵活易用的上层操作系统。产业互联网、5G、AI与边缘计算在过去25年，行业应用主要是集中在消费互联网领域，在技术层面大部分采用云-端...
2019-12-20 15:26:57
251
转载 容器镜像服务 联手 IDE 插件，实现一键部署、持续集成与交付
容器技术提供了一种标准化的交付方式，将应用的代码以及代码环境依赖都打包在一起，成为一个与环境无关的交付物，可以被用在软件生命周期的任何阶段，彻底改变了传统的软件交付方式。甚至可以说，是在容器技术之后，DevOps、CI/CD 等运维关键问题才有了质的飞跃：实现资源的动态创建和销毁，更轻量的容器技术既能保证环境一致性也能进一步提高迭代频率，各种容器平台也能更好地保证应用高可用、自动伸缩、业务连续等...
2019-12-18 16:15:36
87
转载 五年双十一：SLS数据管道发展之路
导读：对于云上客户而言，其云上数据被妥善的安全保护是其最重要的安全需求，也是云上综合安全能力最具象的体现。本文作者将从云安全体系出发，到云数据安全，再到云原生安全体系对全链路加密进行一次梳理，从而回答：在云原生时代，全链路加密需要做什么？如何做到？以及未来要做什么？什么是云原生全链路加密数据安全在云上的要求，可以用信息安全基本三要素 "CIA"来概括，即机密性（Confidentialit...
2019-12-17 16:36:38
191
转载 开放下载 | 《Knative 云原生应用开发指南》开启云原生时代 Serverless 之门
自 2018 年 Knative 项目开源后，就得到了广大开发者的密切关注。Knative 在 Kubernetes 之上提供了一套完整的应用 Serverless 编排服务，让应用开发者可以不用为底层的基础设施分心，把更多的精力投入到业务逻辑上。Knative 的一个很重要的目标就是制定云原生、跨平台的 Serverless 编排标准。它的优势在于：基于 Kubernetes 实现 Ser...
2019-12-17 16:05:44
92
转载 阿里巴巴的 Kubernetes 应用管理实践经验与教训
导读：本文整理自孙健波在 ArchSummit 大会 2019 北京站演讲稿记录。首先介绍了阿里巴巴基于 Kubernetes 项目进行大规模应用实践过程中遇到的问题；随后会逐一介绍解决这些问题的现有实践及其本身存在的局限性；最后会介绍阿里巴巴目前正在进行的尝试和社区在这一领域的发展方向。如今，阿里巴巴内部维护了数十个大规模的 K8s 集群，其中最大的集群约 1 万个节点，每个集群会服务上万...
2019-12-17 15:56:47
125
转载 阿里巴巴 Service Mesh 落地的架构与挑战
部署架构切入主题前，需要交代一下在 双11 核心应用上落地的部署架构，如下图所示。在这篇文章中，我们主要聚焦于 Service A 和 Service B 之间 RPC 协议的 Mesh 化。图中示例说明了 Service Mesh 所包含的三大平面：即数据平面（Data Plane）、控制平面（Control Plane）和运维平面（Operation Plane）。数据平面我们采用的是开...
2019-12-17 15:51:48
100
转载 Kubernetes 时代的安全软件供应链
作者汤志敏 阿里云容器服务高级技术专家汪圣平 阿里云云平台安全高级安全专家导读：从 Docker image 到 Helm, 从企业内部部署到全球应用分发，作为开发者的我们如何来保障应用的交付安全。本文会从软件供应链的攻击场景开始，介绍云原生时代的应用交付标准演进和阿里云上的最佳实践。“没有集装箱，就不会有全球化”。在软件行业里，Docker 和 Kuberne...
2019-12-16 16:25:11
145
转载 阿里巴巴叔同谈云原生和云计算
本文系『CSDN云计算』对阿里云云原生应用平台负责人叔同的专访，阿里巴巴中间件受权转载。通过本文，您将了解到云计算时代容器技术的发展路径，阿里云在容器领域的产品矩阵、技术迭代以及未来趋势等方面，以及阿里云的容器技术演进历程。以容器为代表的云原生技术，成为云时代释放云价值的最短路径"过去我们常以虚拟化作为云平台和与客户交互的界面，为企业带来灵活性的同时也带来一定的管理复杂度；容器的出现，在虚拟化...
2019-12-16 15:25:17
83
转载 重塑云上的 Java 语言
音乐无国界，但是音乐人有国界。云原生亦如此。虽没有限定的编程语言，但应用所使用的编程语言已经决定了应用部署运行的行为。Java 诞生于20年前，拥有大量优秀的企业级框架，践行 OOP 理念，更多体现的是严谨以及在长时间运行条件下的稳定性和高性能。反观如今，在要求快速迭代交付的云场景下，语言的简单性似乎成了首要的要求，而传统的 Java 语言显得有一些过于重量了。本文由阿里巴巴 JVM 团队技...
2019-12-16 14:34:31
73
转载 分布式事务 GTS 的价值和原理浅析
GTS 今年双 11 的成绩今年 2684 亿的背后，有一个默默支撑，低调到几乎被遗忘的中间件云产品——GTS（全局事务服务，Global Transaction Service），稳稳地通过了自 2014 年诞生以来的第 5 次“大考”。2019 年 11 月 1 日至 12 日，GTS 日均处理分布式事务数量达 亿级 ，每天峰值 TPS 达 万级 ...
2019-12-16 14:29:40
181
转载 Serverless 实战 —— 函数计算 + Typescript 实践
前言首先介绍下在本文出现的几个比较重要的概念：函数计算（Function Compute）：函数计算是一个事件驱动的服务，通过函数计算，用户无需管理服务器等运行情况，只需编写代码并上传。函数计算准备计算资源，并以弹性伸缩的方式运行用户代码，而用户只需根据实际代码运行所消耗的资源进行付费。函数计算更多信息参考。Aliyun Serverless VSCode Extension： 是阿里云 ...
2019-12-13 15:44:21
142
转载 基于函数计算 + TensorFlow 的 Serverless AI 推理
前言概述本文介绍了使用函数计算部署深度学习 AI 推理的最佳实践, 其中包括使用 FUN 工具一键部署安装第三方依赖、一键部署、本地调试以及压测评估， 全方位展现函数计算的开发敏捷特性、自动弹性伸缩能力、免运维和完善的监控设施。1.1 DEMO 概述通过上传一个猫或者狗的照片， 识别出这个照片里面的动物是猫还是狗DEMO 示例效果入口： http://sz.mofangdeg...
2019-12-13 15:41:27
301
转载 一个实时精准触达系统的自我修养
问题定义在互联网行业，唯一不变的就是一直在变化。作为技术同学，我们经常会碰到以下几种需求：当用户收藏的商品降价后及时通知用户，促进双方交易达成；新用户或90天内未成交的用户浏览多个商品后引导用户主动和卖家聊天、也可以给用户发个红包促进用户首单的达成；这些需求本质上是这样的逻辑：实时采集分析用户行为，通过规则计算，对符合条件的用户进行精准触达。普通开发模式很难比较好的承接这类需求，为此我们专门...
2019-12-12 16:38:08
156
转载 阿里云上万个 Kubernetes 集群大规模管理实践
什么是海量 Kubernetes 集群管理？大家可能之前看过一些分享，介绍了阿里巴巴如何管理单集群 1W 节点的最佳实践，管理大规模节点是一个很有意思的挑战。不过这里讲的海量 Kubernetes 集群管理，会侧重讲如何管理超过 1W 个以上不同规格的 Kubernetes 集群。根据我们和一些同行的沟通，往往一个企业内部只要管理几个到几十个 Kubernetes 集群，那么我们为什么需要考虑管...
2019-12-12 16:28:26
143
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人