阿里云技术_CSDN博客-机器学习,我是程序员,11领域博主

转载基于X-Engine引擎的实时历史数据库解决方案揭秘

实时历史库需求背景在当今的数字化时代，随着业务的迅速发展，每天产生的数据量会是一个惊人的数量，数据库存储的成本将会越来越大，通常的做法是对历史数据做归档，即将长期不使用的数据迁移至以文件形式存储的廉价存储设备上，比如阿里云OSS或者阿里云数据库DBS服务。然而在部分核心业务的应用场景下，针对几...

2020-06-04 17:33:51 21 0

转载 ClickHouse内核分析 MergeTree的存储结构和查询加速

注：以下分析基于开源 v19.15.2.2-stable 版本进行引言 ClickHouse是最近比较火的一款开源列式存储分析型数据库，它最核心的特点就是极致存储压缩率和查询性能，本人最近正在学习ClickHouse这款产品中。从我个人的视角来看存储是决定一款数据库核心竞争力、适用场景的...

2020-06-04 17:30:36 18 0

转载解密阿里云高效病原体基因检测工具

1.背景介绍病原体基因检测，为各种严重感染的诊断提供了基础。病原体检测流程分成五个步骤：（1）采集病人的样本，比方说静脉血，痰液，肺泡灌洗液，或者脑脊髓液等。（2）对样本进行培养，提取样本中的核酸组织。（3）通过高通量基因测序仪，对核酸序列进行测序。高通量测序为了保证精度，会将很长的核苷酸序列...

2020-06-04 17:29:08 50 0

转载如何为云原生应用带来稳定高效的部署能力？

作者 | 酒祝阿里云技术专家、墨封阿里云开发工程师直播完整视频回顾：https://www.bilibili.com/video/BV1mK4y1t7WS/ 关注“阿里巴巴云原生”公众号，后台回复 “528” 即可下载 PPT 5 月 28 日，我们发起了第 3 期 SIG Cloud...

2020-06-04 17:28:01 4 0

转载案例解析 | 广东自由流收费稽核方案，AI稽核新模式

随着取消省界收费站工程落成，我国逐步迈进全国高速公路“一张网”运行感知新时代。借助交通强国和“撤站”政策，2019年12月，广东联合电服和阿里云共同宣布，全国首个高速不停车收费AI稽核项目正式落地广东，在业内率先使用AI和大数据技术准确处理高速公路不停车收费的稽核工作。 # 案例背景：联...

2020-06-03 13:25:21 18 0

转载 MergeTree的Merge和Mutation机制

注：以下分析基于开源 v19.15.2.2-stable 版本进行引言 ClickHouse内核分析系列文章，继上一篇文章 MergeTree查询链路之后，这次我将为大家介绍MergeTree存储引擎的异步Merge和Mutation机制。建议读者先补充上一篇文章的基础知识，这样会比较...

2020-06-03 13:22:59 14 0

转载 “数据湖”：概念、特征、架构与案例

写在前面：最近，数据湖的概念非常热，许多前线的同学都在讨论数据湖应该怎么建？阿里云有没有成熟的数据湖解决方案？阿里云的数据湖解决方案到底有没有实际落地的案例？怎么理解数据湖？数据湖和大数据平台有什么不同？头部的云计算玩家都各自推出了什么样的数据湖解决方案？带着这些问题，我们尝试写了这样一篇文章，...

2020-06-03 13:18:32 122 0

转载阿里云专属数据库重新定义云数据库新形态

阿里云数据库专属集群专属链接云专属数据库，重新定义云数据库新形态数据库是一个有着超过40年历史的悠久行业，前期一直被传统的如Oracle等少数几家厂商把持。云计算的先行者AWS在2009年率先推出RDS服务（Relational Database Service ），商业上通过云计算...

2020-06-03 13:16:15 106 0

转载 Service Mesh 最火项目 Istio 架构解析

Istio 是一个开源的服务网格，可为分布式微服务架构提供所需的基础运行和管理要素。随着各组织越来越多地采用云平台，开发者必须使用微服务设计架构以实现可移植性，而运维人员必须管理包含混合云部署和多云部署的大型分布式应用。Istio 采用一种一致的方式来保护、连接和监控微服务，降低了管理微服务部署的...

2020-06-03 13:15:37 37 0

转载如何使用MaxCompute Spark读写阿里云Hbase

背景 Spark on MaxCompute可以访问位于阿里云VPC内的实例（例如ECS、HBase、RDS）,默认MaxCompute底层网络和外网是隔离的，Spark on MaxCompute提供了一种方案通过配置spark.hadoop.odps.cupid.vpc.domain.lis...

2020-06-02 15:37:11 172 0

转载阿里云EDAS 3.0重磅发布，无侵入构建云原生应用

发布会传送门进入直播间还有好礼等你拿！ EDAS产品免费试用：https://www.aliyun.com/activity/middleware/edaspromotiononmay 首届云原生编程挑战赛正式开战！立即报名瓜分330000现金奖：https://tianchi.aliyu...

2020-06-02 15:32:06 68 0

转载神结合！一招玩转K8s和微服务治理

发布会传送门进入直播间还有好礼等你拿！ EDAS产品免费试用：https://www.aliyun.com/activity/middleware/edaspromotiononmay 首届云原生编程挑战赛正式开战！立即报名瓜分330000现金奖：https://tianchi.aliyu...

2020-06-02 15:26:38 14 0

转载 Istio 从懵圈到熟练：二分之一活的微服务

作者 | 声东阿里云售后技术专家 <关注阿里巴巴云原生公众号，回复排查即可下载电子书> 《深入浅出 Kubernetes》一书共汇集 12 篇技术文章，帮助你一次搞懂 6 个核心原理，吃透基础理论，一次学会 6 个典型问题的华丽操作！ Istio is the future...

2020-06-02 15:24:57 12 0

转载联手友盟+打造云上数据增长“样板间” 成功逆势突围

阿里云数据中台官网 https://dp.alibaba.com/index （作者：友盟+） “消费升级”是近年来的中国消费市场热门词汇，消费升级的同时也驱动了内容消费升级。在这样的大众消费市场下，一款主打技术类内容的短视频App——好兔视频应运而生。作为非BATT系的初创型企业，如何在竞争...

2020-06-02 15:23:33 97 0

转载说一说阿里云弹性公网IP的那些事

弹性公网IP是独立的公网IP资源，可以绑定到阿里云专有网络VPC类型的ECS、NAT网关、私网负载均衡SLB上，并可以动态解绑，实现公网IP和ECS、NAT网关、SLB的解耦，满足灵活管理的要求。弹性公网IP作为一种网络基础能力，也是阿里云客户日常最常使用的产品之一。那么使用弹性公网IP，部署...

2020-06-01 14:56:32 109 0

转载阿里巴巴编程之夏第二期重磅来袭！

“唯有热爱，可抵岁月漫长”。 2020 年 5 月 25 日，阿里巴巴编程之夏（Alibaba Summer of Code，以下简称 ASoC ）第二期正式上线，项目规模再度升级，来自开源社区的 Apache Dubbo、Apache RocketMQ、Dragonfly、Nacos 等明星开...

2020-06-01 13:16:04 122 0

转载性感的数据可视化 —— 桑基图、气泡图、南丁格尔玫瑰图

阿里云数据中台官网 https://dp.alibaba.com/index （作者：常成） 2019年的“凯度信息之美奖”揭晓了，有很多很有意思的信息可视化作品。很多作品看到的时候都被感动到，数据/信息不再是冷冰冰的，而是立体的，通过可视化可以让人们更清晰的看到和感受到作者想表达的信息，比文...

2020-06-01 12:57:44 119 0

转载边缘计算行业通识与阿里云ENS的技术演进之路

近日，阿里云杨敬宇在CSDN阿里云核心技术竞争力在线峰会上进行了《5G基础设施-阿里云边缘计算的技术演进之路》主题演讲，针对5G时代下，行业和技术的趋势、边缘计算产业通识以及阿里云边缘计算从过去到未来的技术演进之路进行分享。 5G+AI需求推动边缘计算不断向前算力分布形态发生根本变化回...

2020-06-01 12:54:12 234 0

转载阿里云机器学习PAI DSW 2.0 & Alink商业版重磅发布

DSW 2.0：面向AI研发的集成开发平台 DSW（Data Science Workshop）是阿里巴巴PAI团队根据多年的AI算法和产品研发经验积累，围绕提高AI算法研发效率，降低研发成本而推出的一款适用于各类AI开发者的云端机器学习集成开发环境。DSW2.0是借助阿里云ECS，Docker...

2020-05-29 15:43:05 58 0

转载 DSW：面向AI研发的集成开发平台

发布会传送门产品详情云原生技术，注重用户体验，提升研发效率环境搭建是算法研发过程中的重要一环，这里除了硬件选型外，软件环境的安装配置，后续升级往往会耗费不少时间。DSW借助阿里云ECS，Docker和Kubernetes等云原生技术，能够在2，3分钟内帮用户完成环境搭建。用户可以根...

2020-05-29 15:41:50 42 0

转载如何使用 Istio 进行多集群部署管理：多控制平面

作者 | 王夕宁阿里云高级技术专家导读：本文摘自于阿里云高级技术专家王夕宁撰写的《Istio 服务网格技术解析与实战》一书，讲述了如何使用 Istio 进行多集群部署管理来阐述服务网格对多云环境、多集群即混合部署的支持能力。前文详情：《如何使用 Istio 进行多集群部署管理：单...

2020-05-29 15:40:53 34 0

转载从零入门 Serverless | 架构的演进

作者 | 许晓斌阿里云高级技术专家本文整理自《Serverless 技术公开课》第 1 讲，点击开始学习。关注 “Serverless” 公众号，回复入门，即可获取 Serverless 系列文章 PPT。传统单体应用架构十多年前主流的应用架构都是单体应用，部署形式就是一台...

2020-05-29 15:39:41 32 0

转载 Flink 作为现代数据仓库的统一引擎：Hive 集成生产就绪！

在2020年，你的数据仓库和基础设施需要满足哪些需求？我们总结了几下几点：首先，当下的企业正快速转向更实时化的模式，这要求企业具备对线上流式数据进行低延迟处理的能力，以满足实时（real-time）或近实时（near-real-time）的数据分析需求。人们对从数据产生到数据可用之间延迟的...

2020-05-29 15:38:31 34 0

转载如何用一套引擎搞定机器学习全流程？

作者:陈戊超（仲卓）深度学习技术在当代社会发挥的作用越来越大。目前深度学习被广泛应用于个性化推荐、商品搜索、人脸识别、机器翻译、自动驾驶等多个领域，此外还在向社会各个领域迅速渗透。背景当前，深度学习的应用越来越多样化，随之涌现出诸多优秀的计算框架。其中 TensorFlow，PyT...

2020-05-28 16:32:03 41 0

转载开放下载！《OSS运维基础实战手册》

作为一名云运维工程师，在攻克OSS的道路上难免会遇到"天花板"。放轻松，《OSS运维基础实战手册》帮你轻松解决！本书透彻解析OSS核心概念，十二心法打开全新运维视角，力求帮助云运维工程师们打破能力上升瓶颈。本书兼顾理论与实践，通过讲授运维实战十二心法，以更加直观，具体的方式...

2020-05-27 16:47:20 77 0

转载下一代云原生应用制品管理平台，容器镜像服务企业版优惠进行时

随着越来越多的企业拥抱容器、拥抱云原生技术，享受技术带来的弹性、敏捷、可移植的便利，但是在实现容器技术生产落地时，很难规避以下痛点问题：１、运维复杂度：需要自建一个高可用的镜像服务去面对峰值流量等弹性场景，并且实时关注及时扩容；当面对全球多地域部署的场景，还要运维管理复杂的网络拓扑图。２、...

2020-05-27 16:46:09 77 0

转载阿里云专家赵伟教你在CDN边缘节点上构建多层纵深防护体系

网络安全态势严峻，常见的五大网络攻击风险类型赵伟认为，企业线上服务所面临的安全风险，主要来自以下五个方面： DDoS攻击 DDoS攻击类型已有20多年历史，它攻击方式简单直接，通过伪造报文直接拥塞企业上联带宽。随着IoT等终端设备增多，网络攻击量也愈发凶猛。根据阿里云安全中心报告显示...

2020-05-27 16:45:22 91 0

转载扎心！天天写代码，方向真的对吗？

“每个人的时间都是有限的，在有限的时间里选择一项值得投入的技术会变得尤为重要。” 笔者从 2008 年开始工作到现在也有 12 个年头了，一路走来都在和数据打交道，做过很多大数据底层框架内核的开发（Hadoop，Pig，Hive，Tez，Spark），也做过多年上层数据计算框架（Livy, Ze...

2020-05-27 16:43:05 55 0

转载 Flink 与 Hive 的磨合期

有不少读者反馈，参考上篇文章《Hive 终于等来了 Flink》部署 Flink 并集成 Hive 时，出现一些 bug 以及兼容性等问题。虽已等来，却未可用。所以笔者增加了这一篇文章，作为姊妹篇。回顾在上篇文章中，笔者使用的 CDH 版本为 5.16.2，其中 Hive 版本为 1....

2020-05-25 15:18:50 55 0

转载数智化时代合格数据架构师如何养成？

文章将从云计算基建、大数据基建、数据构建、数据管理、数据应用5个角度，阐述数据架构师的必备技能和素养。云计算基建传统的IT架构已存在几十年，随着企业业务的快速发展，对于业务的可用性要求越来越高，对于成本的压力也越来大。是否存在一种方式能以更低成本、更高性能和可用性的方式支持新时代的企业...

2020-05-25 15:17:05 89 0

转载新一代高效Git协同模型AGit-Flow详解

【以下为分享实录，有删节】 Git工作流概述及AGit-Flow的优势目前，Git已成为源代码管理的标准和基础设施。“为什么Git能这么成功”？Git的创建者Linux在Git十周年的一次采访中，道出了其中的奥秘： The big thing about distributed sourc...

2020-05-25 15:15:58 86 0

转载 Serverless 选型：深度解读 Serverless 架构及平台选择

作者 | 悟鹏阿里巴巴技术专家导读：本文尝试以日常开发流程为起点，分析开发者在每个阶段要面对的问题，然后组合解决方案，提炼面向 Serverless 的开发模型，并与业界提出的 Serverless 产品形态做对应，为开发者采用 Serverless 架构和服务提供参考。近两年来，S...

2020-05-25 15:13:33 76 0

转载 FAST20 论文学习

BCW: Buffer-Controlled Writes to HDDs for SSD-HDD Hybrid Storage Server 原文地址为了兼顾访问性能和硬件成本，目前有不少的存储系统都采用了混合存储（Hybrid Storage），使用 SSD 来提供微秒级访问，配合 HD...

2020-05-22 15:47:25 109 0

转载 Flink 1.10 细粒度资源管理解析

相信不少读者在开发 Flink 应用时或多或少会遇到在内存调优方面的问题，比如在我们生产环境中遇到最多的 TaskManager 在容器化环境下占用超出容器限制的内存而被 YARN/Mesos kill 掉[1]，再比如使用 heap-based StateBackend 情况下 State 过大...

2020-05-22 15:46:23 76 0

转载深源恒际医疗票据OCR落地九省市服务范围覆盖过半市场

近年来，我国健康险市场规模持续保持高增长。银保监会最新统计数据显示，2019年中国健康险业务原保险保费收入6564亿元，同比增长29.75%。同时，随着民众风险保障意识的不断提升，未来健康险仍有巨大的潜在增长空间。据天风证券研报预测，未来五年内健康险复合增速将保持在20%左右。与市场规模呈正相...

2020-05-22 15:43:58 42 0

转载阿里云飞天洛神2.0：开放弹性的云网络NFV平台

云网络架构阿里云操作系统叫飞天，云网络平台称为洛神。作为飞天系统的核心组件，洛神平台支撑了超大规模租户、超大规模虚拟机的高性能云网络。洛神平台由很多网络设备组成，在架构上主要可以分为两类：虚拟交换机AVS和各种网关设备。AVS负责ECS的虚拟网络接入，网关设备提供了丰富的网络功能和服务。 ...

2020-05-22 15:42:58 120 0

转载 Apache RocketMQ 的 Service Mesh 开源之旅

作者 | 凌楚阿里巴巴开发工程师导读：自 19 年底开始，支持 Apache RocketMQ 的 Network Filter 历时 4 个月的 Code Review（Pull Request），于本月正式合入 CNCF Envoy 官方社区（RocketMQ Proxy Filter...

2020-05-22 15:41:30 64 0

转载企业主机安全面临的三大风险如何解？

导语 4月29日，阿里云五大安全产品全面升级在线发布，包括发布阿里云Web应用防火墙混合云解决方案，破解混合云环境下割裂的web安全管理难题；发布容器安全解决方案，助力客户解决容器安全问题提高运维管理效率；发布UEM终端访问控制系统，助力企业全面识别内网风险，应对远程办公安全挑战；统一身份认证服...

2020-05-21 19:45:42 139 0

转载新基建来了！5G边缘计算如何展现勃勃生机？

最近“新基建”是个热词，那么新基建到底是什么？与之紧密相关的5G何去何从？这给边缘计算带来了什么机遇？边缘计算的生态产业链条是怎样的？它的典型特征和经济效益是什么？本文将为大家带来分享。新基建是什么？近日，国家发改委官方首次明确了“新基建”的范围，包括信息基础设施、融合基础设施、创新基...

2020-05-21 19:38:59 60 0

转载面向大数据与云计算调度挑战的阿里经济体核心调度系统

本文作者李超阿里云智能资深技术专家编者按伏羲（Fuxi）是十年前最初创立飞天平台时的三大服务之一（分布式存储 Pangu，分布式计算 MaxCompute，分布式调度 Fuxi），当时的设计初衷是为了解决大规模分布式资源的调度问题（本质上是多目标的最优匹配问题）。随阿里经济体...

2020-05-21 19:30:54 249 0