- 博客(39)
- 收藏
- 关注
RSS订阅转载 阿里员工一天有26小时，怎么做到的？
**摘要：**Apache Flink 是一个分布式大数据处理引擎，可对有限数据流和无限数据流进行有状态计算。本文由贝壳找房的资深工程师刘力云将带来Apache Flink技术在贝壳找房业务中的应用，通过企业开发的实时计算平台案例的分享帮助用户了解Apache Flink的技术特性与应用场景。业务规模及演进下图为贝壳找房的业务场景示意图。最上层为贝壳找房公司最为主体的四大业务：二手房交易、新房...
2020-01-17 14:36:16
352
转载 基于 Flink 构建 CEP 引擎的挑战和实践
**摘要：**Apache Flink 是一个分布式大数据处理引擎，可对有限数据流和无限数据流进行有状态计算。本文由贝壳找房的资深工程师刘力云将带来Apache Flink技术在贝壳找房业务中的应用，通过企业开发的实时计算平台案例的分享帮助用户了解Apache Flink的技术特性与应用场景。业务规模及演进下图为贝壳找房的业务场景示意图。最上层为贝壳找房公司最为主体的四大业务：二手房交易、新房...
2020-01-17 14:31:11
747
1
转载 实时计算在贝壳的实践
**摘要：**Apache Flink 是一个分布式大数据处理引擎，可对有限数据流和无限数据流进行有状态计算。本文由贝壳找房的资深工程师刘力云将带来Apache Flink技术在贝壳找房业务中的应用，通过企业开发的实时计算平台案例的分享帮助用户了解Apache Flink的技术特性与应用场景。业务规模及演进下图为贝壳找房的业务场景示意图。最上层为贝壳找房公司最为主体的四大业务：二手房交易、新房...
2020-01-17 14:23:39
312
转载 阿里巴巴大规模应用Flink的踩坑经验：如何大幅降低 HDFS 压力？
云，为IT基础设施的构建带来很大的便利性。数据库，作为云中非常重要的一类产品，正有越来越多的客户选择使用。但在使用云端数据库时，经常有两类做法：一是通过ECS自建数据，二是直接使用云提供的数据库产品。那么这两类做法，有什么差异？用户又该如何选择呢？下面通过在阿里云平台的一组测试，给你带来答案！1. 测试概述本测试对比了阿里云中ECS自建数据库(5.7/8.0版本)和RDS通用实例，在OL...
2020-01-16 14:14:45
195
转载 内附大神PPT | 最大化资源管理技术红利， 阿里云重磅发布RDS MySQL专属主机组服务！
2020年1月9号，阿里云数据库RDS MySQL正式上线专属主机组产品，在RDS MySQL的所有能力之外，提供更多产品增值功能，包括数据库主机资源100%独占，提供数据库CPU超配能力。客户通过CPU超配，可实现在离线系统混部、低利用率的多业务系统共享超配CPU资源，可降低50%成本。据介绍，RDS MySQL专属主机组为企业提供可靠、安全、高可用数据库服务，提供和RDS一样的SLA保障。R...
2020-01-16 14:08:28
166
转载 云上数据统一备份 - 混合云备份服务云存储备份功能正式商用
2019年12月，阿里云混合云备份服务HBR（Hybrid Backup Recovery, 以下简称HBR）云存储备份功能正式商业化，可备份阿里云上ECS文件/应用、OSS对象存储及NAS文件存储，客户只需使用HBR一款产品，即可保护阿里云上各种云存储，满足云上广大用户的数据安全需求。HBR产品刚刚斩获了由中国存储委员会会务组、CCF专委会提名，奖项主办方第三方存储行业媒体DOIT承办的中国存储...
2020-01-16 13:54:39
256
转载 阿里云上数据统一备份 – 混合云备份服务解析
近年来，随着越来越多的企业从传统经济向数字经济转型，云已经渐渐成为数据经济IT新常态。核心业务系统上云，云上的业务创新，这些都产生了大量的业务数据，这些数据也成为了企业最重要的资产、资源。任何数据损失都可能对业务带来严重影响，但是勒索病毒，黑客攻击，人为误操作，运维失误，乃至机房灾难的威胁随时可能带来数据损失。备份是数据保护的核心手段，更是等级保护，行业合规的硬性要求。阿里云混合云备份服务（...
2020-01-16 13:48:41
314
转载 阿里巴巴资深技术专家崮德：8 个影响我职业生涯的重要技能
我是上个世纪， 1998 年考入浙江大学的，读的是电子工程，但是在大学期间情不自禁爱地上了计算机，当时在学校学的是汇编语言，C 和 C++ ，也钻研过微软的 VC++ 。经历过点亮第一个 8051 板子的 LED 灯而兴奋不已，虽然当时的 LED 灯珠是直接用 8051 的 GPIO 口驱动的（没有考虑驱动电流能力）。后来大三的时候，闲不住的自己，直接去外面的软件公司兼职打工，在其中一家通信设备...
2020-01-15 14:32:34
242
转载 稳定性专题 | Spring Boot 常见错误及解决方法
找不到配置？配置不对？配置被覆盖?Spring Boot 配置加载过程解析:1、Spring Boot 配置的加载有着约定俗成的步骤: 从 resources 目录下加载 application.properties/application.yml ; 再根据里面的 spring.profiles.active 来加载不同 profile 的配置文件 application-dev.prope...
2020-01-15 14:18:18
2230
1
转载 从零开始入门 K8s | GPU 管理和 Device Plugin 工作机制
导读：DevOps 这个概念最早是在 2007 年提出的，那时云计算基础设施的概念也才刚刚提出没多久，而随着互联网的逐渐普及，应用软件的需求爆发式增长，软件开发的理念也逐渐从瀑布模型（waterfall）转向敏捷开发（agile）。传统的软件交付模式（应用开发人员专注于软件开发、IT 运维人员负责将软件部署到服务器运行），再也无法满足互联网软件快速迭代的需求。于是，DevOps 作为一种打破...
2020-01-14 13:55:25
324
转载 首届阿里白帽大会成功举办，用技术“肩天下”
1月10日，首届阿里白帽大会在杭州举办。本届大会由阿里巴巴安全响应中心ASRC与阿里云先知联合举办，是ASRC生态大会与先知白帽大会的首次合体亮相，来自中国、印度、巴基斯坦、法国、新加坡等世界各地的知名研究人员与近200位知名白帽子现场参与。大会现场首届阿里白帽大会 以纯粹技术追求为目标现任阿里云安全总监王昱，知名白帽猪猪侠，在开场致辞中表示，“网络安全环境越来越好，国家对网络安全的重视让...
2020-01-14 13:36:14
1024
转载 第一届阿里云数据可视化峰会圆满落幕
12月23日，2019数据可视化年度峰会在阿里巴巴西溪园区白马山庄举行，峰会以“唤醒数据，看见未来”为主题，邀请著名专家学者及一线行业实践者结合自身实践与感悟，与现场业界来宾分享主题演讲。百余位业界KOL齐聚一堂，深入解读数据可视化研发生态，剖析可视化商业化应用的前景和机会，共同探讨了如何创建创新共赢的数据可视化环境。（现场的气氛可谓是热火朝天啊！还有站在后面的小伙伴，可谓是一票难求）没有抢...
2020-01-14 13:26:31
226
转载 支付宝移动端 Hybrid 解决方案探索与实践
一、子账号创建、AK信息绑定如果您是第一次使用子账号登录数加平台和使用DataWorks，需要确认以下信息：• 该子账号所属主账号的企业别名。• 该子账号的用户名和密码。• 该子账号的AccessKey ID和AccessKey Secret。• 确认主账号已经允许子账号启用控制台登录。• 确认主账号已经允许子账号自主管理AccessKey。1、子账号创建（1）创建子账号（2）绑...
2020-01-13 15:42:20
579
转载 函数计算支持应用中心功能
前言函数计算是事件驱动的全托管计算服务。使用函数计算，您无需采购与管理服务器等基础设施，只需编写并上传代码。函数计算为您准备好计算资源，弹性地可靠地运行任务，并提供日志查询、性能监控和报警等功能。借助函数计算，您可以快速构建任何类型的应用和服务，并且只需为任务实际消耗的资源付费。使用函数计算可以实现一些典型的场景：基于 oss 触发做图片处理基于 Puppeteer 做网页截图或者网页爬...
2020-01-13 15:28:09
209
转载 Serverless 解惑——函数计算如何访问 MySQL 数据库
函数计算（Function Compute）：函数计算 是事件驱动的全托管计算服务。使用函数计算，您无需采购与管理服务器等基础设施，只需编写并上传代码。函数计算为您准备好计算资源，弹性地可靠地运行任务，并提供日志查询、性能监控和报警等功能。借助函数计算，您可以快速构建任何类型的应用和服务，并且只需为任务实际消耗的资源付费。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接...
2020-01-13 14:59:09
406
转载 开发函数计算的正确姿势——使用交互模式安装依赖
前言首先介绍下在本文出现的几个比较重要的概念：函数计算（Function Compute）: 函数计算是一个事件驱动的服务，通过函数计算，用户无需管理服务器等运行情况，只需编写代码并上传。函数计算准备计算资源，并以弹性伸缩的方式运行用户代码，而用户只需根据实际代码运行所消耗的资源进行付费。函数计算更多信息参考。Fun: Fun 是一个用于支持 Serverless 应用部署的工具...
2020-01-13 14:39:58
332
转载 从零开始入门 K8s | 调度器的调度流程和算法介绍
背景Kubernetes 作为通用的容器编排系统，承载了广泛的应用和场景，包括 CI／CD，数据计算，在线应用，AI 等，然而由于其通用性和复杂性，管理一个 Kubernetes 集群对于很多用户而言还是充满挑战的，主要体现在：学习成本高；集群运维管理成本高，包括节点管理、容量规划，以及各种节点异常问题的定位；计算成本在很多场景中没有达到最优，比如对于一个定时运行 Jobs 的集群，长期...
2020-01-10 14:56:03
142
转载 智能用户增长神器QuickAudience开启公共云公测，助力企业业务增长
摘要：日前，由阿里数据打造的智能用户增长QuickAudience，重磅上线阿里云-公共云，开启公测！该产品旨在围绕着品牌消费资产，通过丰富的用户洞察模型和便捷的策略配置，完成消费者多维洞察分析和多渠道触达，助力企业实现用户增长。智能用户增长神器Quick Audience开启公共云公测阿里云数据中台产品矩阵日前又添新成员，智能用户增长Quick Audience（以下简称Quick Audi...
2020-01-10 14:34:46
273
转载 首次曝光 | 阿里数万名开发者都在使用的数据库开发工具到底长什么样？
除了基础的数据查询开发功能，DMS还内置SQL审核、性能诊断优化、测试数据自动生成、多环境数据对比同步、数据库日志追踪回滚、不锁表变更、访问控制、敏感数据脱敏、安全审计等高端功能。1、丰富的数据源????丰富的数据库类型支持（当前已超过25种，还在不断扩展中）MySQL、SQL Server、PostgreSQL、POLARDB等关系型数据库DRDS等OLTP数据库AnalyticDB fo...
2020-01-10 14:23:09
433
转载 跟我学-域名解析故障排查技巧
天苍苍，野茫茫，网站一瘫，唯有泪两行！！客户跳，老板叫，解析故障，心惊又肉跳！！对企业网站来说，很怕出现网站打不开的情况，一旦发生，准会发现公司技术部呈现一片哀嚎景象。为了让运维的难兄难弟们做个精致的小白领，小编特别为你们总结了一套《域名解析故障排查技巧实操全网最全手册》，并分为“初阶版”“进阶版”，跟我学完保您在排查解析故障方面，脑回路神清晰，分分钟就能定位问题。为了助您减少客户不可用时...
2020-01-10 13:50:57
557
转载 MaxCompute问答整理之12月
问题一、MaxCompute内建日期函数，DATEPART函数命令格式为 bigint datepart(datetime date, string datepart)用于提取日期date中指定的时间单位datepart的值。DATETIME类型。如果输入为STRING类型会隐式转换为DATETIME类型后参与运算，其它类型抛异常。但是客户在使用函数的时候没有实现STRING类型隐式转换为DATE...
2020-01-09 15:49:10
1185
转载 阿里云RDS MySQL专属主机组 正式上线，一款用户自主可控的更便宜的RDS服务
2020年1月9号，阿里云数据库RDS MySQL正式上线专属主机组产品，在RDS MySQL的所有能力之外，增值提供更多产品能力，包括数据库主机资源100%独占，提供数据库CPU超配能力。客户通过CPU超配，可实现在离线系统混部、低利用率的多业务系统共享超配CPU资源，可实现降低50%的成本支出。据介绍，RDS MySQL 专属主机组为企业提供可靠、安全、高可用数据库服务，提供和RDS一样的S...
2020-01-09 14:57:01
154
转载 阿里云专有宿主机，构建公共云上的专有资源池
近日，阿里云发布专有宿主机，用户通过独占物理服务器资源，来满足安全合规、性能隔离等诉求，帮助企业级用户轻松构建公共云上的专有资源池。对于企业级用户迁移上云，将会拥有更加丰富的选择。在专有宿主机上创建ECS云服务器，用户不仅在物理级别上和其他租户进行隔离，保证单租户环境性能的稳定性，同时也能拥有阿里云虚拟化管控的所有功能和优势。近年来，云计算已经俨然成为了一种趋势，不仅仅是个人用户、创业公司选择在...
2020-01-09 14:29:39
285
转载 大型企业数据库服务首选，AliSQL这几大企业级功能你了解几个？
MySQL代表了开源数据库的快速发展，从2004年前后的Wiki、WordPress等轻量级Web 2.0应用起步，到2010年阿里巴巴在电商及支付场景大规模使用MySQL数据库，再到2012年开始阿里云RDS for MySQL为成千上万家客户提供可靠的关系数据库服务，积累了来自内外部功能、性能、安全方面的众多需求，培养了一支强劲的MySQL研发团队，并打造了面向企业场景的AliSQL分支，高效...
2020-01-09 14:10:38
280
转载 MaxCompute - ODPS重装上阵 第七弹 - Grouping Set, Cube and Rollup
场景由于业务需求，需要经常对数据进行多维度的聚合分析，如既需要对a列做聚合也要对b列做聚合，同时也要按照a、b两列同时做聚合，所以，不得不写很多很多的UNION ALL，因此造成了很多重复代码，维护起来不方便。该场景的问题，可以通过使用Grouping Sets能够非常好地解决。本文中很多例子采用MaxCompute Studio作展示，没有安装MaxCompute Studio的用户，可...
2020-01-08 14:37:21
267
转载 MaxCompute - ODPS重装上阵 第六弹 - User Defined Type
第五弹向您介绍了MaxCompute如何嵌入其他语言的脚本。SELECT TRANSFORM的优势在于可以不创建function甚至不上传资源的情况下执行其他语言的脚本，而即使需要编写资源也没有任何由MaxCompute规定的格式要求和依赖。本文将介绍另一种将这一优势提升到更高层次的新功能：User Defined Type，简称UDT。场景1某个功能通过其他语言既可非常简单的实现，如用j...
2020-01-08 14:18:40
385
转载 轻松搭建基于 Serverless 的文档图片在线转换服务
函数计算（Function Compute）：函数计算是一个事件驱动的服务，通过函数计算，用户无需管理服务器等运行情况，只需编写代码并上传。函数计算准备计算资源，并以弹性伸缩的方式运行用户代码，而用户只需根据实际代码运行所消耗的资源进行付费。函数计算更多信息参考。1核心优势异构服务：支持多种运行环境用于媒体文件转换的库或者二进制往往和业务的运行环境不同，对计算资源的需求也有较大的差异。函...
2020-01-08 13:58:03
115
转载 轻松搭建基于 SpringBoot + Vue 的 Web 商城应用
背景介绍[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4Vr7w6jb-1578462370108)(https://data-analysis.cn-shanghai.log.aliyuncs.com/logstores/article-logs/track_ua.gif?APIVersion=0.6.0&title=%E8%BD%BB%E6%9D%BE...
2020-01-08 13:47:04
469
转载 一小时快速搭建基于阿里云容器服务-Kubernetes的Web应用
本文面向的读者如果您是一个Kubernetes的初学者，本文可以帮助你快速在云上搭建一个可实际使用的集群环境，并发布自己的第一个应用。你无须提前准备任何的硬件资源或者下载任何的软件包。 如果您已经有一个自建的Kubernetes集群，想要尝试阿里云上的托管集群，本文可以帮助你快速完成上手操作，而无需详细阅读阿里云的帮助文档，从而节省您的时间。您可以在有了端到端的初体验之后，再有选择的...
2020-01-07 14:05:59
146
1
转载 云原生安全-更安全的密文管理 Vault on ACK
Vault是什么？如何在云上应用中管理和保护用户的敏感信息是一个经常令开发者头疼的问题，用户的密码口令，证书秘钥等私密信息时常未经加密被随意的放置在配置文件，代码仓库或是共享存储里，而对于普通的开发者来说，设计和实现一套完整的秘钥管理系统是一个很大的挑战。且不论令人生畏的加解密算法，很多的云应用仍然将一些敏感配置信息仅仅经过base64等一些简单的hash运算就放置在某个公共的配置中心上，而很多...
2020-01-07 14:02:30
520
转载 Kubernetes多租户集群实践
如何解决多租户集群的安全隔离问题是企业上云的一个关键问题，本文主要介绍kubernetes多租户集群的基本概念和常见应用形态，以及在企业内部共享集群的业务场景下，基于kubernetes原生和ACK集群现有安全管理能力快速实现多租户集群的相关方案。什么是多租户集群？这里首先介绍一下"租户"，租户的概念不止局限于集群的用户，它可以包含为一组计算，网络，存储等资源组成的工作负载集合。而在多租户集群...
2020-01-07 13:56:43
1164
转载 瓜子二手车在 Dubbo 版本升级、多机房方案方面的思考和实践
前言随着瓜子业务的不断发展，系统规模在逐渐扩大，目前在瓜子的私有云上已经运行着数百个 Dubbo 应用，上千个 Dubbo 实例。瓜子各部门业务迅速发展，版本没有来得及统一，各个部门都有自己的用法。随着第二机房的建设，Dubbo 版本统一的需求变得越发迫切。几个月前，公司发生了一次与 Dubbo 相关的生产事故，成为了公司 基于社区 Dubbo 2.7.3 版本升级的诱因。接下来，我会从这次线...
2020-01-07 13:46:21
183
转载 携程实时智能检测平台建设实践
前言首先介绍下在本文出现的几个比较重要的概念：函数计算（Function Compute）: 函数计算是一个事件驱动的服务，通过函数计算，用户无需管理服务器等运行情况，只需编写代码并上传。函数计算准备计算资源，并以弹性伸缩的方式运行用户代码，而用户只需根据实际代码运行所消耗的资源进行付费。函数计算更多信息参考。Fun: Fun 是一个用于支持 Serverless 应用部署的工具...
2020-01-03 15:57:50
148
翻译 快速部署 Spring PetClinic 到函数计算平台
简介首先介绍下在本文出现的几个比较重要的概念：函数计算（Function Compute）：函数计算是一个事件驱动的服务，通过函数计算，用户无需管理服务器等运行情况，只需编写代码并上传。函数计算准备计算资源，并以弹性伸缩的方式运行用户代码，而用户只需根据实际代码运行所消耗的资源进行付费。函数计算更多信息参考。Funcraft：Funcraft 是一个用于支持 Serverless 应用部署...
2020-01-03 15:53:24
179
转载 将 Sidecar 容器带入新的阶段
Sidecar 简介Sidecar 容器并不是一个新鲜事物。它是一种设计模式，主要用来做一些辅助的工作，比如网络连通性、下载拷贝文件之类的事情；如果大家熟悉 Docker Swarm 的话，就会发现 Docker Ambassador 其实就是 Sidecar。如上所示，Service Consumer 和 Redis Provider 强耦合，部署在同一个节点上。如果这个时候，Redis ...
2020-01-03 15:13:28
611
转载 一个 Blink 小白的成长之路
本文整理自孙健波在 ArchSummit 大会 2019 北京站演讲稿记录。首先介绍了阿里巴巴基于 Kubernetes 项目进行大规模应用实践过程中遇到的问题；随后会逐一介绍解决这些问题的现有实践及其本身存在的局限性；最后会介绍阿里巴巴目前正在进行的尝试和社区在这一领域的发展方向。如今，阿里巴巴内部维护了数十个大规模的 K8s 集群，其中最大的集群约 1 万个节点，每个集群会服务上万个应用；在...
2020-01-02 16:18:31
177
原创 如何跨项目工作空间访问MaxCompute资源和函数
1、背景介绍同一个主账号下面的两个工作空间，工作空间名称分别为A工作空间名称:wei_wwwwA工作空间子账号：mc_ossB工作空间名称:wei_mcB工作空间子账号：bigdata_wei现在B工作空间子账号bigdata_wei需要访问A工作空间子账号mc_oss创建的UDF函数。执行查询语句报错信息如下：2、MaxCompute项目空间支持的对象类型及操作MaxCompu...
2020-01-02 16:01:35
635
转载 MaxCompute与DataWorks权限介绍和示例
**背景：**用户在使用MaxCompute与DataWorks这两种权限模型不清楚，并且对于相关MaxCompute的权限执行语句也不太熟悉，以至于在自己的实际操作中不能建立完整的权限策略，导致权限控制的混乱，甚至在开发过程中时常遇到权限问题的错误，导致延误业务的推动进展，该篇文档集主要的权限知识点与一体，常用的MaxCompute权限语句，以及经典的开发环境和生产环境之间的赋权示例给大家做出做...
2020-01-02 15:48:16
809
转载 Fuxi2.0—飞天大数据平台调度系统全面升级，首次亮相2019双十一
伏羲（Fuxi）是十年前创立飞天平台时的三大服务之一（分布式存储 Pangu，分布式计算 ODPS，分布式调度 Fuxi），当时的设计初衷是为了解决大规模分布式资源的调度问题（本质上是多目标的最优匹配问题）。随着阿里经济体和阿里云业务需求（尤其是双十一）的不断丰富，伏羲的内涵也不断扩大，从单一的资源调度器（对标开源系统的YARN）扩展成大数据的核心调度服务，覆盖数据调度（Data Placeme...
2020-01-02 15:41:10
351
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人