- 博客(49)
- 收藏
- 关注
RSS订阅转载 海量大数据大屏分析展示一步到位：DataWorks数据服务+MaxCompute Lightning对接DataV最佳实践
1. 概述数据服务(https://ds-cn-shanghai.data.aliyun.com) 是DataWorks产品家族的一员，提供了快速将数据表生成API的能力，通过可视化的向导，一分钟“零代码”就可以生成API，让API开发从未有过如此便捷！同时支持自定义API查询SQL功能，对您的个性化复杂查询逻辑支持照样不在话下。DataWorks数据服务提供HTTP API服务，采用S...
2019-02-28 15:15:30
468
转载 Data Lake Analytics + OSS数据文件格式处理大全
0. 前言Data Lake Analytics是Serverless化的云上交互式查询分析服务。用户可以使用标准的SQL语句，对存储在OSS、TableStore上的数据无需移动，直接进行查询分析。目前该产品已经正式登陆阿里云，欢迎大家申请试用，体验更便捷的数据分析服务。请参考https://help.aliyun.com/document_detail/70386.html 进行产品...
2019-02-28 15:08:52
254
转载 记录一次MySQL两千万数据的大表优化解决过程，提供三种解决方案
问题概述使用阿里云rds for MySQL数据库（就是MySQL5.6版本），有个用户上网记录表6个月的数据量近2000万，保留最近一年的数据量达到4000万，查询速度极慢，日常卡死。严重影响业务。问题前提：老系统，当时设计系统的人大概是大学没毕业，表设计和sql语句写的不仅仅是垃圾，简直无法直视。原开发人员都已离职，到我来维护，这就是传说中的维护不了就跑路，然后我就是掉坑的那个！！！...
2019-02-28 15:00:00
99
转载 基于MaxCompute的媒体大数据开放平台建设
摘要：随着自媒体的发展，传统媒体面临着巨大的压力和挑战，新华智云运用大数据和人工智能技术，致力于为媒体行业赋能。通过媒体大数据开放平台，将媒体行业全网数据汇总起来，借助平台数据处理能力和算法能力，将有价值数据内容和能力开放给用户。本文主要从新华智云数芯平台，媒体行业数据特征，批流处理数据架构，以及通用的媒体大数据平台能力等几个方面介绍了如何基于MaxCompute做媒体大数据开放平台建设。演讲...
2019-02-28 14:55:30
237
转载 基于MaxCompute打造轻盈的人人车移动端数据平台
摘要： 2019年1月18日，由阿里巴巴MaxCompute开发者社区和阿里云栖社区联合主办的“阿里云栖开发者沙龙大数据技术专场”走近北京联合大学，本次技术沙龙上，人人车大数据平台负责人吴水永从人人车数据平台的整体架构、如何基于阿里云打造一个轻盈的数据平台以及人人车企业基于阿里云技术开发的BI数据报表平台等三个方面进行了精彩分享。以下内容根据演讲视频以及PPT整理而成。一．人人车数据平台...
2019-02-28 14:48:20
199
转载 从前端程序员的视角看小程序的稳定性保障
当我们谈业务稳定性的时候，通常是指后端工程师从架构的角度来看的，例如限流和降级、流量调度、业务开关、容量压测等，但监控也是整个业务稳定性建设中不可或缺的一环，例如对业务和前端的监控，以保证出现问题的时候，可以第一时间找到根因所在。今天，我们就结合小程序的场景，来看看如何做好小程序的监控。小程序与 H5 的不同小程序和 H5 都属于移动端场景下的技术选择方案，那么这里介绍一下小程序与 H5 ...
2019-02-27 15:42:05
138
转载 用户测评 | EDAS Serverless 上手体验
背景最初, 是因为对 Serverless 这一概念感兴趣, 所以开始试用阿里云函数计算，使用过程中感受到了函数计算快速、按需付费和弹性伸缩等方面的优势，随后我在天气预报、发送短信等场景下开始了更深的体验，并开始接触 EDAS Serverless。初次尝鲜看文档 文档地址：https://help.aliyun.com/document_detail/97792.html?spm=...
2019-02-27 15:35:53
117
转载 Spring Cloud Alibaba迁移指南（二）：零代码替换 Eureka
自 Spring Cloud 官方宣布 Spring Cloud Netflix 进入维护状态后，我们开始制作《Spring Cloud Alibaba迁移指南》系列文章，向开发者提供更多的技术选型方案，并降低迁移过程中的技术难度。第二篇，Spring Cloud Alibaba 实现了 Spring Cloud 服务注册的标准规范，这就天然的给开发者提供了一种非常便利的方式将服务注册中心的 ...
2019-02-27 15:29:04
68
转载 Spring Cloud Alibaba迁移指南（一）：一行代码从 Hystrix 迁移到 Sentinel
摘要： 本文对Hystrix、Resilience4j、Sentinel进行对比，并探讨如何使用一行代码这种极简的方式，将Hystrix迁移到Sentinel。 Hystrix 自从前段时间 宣布停止维护之后，社区推荐了 resilience4j。自 Spring Cloud 官方宣布 Spring Cloud Netflix 进入维护状态后，我们开始制作《Spring Cloud Aliba...
2019-02-27 15:25:05
75
转载 更好用的集群限流功能，Sentinel 发布 v1.4.2
摘要： 感谢 Sentinel 社区的贡献者们 ️Sentinel 发布 v1.4.2 正式发布，该版本主要变更如下：特性/功能改进新增 Zuul 1.x 适配模块（sentinel-zuul-adapter），结合集群限流特性可以更好地在 API Gateway 发挥流控的作用 热点参数限流添加线程数模式支持 在 BlockException 中携带更多的信息（如触发的规则） ...
2019-02-27 15:19:29
109
转载 时序数据库连载系列：指标届的独角兽Prometheus
简介Prometheus是SoundCloud公司开发的一站式监控告警平台，依赖少，功能齐全。于2016年加入CNCF，广泛用于 Kubernetes集群的监控系统中，2018.8月成为继K8S之后第二个毕业的项目。Prometheus作为CNCF生态圈中的重要一员,其活跃度仅次于 Kubernetes。关键功能包括：多维数据模型：metric，labels 灵活的查询语言：Pro...
2019-02-26 15:31:17
242
转载 时序数据库连载系列: 时序数据库一哥InfluxDB之存储机制解析
InfluxDB 的存储机制解析本文介绍了InfluxDB对于时序数据的存储/索引的设计。由于InfluxDB的集群版已在0.12版就不再开源，因此如无特殊说明，本文的介绍对象都是指 InfluxDB 单机版1. InfluxDB 的存储引擎演进尽管InfluxDB自发布以来历时三年多，其存储引擎的技术架构已经做过几次重大的改动, 以下将简要介绍一下InfluxDB的存储引擎演进的过程...
2019-02-26 15:25:33
187
转载 ECS应用管理最佳实践
前言即使在CloudNative发展如火如荼的当下，ECS应用（直接将应用部署在ECS上，不使用容器）仍然占了相当大的比重，原因主要在于相对容器化应用，ECS应用由于不需要容器的运行时环境和类似K8S的调度层软件，因此存在一些天然优势，比如：更低的Overhead，可以更充分发挥硬件的处理能力，适合用于工作负载比较高的组件或应用 更高的单元可靠性，结合高可用方案，可以实现很好的整体可用性...
2019-02-26 15:20:29
145
转载 新的开始 | Arthas GitHub Star 破万后的回顾和展望
一切新的开始，都始于一个里程碑。2月20日上午，Java 开源诊断工具 Arthas 的 GitHub Star 突破10000，距离开源后的第一个Release 版发布仅 147 天。从中，我们不仅看到 Arthas 在开发者群体中的受欢迎程度，也发现越来越多的国内开发者开始擅于使用开源技术加速业务发展，更是不禁畅想起将来会有更多国内的优质开源项目获得全球开发者的关注和喜爱。借此...
2019-02-26 15:15:49
185
转载 Dubbo 生态添新兵，Dubbo Admin 发布 v0.1
为了提升 Dubbo 里程碑版本2.7.0的使用体验，我们于去年年中启动了 Dubbo Admin 的重构计划，并作为Dubbo生态的子项目，于近期发布了v0.1，重构后的项目在结构上的变化如下：将后端框架从webx替换成spring boot 前端采用Vue和Vuetify.js作为开发框架 移除velocity模板 集成swagger，提供api管理功能当前版本的Dubbo Adm...
2019-02-26 15:09:16
87
转载 使用EHPC实现“完美并行”的高效批处理方案
使用EHPC实现“完美并行”的高效批处理方案在高性能计算场景中，用户一次业务计算可以划分为大量的任务，每个任务的处理逻辑相同，但是输入文件、参数设置和输出文件不同。由于每个任务处理逻辑相似，执行时彼此没有依赖，按照高性能计算的并行计算模式，可归为 “embarrassing parallel”一类(又被称为完美并行问题），这类问题很少或根本不需要将问题分成许多并行任务的工作，通这些并行任务之间...
2019-02-25 15:39:10
164
转载 时序数据库连载系列：时序数据库那些事
时序数据库连载系列：时序数据库那些事正如《银翼杀手》中那句在影史流传经典的台词：“I've seen things you people wouldn't believe... All those ... moments will be lost in time, like tears...in rain.” 时间浩瀚的人类历史长河中总是一个耀眼的词汇，当科技的年轮划到数据时代，时间与数据库碰...
2019-02-25 15:13:40
237
转载 学汉语、来云栖、海外布道阿里云……这位印度架构师不一般
阿里云MVP（最有价值专家）、印度架构师Sai Sarath Chandra P 最近有了一个新的爱好：学中文。Sai学中文的想法，与一家中国企业有着密切的关系。“当时因为工作需要，开始寻找用于运行机器学习、性价比比较高的云产品。在这个过程中，我偶然发现了阿里云。”从使用产品开始，Sai与阿里云开始结缘。随着产品使用的深入和与阿里云团队交流的增多，Sai已经不仅仅是一个用户，而变成了阿里...
2019-02-25 15:08:15
90
转载 罗辑思维在全链路压测方面的实践和工作笔记
业务的知名度越高，其背后技术团队承受的压力就越大。一旦出现技术问题，就有可能被放大，尤其是当服务的是对知识获取体验要求颇高的用户群体。提供知识服务的罗辑思维主张“省时间的获取知识”，那么其技术团队在技术实践方面是如何践行省时间的理念的呢？本文将还原罗辑思维技术团队在全链路压测上的构建过程，为您一探究竟。全链路压测知多少保障服务的可用性和稳定性是技术团队面临的首要任务，也是技术难题之...
2019-02-25 15:02:37
111
原创 Perseus-BERT——业内性能极致优化的BERT训练方案
【作者】 笋江（林立翔） 驭策（龚志刚） 蜚廉（王志明） 昀龙（游亮）一，背景——横空出世的BERT全面超越人类2018年在自然语言处理（NLP）领域最具爆炸性的一朵“蘑菇云”莫过于Google Research提出的BERT（Bidirectional Encoder Representations from Transformers）模型。作为一种新型的语言表示模型，BER...
2019-02-25 14:46:08
196
转载 2018-2019年中国CDN市场发展报告：阿里云成为中国CDN市场的领军者
近日，权威ICT市场咨询机构计世资讯（CCW Research）发布《2018-2019年中国CDN市场发展报告》，报告显示，当前，随着新型信息技术在中国不断应用，以及互联网化新业务的快速发展，特别是物联网、边缘计算、区块链、人工智能等技术在游戏、视频、电子商务、工业制造、交通物流等行业的落地，使得CDN作为缓解互联网网络拥塞、提高互联网业务响应速度、改善用户业务体验的重要手段，已经成为互联网基础...
2019-02-22 16:43:52
262
转载 阿里云移动端播放器高级功能---视频下载
基本介绍优酷、爱奇艺、腾讯等主流的视频类App都有视频离线下载的功能，主要目的是在wifi下将视频离线在本地，然后在无网或者4G的情况下去观看离线视频。那么阿里云播放器也提供了视频下载的功能。这个功能主要针对的是点播视频，也就是vid播放的视频的下载。主要问题m3u8如何下载？我们知道m3u8是一个索引文件，真正的视频文件是各个ts的分片，那么如何下载成一个完成的视频呢？ 如何对视频...
2019-02-22 16:39:08
278
原创 阿里云移动端播放器高级功能---安全播放
基本介绍如何保障视频内容的安全，不被盗链、非法下载和传播，阿里云视频点播已经有一套完善的机制保障视频的安全播放:那么在播放器中支持哪一些安全播放的机制呢？这里有料：视频安全解决方案。Referer访问控制基于 HTTP 协议支持的 Referer机制，通过 Referer跟踪来源，对来源进行识别和判断，用户可配置访问的 Referer 黑、白名单（二者互斥）来限制视频资源被访问...
2019-02-22 16:28:14
189
转载 智能直播审核方案：视频云智能业务截帧策略
近些年来，视频直播快速发展，国家对于直播内容监管的要求日益严格，如何在满足业务需求的情况下，选择成本最优的智能审核方案，是每个直播平台面对的难题。本文介绍如何以最优成本配置直播审核模板。功能介绍一、审核场景审核场景包含对直播画面的涉黄、暴恐涉政、广告、不良场景四大维度进行审核。智能监黄：识别直播中的色情内容。 暴恐涉政识别：识别直播中的暴恐涉政内容。 广告识别：识别直播中的广告...
2019-02-22 16:19:21
466
转载 Data Lake Analytics的Geospatial分析函数
0. 简介为满足部分客户在云上做Geometry数据的分析需求，阿里云Data Lake Analytics（以下简称：DLA）支持多种格式的地理空间数据处理函数，符合Open Geospatial Consortium’s (OGC) OpenGIS规范，支持的常用数据格式包括：WKT WKB GeoJson ESRI Geometry Object Json ESRI Shap...
2019-02-21 15:32:43
147
转载 2018年视频云服务市场格局进入整合阶段，阿里云视频云位居市场竞争力领导者的位置
据计世资讯（CCW Research）的研究结果表明：一、中国视频云市场进入高速发展阶段据计世资讯（CCW Research）的研究结果表明，近年来国内视频云市场保持了高速的增长势头，特别是2016年以来，视频云市场进入高速发展阶段，直播的火爆带动视频云服务需求快速增长。2018年中国视频云服务市场规模已经达到31.2亿元，同比增长36.2%。随着4K、VR等技术应用普及，将会催生出大量新...
2019-02-21 15:24:31
200
转载 阿里云爬虫风险管理产品商业化，为云端流量保驾护航
爬虫风险管理产品是阿里云云盾推出的新安全产品，1月底正式宣布商业化上线，提供可以覆盖Web/H5/API/APP多种业务形态的爬虫风险解决方案，对爬虫风险进行有序管理。恶意爬虫引发高风险随着传统行业互联网化及大类业务的数据化，使爬虫风险逐渐成为一个风险爆发点。有网络数据报告统计，目前互联网中超过60%的流量都是批量自动化的爬虫流量。广义的爬虫并不是仅仅定义为“爬数据”，恶意的黑客利用一些...
2019-02-21 15:16:49
185
转载 开年巨制！千人千面回放技术让你“看到”Flutter用户侧问题
闲鱼技术--镜空导语发布app后，开发者最头疼的问题就是如何解决交付后的用户侧问题的还原和定位，是业界缺乏一整套系统的解决方案的空白领域，闲鱼技术团队结合自己业务痛点在flutter上提出一套全新的技术思路解决这个问题。我们透过系统底层来捕获ui事件流和业务数据的流动，并利用捕获到的这些数据通过事件回放机制来复现线上的问题。本文先介绍flutter触摸手势事件原理，接着介绍里面怎样录...
2019-02-21 15:10:34
100
转载 DataLakeAnalytics: 解析IP地址对应的国家城市地址的能力
Data Lake Analytics 作为云上数据处理的枢纽，最近加入了通过IP地址查找对应的国家、省份、城市、ISP的函数, 今天带大家体验一下。函数详细介绍本次一共添加了下面这些函数:ip2region: 功能最全的函数，可以获取国家，省份，城市的信息，而且支持语言切换, 但是参数较多。 ip_country: 获取IP地址对应的国家。 ip_province: 获取IP...
2019-02-21 15:01:44
189
转载 快速体验 Sentinel 集群限流功能，只需简单几步
️ Pic by Alibaba Tech on Facebook集群限流 可以限制某个资源调用在集群内的总 QPS，并且可以解决单机流量不均导致总的流控效果不佳的问题，是保障服务稳定性的利器。Sentinel 从 1.4.0 版本开始提供集群流控特性，但使用 Sentinel 集群限流需要对一系列的动态数据源进行相关配置，并且需要对开源控制台进行一些改造，有一定的使用成本。为了大家...
2019-02-20 15:11:45
410
转载 Data Lake Analytics: 读/写PolarDB的数据
Data Lake Analytics 作为云上数据处理的枢纽，最近加入了对于PolarDB的支持, PolarDB 是阿里云自研的下一代关系型分布式云原生数据库，100%兼容MySQL，存储容量最高可达 100T，性能最高提升至 MySQL 的 6 倍。这篇教程带你玩转 DLA 的 PolarDB 支持。创建数据库在 DLA 里面创建一个底层映射到 PolarDB 的外表的语法如下:...
2019-02-20 14:59:51
128
转载 MaxCompute，基于Serverless的高可用大数据服务
摘要：2019年1月18日，由阿里巴巴MaxCompute开发者社区和阿里云栖社区联合主办的“阿里云栖开发者沙龙大数据技术专场”走近北京联合大学，本次技术沙龙上，阿里巴巴高级技术专家吴永明为大家分享了MaxCompute，基于Serverless的高可用大数据服务，以及MaxCompute低计算成本背后的秘密。以下内容根据演讲视频以及PPT整理而成。一、什么是MaxComputeBig D...
2019-02-20 14:54:07
190
转载 基于 Kubernetes 实践弹性的 CI/CD 系统
大家好,我是来自阿里云容器服务团队的华相。首先简单解释一下何为 Kubernetes 来帮助大家理解。Kuberentes 是一个生产可用的容器编排系统。Kuberentes 一方面在集群中把所有 Node 资源做一个资源池，然后它调度的单元是 Pod，当然 Pod 里面可以有多个容器。 就像一个人左手抓着 ECS 资源或计算资源，右手抓容器，然后把它们两个匹配起来，这样它就可以作为一个容器的...
2019-02-20 14:44:29
126
转载 虎牙直播在微服务改造方面的实践和总结
相比文字和图片，直播提供了人与人之间更丰富的沟通形式，其对平台稳定性的考验很大，那么倡导“以技术驱动娱乐”的虎牙直播（以下简称“虎牙”）是如何在技术上赋能娱乐，本文将为您介绍虎牙在DNS、服务注册、CMDB和服务配置中心等方面的实践。文章整理自虎牙基础保障部中间件团队负责人张波（社区ID：zhangjimmy）在Dubbo Meetup 广州站沙龙上的分享，阿里巴巴中间件授权发布，分享议题...
2019-02-20 14:37:35
227
转载 Java开源诊断工具 Arthas 发布v3.1.0
Arthas 自2018年9月份上线以来「传送门」，已收获近万个star，感谢开发者们的认可。此次Arthas 3.1.0版本的发布，不仅带来大家投票出来的新LOGO，还带来强大的新功能和更好的易用性，下面一一介绍。在线教程在新版本Arthas里，增加了在线教程，用户可以在线运行Demo，一步步学习Arthas的各种用法，推荐新手尝试：Arthas基础教程 Arthas进阶教程...
2019-02-19 15:18:25
80
转载 分布式事务中间件 Fescar—RM 模块源码解读
前言在SOA、微服务架构流行的年代，许多复杂业务上需要支持多资源占用场景，而在分布式系统中因为某个资源不足而导致其它资源占用回滚的系统设计一直是个难点。我所在的团队也遇到了这个问题，为解决这个问题上，团队采用的是阿里开源的分布式中间件Fescar的解决方案，并详细了解了Fescar内部的工作原理，解决在使用Fescar中间件过程中的一些疑虑的地方，也为后续团队在继续使用该中间件奠定理论基础。...
2019-02-19 15:09:26
203
转载 数据千万条，备份第一条，数据找不回，老板两行泪
摘要： 请带着你的回忆看下文，想想你这些年删过的库，被删过的库。。。 开工第一天，请带着你的回忆看下文，想想你这些年删过的库，被删过的库。。。 数据库备份是个老生常谈的话题，看似很简单，但在实际操作过程中，运维人员往往会遇到这样或那样的“坑”。数据库为什么要备份？时至今日，我认为这个问题已经不再是问题了，换个角度来看，数据库备份能规避哪些风险？其实从数据诞生时起就伴...
2019-02-19 15:01:16
125
原创 使用 QuickBI 搭建酷炫可视化分析
随着各行各业大数据的渗透，BI 类数据分析需求与日俱增，如何让可视化更好的展现数据的价值，是 BI 类产品一直努力的方向。对此国内外的BI产品都有自己的方法，如国外大牌的 PowerBI、Tableau，还有国内的 FineBI、BDP、Quick BI 他们都提供了丰富度可视化能力，但对于新手而言，有了数据之后如何选择合适的图表？如何配置酷炫夺目的图表？多个图表如何组织有故事的报表？亦或是你想了...
2019-02-19 14:55:42
216
转载 云HBase发布全文索引服务,轻松应对复杂查询
云HBase发布了“全文索引服务”功能，自2019年01月25日后创建的云HBase实例，可以在控制台免费开启此“全文索引服务”功能。使用此功能可以让用户在HBase之上构建功能更丰富的搜索业务，不再局限于KV简单查询，不再苦恼于设计各种rowkey，不再后怕日益变化的HBase复杂查询业务。“全文索引服务”为云HBase增强查询能力而设计，自动同步数据，用户只需重点关注如何使用强大的检索功能来丰...
2019-02-19 14:48:33
198
转载 云上数据仓库选型指南
前言： 云数据仓库是构建在云上的新一代数据仓库解决方案，如何选择符合企业需求的云数据仓库，选择时应考虑哪些关键问题成为很多企业管理者关心的问题。本文参考TDWI以及Forrester的研究报告内容，对云数据仓库选型参考依据进行介绍，希望能对您在云数据仓库选型时有所帮助。 正文：云数据仓库的解决方案改变了我们传统的数据平台构建方法。您可以在没有平台技术专家的指导下在几分钟内创建并...
2019-02-18 15:09:07
138
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人