- 博客(112)
- 收藏
- 关注
RSS订阅原创 IoT Studio + LoRa打造“又猛又持久”的智能厕所
概述为了增加厕所使用效率，减少被味道“熏陶”的等待时间，同时也为了增加厕所的清洁效率，我们决定做一个非侵入式的智能厕所改造方案。它可以通过红外热释电检测每个坑位有没有人，在web/app上实时显示，方便如厕人员查询。并且可以检测厕所的臭味，达到阈值时通知清洁工进行清扫。之前的文章里，我们使用了Link Develop平台 + arduino搭建了一个基于wifi连接的智能厕所demo。实际生产...
2019-01-31 11:21:21
1374
1
原创 阿里云Kubernetes容器服务上体验Knative
概述Knative Serving是一种可缩放至零、请求驱动的计算运行环境，构建在 Kubernetes 和 Istio 之上，支持为 serverless 应用、函数提供部署与服务。Knative Serving的目标是为Kubernetes提供扩展功能，用于部署和运行无服务器工作负载。下面讲述一下在阿里云Kubernetes容器服务基础之上，如何快速搭建一套Knative Servin...
2019-01-31 09:12:08
1413
原创 Arthas实践--获取到Spring Context，然后为所欲为
背景Arthas 是Alibaba开源的Java诊断工具，深受开发者喜爱。https://github.com/alibaba/arthasArthas提供了非常丰富的关于调用拦截的命令，比如 trace/watch/monitor/tt 。但是很多时候我们在排查问题时，需要更多的线索，并不只是函数的参数和返回值。比如在一个spring应用里，想获取到spring context里的其...
2019-01-31 09:05:08
2758
原创 基于Alluxio系统的Spark DataFrame高效存储管理技术
介绍越来越多的公司和组织开始将Alluxio和Spark一起部署从而简化数据管理，提升数据访问性能。Qunar最近将Alluxio部署在他们的生产环境中，从而将Spark streaming作业的平均性能提升了15倍，峰值甚至达到300倍左右。在未使用Alluxio之前，他们发现生产环境中的一些Spark作业会变慢甚至无法完成。而在采用Alluxio后这些作业可以很快地完成。在这篇文章中，我们将...
2019-01-31 09:00:27
906
原创 可应用于实际的14个NLP突破性研究成果（三）
论文摘要当前最先进的语义角色标记（SRL）使用深度神经网络，但没有明确的语言特征。之前的工作表明，抽象语法树可以显著改善SRL，从而提高模型准确性。在这项研究中，我们提出了语言学的自我关注（LISA）：该神经网络模型将 multi-head self-attention 与多任务学习相结合，包括依赖解析、词性标注、谓词检测和语义角色标记。与先前需要大量预处理来准备语言特征的模型不同，LISA ...
2019-01-31 08:57:15
984
原创 可应用于实际的14个NLP突破性研究成果（二）
论文摘要尽管最近在训练高质量的句子嵌入上做出了很多的努力，但是大家仍然对它们所捕捉的内容缺乏了解。基于句子分类的‘Downstream’tasks通常用于评估句子表示的质量。然而任务的复杂性使得它很难推断出句子表示中出现了什么样的信息。在本文将介绍10个probing tasks，旨在捕捉句子的简单语言特征，并用它们来研究由三种不同编码器产生的句子嵌入，这些编码器以八种不同的方式进行训练，揭示...
2019-01-30 10:59:17
1083
原创 优酷IPv6改造纪实：视频行业首家拥抱下一代网络技术
阿里妹导读：2018年双11前，优酷开启了IPV6的大门。9月份PC端业务开启灰度，迎来首位IPV6 VIP用户后，优酷移动客户端也马不停蹄地加入灰度大军。从0到1，花了几个月；从10到1000，花了几天；从1000到50W，只要几小时。IPV6灰度的马车一旦起跑，将再也不需要停止。IPV6在优酷，技术驱动产品的验证2018 世界杯期间，我们验证了IPV6的改造方案和技术可行性，双11...
2019-01-30 10:58:02
973
原创 如何在Flutter上优雅地序列化一个对象
序列化一个对象才是正经事对象的序列化和反序列化是我们日常编码中一个非常基础的需求，尤其是对一个对象的json encode/decode操作。每一个平台都会有相关的库来帮助开发者方便得进行这两个操作，比如Java平台上赫赫有名的GSON，阿里巴巴开源的fastJson等等。而在flutter上，借助官方提供的JsonCodec，只能对primitive/Map/List这三种类型进行jso...
2019-01-30 10:56:06
1192
原创 将视觉深度学习模型应用于非视觉领域
介绍近些年来，深度学习技术已经彻底改变了计算机视觉领域。由于迁移学习和各种各样的学习资源的出现，任何人都可以通过使用预训练的模型，将其应用到自己的工作当中，以此获得非常好的结果。随着深度学习越来越商业化，希望它的创造性能应用在不同的领域上。今天，计算机视觉领域中的深度学习在很大程度上解决了视觉对象的分类、目标检测和识别问题。在这些领域，深度神经网络（Deep Neural Network，...
2019-01-30 10:54:02
1037
原创 鲜为人知的混沌工程，到底哪里好？
混沌工程属于一门新兴的技术学科，行业认知和实践积累比较少，大多数IT团队对它的理解还没有上升到一个领域概念。阿里电商域在2010年左右开始尝试故障注入测试的工作，希望解决微服务架构带来的强弱依赖问题。通过本文，你将了解到：为什么需要混沌工程，阿里巴巴在该领域的实践和思考、未来的计划。一、为什么需要混沌工程？（翻译自Chaos Engineering电子书）1.1 混沌工程与故障测试的区...
2019-01-29 10:53:26
1247
原创 阿里开源分布式事务解决方案 Fescar 全解析
广为人知的阿里分布式事务解决方案：GTS（Global Transaction Service），已正式推出开源版本，取名为“Fescar”，希望帮助业界解决微服务架构下的分布式事务问题，今天我们一起来深入了解。FESCAR on GitHubhttps://github.com/alibaba/fescar微服务倡导将复杂的单体应用拆分为若干个功能简单、松耦合的服务...
2019-01-29 10:48:58
1010
原创 开发函数计算的正确姿势——网页截图服务
前言首先介绍下在本文出现的几个比较重要的概念：函数计算（Function Compute）: 函数计算是一个事件驱动的服务，通过函数计算，用户无需管理服务器等运行情况，只需编写代码并上传。函数计算准备计算资源，并以弹性伸缩的方式运行用户代码，而用户只需根据实际代码运行所消耗的资源进行付费。函数计算更多信息参考。Fun: Fun 是一个用于支持 Serverless 应用部署的工具，能帮助...
2019-01-29 10:45:13
896
原创 阿里资深技术专家：优秀的数据库存储引擎应具备哪些能力？
导读本文作者是阿里巴巴OLTP数据库团队资深技术专家——曲山。作为自研高性能、低成本存储引擎X-Engine的负责人，曲山眼中的优秀关系型数据库存储引擎应该具备哪些能力呢？正文数据库内核按层次来分，就是两层：SQL & Storage。SQL Layer负责将你输入的SQL statement通过一系列步骤(parse/resolve/rewrite/optimize…)转换成...
2019-01-29 10:44:06
887
原创 可应用于实际的14个NLP突破性研究成果（一）
语言理解对计算机来说是一个巨大的挑战。幼儿可以理解的微妙的细微差别仍然会使最强大的机器混淆。尽管深度学习等技术可以检测和复制复杂的语言模式，但机器学习模型仍然缺乏对我们的语言真正含义的基本概念性理解。但在2018年确实产生了许多具有里程碑意义的研究突破，这些突破推动了自然语言处理、理解和生成领域的发展。我们总结了14篇研究论文，涵盖了自然语言处理（NLP）的若干进展，包括高性能的迁移学...
2019-01-29 10:43:10
1278
原创 序列模型简介——RNN, Bidirectional RNN, LSTM, GRU
既然我们已经有了前馈网络和CNN，为什么我们还需要序列模型呢？这些模型的问题在于，当给定一系列的数据时，它们表现的性能很差。序列数据的一个例子是音频的剪辑，其中包含一系列的人说过的话。另一个例子是英文句子，它包含一系列的单词。前馈网络和CNN采用一个固定长度作为输入，但是，当你看这些句子的时候，并非所有的句子都有相同的长度。你可以通过将所有的输入填充到一个固定的长度来解决这个问题。然而，它们的表现...
2019-01-28 11:09:37
1124
原创 特征工程自动化如何为机器学习带来重大变化
随着技术的快速发展，在数据科学领域中，包括库、工具和算法等总会不断地变化的。然而，一直都有这么一个趋势，那就是自动化水平不断地提高。近些年来，在模型的自动化选择和超参数调整方面取得了一些进展，但是机器学习中最重要的领域 — 特征工程，却被严重地忽视了。这个重要领域中最成熟的工具就是Featuretools，一个开源的Python库。在本文中，我们将使用这个库来了解一下特征工程自动化将如何改变你...
2019-01-28 11:04:02
1526
原创 “有趣”的投影：当PCA失效时怎么办？
目前，大多数的数据科学家都比较熟悉主成分分析 (Principal Components Analysis，PCA)，它是一个探索性的数据分析工具。可以这样简要的描述：研究人员经常使用PCA来降低维度，希望在他们的数据中找出有用的信息（例如疾病与非疾病的分类）。PCA是通过寻找正交投影（Orthogonal Projection）向量来实现这一点的，正交投影向量说明了数据中的最大方差量。在实践...
2019-01-28 10:59:45
1147
原创 TensorFlow 2.0深度强化学习指南
在本教程中，我将通过实施Advantage Actor-Critic(演员-评论家，A2C)代理来解决经典的CartPole-v0环境，通过深度强化学习（DRL）展示即将推出的TensorFlow2.0特性。虽然我们的目标是展示TensorFlow2.0，但我将尽最大努力让DRL的讲解更加平易近人，包括对该领域的简要概述。事实上，由于2.0版本的焦点是让开发人员的生活变得更轻松，所以我认为现在...
2019-01-28 10:55:39
2312
原创 Auto-Keras与AutoML：入门指南
在本教程中，你将学习如何使用Auto-Keras（Google的AutoML的开源替代品）来实现自动化机器学习和深度学习。目前来说，深度学习从业者在数据集上训练神经网络时，主要正在尝试优化和平衡两个目标：1.定义适合数据集性质的神经网络体系结构；2.在许多实验中调整一组超参数，这将导致模型具有高精度并能够推广到训练和测试集之外的数据。需要调整的典型超参数包括优化算法（SGD，Ada...
2019-01-28 10:51:28
1748
转载 终于等到你！阿里正式向 Apache Flink 贡献 Blink 源码
阿里妹导读：如同我们去年12月在 Flink Forward China 峰会所约，阿里巴巴内部 Flink 版本 Blink 将于 2019 年 1 月底正式开源。今天，我们终于等到了这一刻。阿里资深技术专家大沙，将为大家详细介绍本次开源的Blink主要功能和优化点，希望与业界同仁共同携手，推动Flink社区进一步发展。Blink简介Apache Flink是德国柏林工业大学的几...
2019-01-28 10:45:40
1090
原创 开发函数计算的正确姿势 —— 安装第三方依赖
前言首先介绍下在本文出现的几个比较重要的概念：函数计算（Function Compute）: 函数计算是一个事件驱动的服务，通过函数计算，用户无需管理服务器等运行情况，只需编写代码并上传。函数计算准备计算资源，并以弹性伸缩的方式运行用户代码，而用户只需根据实际代码运行所消耗的资源进行付费。函数计算更多信息参考。Fun: Fun 是一个用于支持 Serverless 应用部署的工具，能帮助...
2019-01-25 11:12:15
1662
原创 在阿里，我们如何管理测试环境
前言阿里的许多实践看似简单，背后却蕴涵着许多思考，譬如测试环境的管理。互联网产品的服务通常是由Web应用、中间件、数据库和许多后台业务程序组成的，一套运行环境就是一个自成一体的小生态。最基本的运行环境是线上环境，部署产品的正式发布版本，为用户提供持续可靠的服务。除此以外，还有许多不对外部用户开放的运行环境，用于产品团队日常的开发和验证，统称为测试环境。正式环境的稳定性，除去软件自身的质...
2019-01-25 11:05:41
1019
原创 一位技术校招生在支付宝的成长笔记
哪有那么多的“逆袭”，唯有努力与坚持，机会就会在前方。鲁直，1989年生，本科毕业于浙江工业大学，之后被校招进阿里巴巴。虽然，今年刚刚30岁，但他已是蚂蚁金服SOFA中间件开源负责人。看到这个开头，是不是觉得我们要向大家讲述一个普通程序员励志“逆袭”的故事？不，并不是这样。前4年，他的人生剧本和别人并没有什么不同但机会总是留给有准备的人“当时就是不想考研究生，而刚好阿里给的...
2019-01-25 11:01:04
966
原创 pandas指南：做更高效的数据科学家
Python是开源的，所以有很多开源固有的问题。如果你是Python新手，很难知道针对特定任务的包哪个是最好的。你需要有经验的人来告诉你。今天我要告诉你们的是：在数据科学中，有一个软件包是你们绝对需要学习的，那就是pandas。而pandas真正有趣的地方是，很多其他的包也在里面。pandas是一个核心包，因此它具有来自其他各种包的特性。pandas类似于Python中的Excel：...
2019-01-25 10:58:33
850
原创 机器学习数据集哪里找：最佳数据集来源盘点
很难找到一个特定的数据集来解决对应的机器学习问题，这是非常痛苦的。下面的网址列表不仅包含用于实验的大型数据集，还包含描述、使用示例等，在某些情况下还包含用于解决与该数据集相关的机器学习问题的算法代码。1 -Kaggle数据集网址：https：//www.kaggle.com/datasets这是我最喜欢的数据集网站之一。每个数据集都有对应的一个小型社区，你可以在其中讨论数据、查找公共...
2019-01-25 10:55:14
3441
原创 MaxCompute studio与权限那些事儿
背景知识MaxCompute拥有一套强大的安全体系，来保护项目空间里的数据安全。用户在使用MaxCompute时，应理解权限的一些基本概念：权限可分解为三要素，即主体（用户账号或角色），客体（表/资源/函数等），以及操作（与特定客体类型相关），详细参考https://help.aliyun.com/document_detail/27935.html。 授权有两种方式：ACL(基于对象...
2019-01-24 11:01:29
800
原创 一枚戒指，一场仪式，这件事阿里巴巴坚持了15年
为入职满五年的员工举行盛大仪式，为他们每个人戴上私人订制的戒指，是阿里巴巴坚持了15年“五年陈”的传统。1月22日，阿里集团为最新一季的“五年陈”们举行了授戒仪式。2018五年陈小档案2018年，有1867位同学新晋加入五年陈的队伍。在这五年里，45%的五年陈在阿里成了家，有了宝宝。23%的五年陈申请了公司提供的iHOME购房贷款，添置了温馨的小家。技术撑起半边天，58.7...
2019-01-24 10:58:02
1632
原创 阿里毕玄：程序员如何提升自己的硬实力
从业余程序员到职业程序员程序员刚入行时，我觉得最重要的是把自己培养成职业的程序员。我的程序员起步比同龄人都晚了很多，更不用说现在的年轻人了。我大学读的是生物专业，在上大学前基本算是完全没接触过计算机。军训的时候因为很无聊，我和室友每天跑去学校的机房玩，我现在还印象很深刻，我第一次走进机房的时候，别人问，你是要玩windows，还是dos，我那是完全的一抹黑。后来就只记得在机房一堆人都是在练...
2019-01-24 10:50:13
853
原创 如何使用阿里云ARMS轻松重现用户浏览器问题
客户投诉不断，本地却无法重现？页面加载较慢是用户经常会反馈的问题，也是前端非常关注的问题之一。但定位、排查解决这类问题就通常会花费非常多的时间，主要原因如下：页面是在用户端的浏览器上加载执行，复现困难 页面上线前，开发同学都会进行测试，在测试环境下页面加载一般都是正常的才会正式上线。用户在访问页面时，页面的加载是在用户端的浏览器上进行的，由于页面的加载耗时与地域、网络情况、浏览器或者运营...
2019-01-23 14:01:58
1797
原创 Spark in action on Kubernetes - Playground搭建与架构浅析
前言Spark是非常流行的大数据处理引擎，数据科学家们使用Spark以及相关生态的大数据套件完成了大量又丰富场景的数据分析与挖掘。Spark目前已经逐渐成为了业界在数据处理领域的行业标准。但是Spark本身的设计更偏向使用静态的资源管理，虽然Spark也支持了类似Yarn等动态的资源管理器，但是这些资源管理并不是面向动态的云基础设施而设计的，在速度、成本、效率等领域缺乏解决方案。随着Kuber...
2019-01-23 13:57:33
966
原创 PAI通过流式机器学习算法解决实时热点新闻挖掘案例
打开新闻客户端，往往会收到热点新闻推送相关的内容。新闻客户端作为一个承载新闻的平台，实时会产生大量的新闻，如何快速挖掘出哪些新产生的新闻会成为成为热点新闻，决定着整个平台的新闻推荐质量。如何从平台中海量的新闻素材中找到最有潜力成为热点的新闻需要使用机器学习相关的算法，传统做法是将每天获取的历史咨询下载并且离线训练模型，再将生成的热点发现模型推上线供第二日使用。但是这种离线训练所生成的模...
2019-01-23 13:55:02
1718
原创 Kube Controller Manager 源码分析
Kube Controller Manager 源码分析Controller Manager 在k8s 集群中扮演着中心管理的角色，它负责Deployment, StatefulSet, ReplicaSet 等资源的创建与管理，可以说是k8s的核心模块，下面我们以概略的形式走读一下k8s Controller Manager 代码。func NewControllerManagerCo...
2019-01-23 13:50:44
956
原创 Kubernetes Client-go Informer 源码分析
几乎所有的Controller manager 和CRD Controller 都会使用Client-go 的Informer 函数，这样通过Watch 或者Get List 可以获取对应的Object，下面我们从源码分析角度来看一下Client go Informer 的机制。kubeClient, err := kubernetes.NewForConfig(cfg)if err !=...
2019-01-22 11:23:56
870
原创 日志服务与SIEM（如Splunk）集成方案实战
背景信息目标本文主要介绍如何让阿里云日志服务与您的SIEM方案(如Splunk)对接, 以便确保阿里云上的所有法规、审计、与其他相关日志能够导入到您的安全运维中心（SOC）中。名词解释LOG（SLS）- 阿里云日志服务，简写SLS表示（Simple Log Service）。SIEM- 安全信息与事件管理系统（Security Information and Event Man...
2019-01-22 11:18:39
1483
原创 互联网下半场的角逐，玩转轻资产的大数据服务 | 阿里云栖开发者沙龙大数据专场（北京站）干货集锦
2019年1月18日下午，一个晴冷的冬日，由阿里巴巴MaxCompute开发者社区和阿里云栖社区联合主办的“阿里云栖开发者沙龙大数据技术专场”走近北京联合大学。当日，近200名大数据开发者和爱好者现场参与了本次活动，同时也有1800多名开发者在线上通过观看直播参与进来。活动主题聚焦于在互联网下半场的角逐中，企业如何玩转轻资产的大数据服务。阿里巴巴、新华智云、高德、人人车多位业内大数据技术专家共...
2019-01-22 11:15:25
939
原创 关于开源分布式事务中间件Fescar，我们总结了开发者关心的13个问题
开源分布式事务中间件 Fescar 自1月10日上线v0.1版本以来，受到了开发者们的极大关注（watch249，star3005，fork649，社区讨论的issue58，数据统计于1月17日14:00），可见，天下苦分布式事务久矣。为此，我们收集了大家在社区（Github）和社群（钉钉群&微信群）关注的核心问题，总结如下，并给出回复。Q1：Fescar 的发展经历了哪些历...
2019-01-22 11:10:17
1269
原创 使用Opencv构建一个简单的图像相似检测器（MSE、SSIM）
介绍作为人类，我们通常非常善于发现图像中的差异。例如，常见的游戏——两张图像找不同。现在让我们玩下这个游戏吧，首先让我们看看上面的图像，三十秒内看看是否能够从中找出有什么不同的地方。答案：水果、冰淇淋和饮料的颜色发生了明显改变，窗帘、太阳也发生了改变，这是不是很简单呢？如果有补充的答案，请在留言处给出哦！这类问题对于人类来说看起来是一件轻而易举的事情，但是，对于计算机来说，这可不是...
2019-01-22 11:07:08
1213
原创 天啦噜！在家和爱豆玩"剪刀石头布"，阿里工程师如何办到？
如今，90、00后一代成为消费主力，补贴、打折、优惠等“价格战”已很难建立起忠诚度，如何与年轻人建立更深层次的情感共鸣？互动就是一种很好的方式，它能让用户更深度的参与品牌/平台呈现的内容，提供更深层的参与感，提升用户对品牌/平台的认同感和满意度。今天，我们一起看看这些趣味互动技术背后的秘密。一. 背景最近一年以来，阿里巴巴搜索事业部和浙江大学宋明黎教授团队联合打造了手淘视频互动平台(A...
2019-01-21 11:41:04
995
原创 Euler 今日问世！国内首个工业级的图深度学习开源框架，阿里妈妈造
千呼万唤始出来！阿里妈妈正式公布重磅开源项目——图深度学习框架Euler。这是国内首个在核心业务大规模应用后开源的图深度学习框架。此次开源，Euler内置了大量的算法供用户直接使用，相关代码已经可在GitHub上进行下载。图学习和深度学习都是人工智能的一个分支，作为阿里巴巴旗下的大数据营销平台，阿里妈妈创新性地将图学习与深度学习进行结合，推出了Euler，可帮助大幅度提升营销效率。Euler已...
2019-01-21 11:30:19
1317
原创 NLP度量指标BELU真的完美么？
刚接触自然语言处理的朋友通常会问我：当系统的输出是文本，而非对输入文本进行某种分类，如何对该系统进行评估。当模型的输入是文本信息，输出也是文本信息时，我们称之为序列到序列问题，也可称为字符串转换问题。序列到序列建模是解决NLP中较难任务的核心，它包括：1、 自动文摘（Text Summarization）；2、 文本简化（Text simplification）；3、 问答（Questi...
2019-01-21 11:27:13
1514
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人