2021年08月_AI周红伟

原创美团点评基于 Flink 的实时数仓平台实践

摘要：数据仓库的建设是“数据智能”必不可少的一环，也是大规模数据应用中必然面临的挑战，而 Flink 实时数仓在数据链路中扮演着极为重要的角色。本文中，美团点评高级技术专家鲁昊为大家分享了美团点评基于 Apache Flink 的实时数仓平台实践。主要内容为以下三个方面：实时计算演进与业务实践基于 Flink 的实时数仓平台未来发展与思考重要：点击文末「阅读原文」可查看 Flink Forward Asia 大会视频。一、美团点评实时计算演进.

2021-08-28 11:00:09 400

原创快手基于 Flink 构建实时数仓场景化实践

简介：一文了解快手基于 Flink 构建的实时数仓架构，以及一些难题的解决方案。本文整理自快手数据技术专家李天朔在 5 月 22 日北京站 Flink Meetup 分享的议题《快手基于 Flink 构建实时数仓场景化实践》，内容包括：快手实时计算场景快手实时数仓架构及保障措施快手场景问题及解决方案未来规划GitHub 地址https://github.com/apache/flink欢迎大家给 Flink 点赞送 star~一、快手实时计算场景快手业务中.

2021-08-28 09:58:14 122

原创前端 Code Review 指北

说到 Code Review，经常有同学会问，究竟从哪些方面下手？除了一些抽象的 Review 原则，有没有更细化的实施准则来指导实践？PCG 代码委员会曾推出过通道晋级代码检查报告。笔者打算在这些报告基础上，从代码格式、代码错误、代码习惯、代码优化四个角度，并结合腾讯医典前端 Code Review 过程中遇到的一些 bad case，逐一列出更细化的实施准则。希望对各位有一定的参考价值。1. 代码格式代码格式问题完全可以通过自动化工具来解决。标准的 eslint 规则( 如 Airbnb 或

2021-08-25 08:11:12 252

原创短视频开始碾压过去娱乐方式，成为全民娱乐首选

工信部的统计数据显示，人均月流量已经十几个G了。而《2021中国移动经济发展报告》显示，到2026年，中国移动互联网月户均流量将可能达到39GB/户·月。流量去了哪，中国互联网的未来就在哪。毫无疑问，答案是短视频。毫不夸张地讲，未来几年中国互联网，还得看短视频能爆发出多大的潜力。今年8月，国内权威移动大数据公司极光发布的《2021年Q2国内移动互联网报告》指出，当前国内移动网民人均每日APP使用时长为5.1小时，而网民使用时长最高的就是短视频App，用户使用时...

2021-08-24 20:13:14 123

原创 JavaScript this 关键词

var person = { firstName: "Bill", lastName : "Gates", id : 678, fullName : function() { return this.firstName + " " + this.lastName; }};亲自试一试this 是什么？JavaScriptthis关键词指的是它所属的对象。它拥有不同的值，具体取决于它的使用位置：在方法中，this指的是所有者对象。单...

2021-08-23 10:27:57 68

原创 Vue VSCode Snippets

his repo was built particularly for real world use. It doesn't catalogue the API definitions, rather, it focuses on developer ergonomics from the point of Vue of real world use. Included are the pieces I personally get sick of typing, and boilerplate that

2021-08-22 09:41:17 601

原创二值化每个特征，微软用1350亿参数稀疏神经网络改进搜索结果

GPT-3 强大，但不是很「聪明」，微软提出了一种大规模稀疏模型，改进了生产型 Transformer 模型，在自家搜索引擎Bing上改进并测试，性能大幅提升。近来 GPT-3 等基于 Transformer 的深度学习模型在机器学习领域受到了很多关注。这些模型擅长理解语义关系，为大幅改进微软 Bing 搜索引擎的体验做出了贡献，并在 SuperGLUE 学术基准上超越了人类的表现。但是，这些模型可能无法捕获超出纯语义的查询和文档术语之间更细微的关系。来自微软的研究者提出了一种大规模..

2021-08-20 08:49:49 179

原创速神经网络的训练算法LARS/LAMB工作原理 --UC Berkeley在读博士生尤洋

为什么深度学习很慢？如果我们利用并行计算，怎样才能完美的利用大量的processor？为什么large batch size会引起精度降低？新优化器参考：快速神经网络的训练算法 --UC Berkeley博士尤洋本片文章介绍的两种算法不仅可以优化并行计算，在普通硬件环境中运行也是有效的。算法是由UC Berkeley博士尤洋开发。在固定精度的情况下，新算法可以更快的达到要求，在固定训练时间的情况下，可以有更好的精度。目前深度学习面临的一个问题是，没有一个通用的优化器。Adaptive opt.

2021-08-20 08:45:41 581

原创 UC伯克利博士尤洋回国创业，曾破ImageNet纪录！已获超千万融资

曾刷新ImageNet纪录的尤洋，回国创业了！尤洋，何许人也？他是LAMB优化器的提出者，曾成功将预训练一遍BERT的时间，从原本的三天三夜一举缩短到一个多小时。作为一个通用的神经网络优化器，LAMB优化器无论是大批量还是小批量的网络都可以使用，也无需在学习率之外调试超参数。据英伟达官方GitHub显示，LAMB比Adam优化器可以快出整整72倍。微软的DeepSpeed，用的也是LAMB方法。而这是尤洋在谷歌实习时作为论文一作提出的。现在，他已经在UC伯克利获得..

2021-08-20 07:22:41 225

原创 vue 事件总线EventBus的概念、使用以及注意点

vue组件中的数据传递最最常见的就是父子组件之间的传递。父传子通过props向下传递数据给子组件；子传父通过$emit发送事件，并携带数据给父组件。而有时两个组件之间毫无关系，或者他们之间的结构复杂，如何传递数据呢？这时就要用到 vue 中的事件总线 EventBus的概念EventBus的简介EventBus又称事件总线，相当于一个全局的仓库，任何组件都可以去这个仓库里获取事件EventBus的使用废话不多说，直接开始使用EventBus一、初始化要用EventBus，首先要初始化

2021-08-19 08:42:35 900

原创字节跳动AI科学家王崇学生时代论文获“时间检验研究奖”

在“久经时间考验”的AI科研成果评选中，华人科学家再次成为赢家。8月17日举行的国际数据挖掘与知识发现大会KDD2021上，字节跳动AI科学家王崇以学生时代的一篇论文获得“时间检验研究奖”（Test of Time Award fo Research），大会以此表彰该论文在过去十年间对数据科学领域研究产生的重大影响。此前，华人科学家的早期研究成果在2014年、2015年和2020年也分别获得KDD大会“时间检验”奖。KDD2021公布“时间检验研究奖”获奖论文KDD全称为ACM SIGKDD

2021-08-18 17:20:30 223

周红伟讲AI