大数据和云计算技术周报（第166期)

导语

“大数据” 三个字其实是个marketing语言，从技术角度看，包含范围很广，计算、存储、网络都涉及，知识点广、学习难度高。

    

本期会给大家奉献上精彩的：MongoDB、flink、实时离线一体化、数据基础设施、ClickHouse、AI。全是干货，希望大家喜欢！！！

1flink

基于flink大数据处理能力使日志综管平台具备了业务链端到端可视化、日志检索分析秒级化、业务异常检测自动化、数据库指标拓扑实时化。给自己的项目吹个牛逼，笔者遇到的头疼问题如下：

每天早上6-8点时间段Flink计算业务链相关指标会延迟，处理数据量由正常每分钟200w+下降到1w以下，通过增加服务器资源，加大并发数等常规手段均未能解决

https://www.modb.pro/db/27748

2实时离线一体化

本文实现了一种实时计算与离线计算一体化的解决方案，为渠道新增数据提供实时、准确、高效的数据支撑。本文将从面临挑战、解决方案、难点攻克等几个方面来详细描述整个方案实施过程。

https://mp.weixin.qq.com/s/D0X8RqM8DllGrRIz3lLq2w

3数据基础设施

数据基础设施在体系架构层面，正在经历飞速的、根本性的变化。构建一个现代化的数据技术栈涉及一套多样化且不断激增的选择。现在，做出正确的选择比以往任何时候都重要，因为我们正持续地从纯粹基于代码的软件，转向代码和数据相互结合以提供价值的系统。高效的数据能力正成为所有行业的公司的关键筹码 -- 而赢得数据可以带来持久的竞争优势。

https://mp.weixin.qq.com/s/SJLgv7EZWHpCzGYIjnFTOg

4ClickHouse

本文主要介绍了ClickHouse 在趣头条的应用与实践，对clickhouse相关概念及优势进行了详细介绍，并将最佳实践进行了相关总结，罗列了生产中常见的问题及解决办法。

https://blog.csdn.net/wypblog/article/details/105401339/

5AI

百度视觉研发团队基于飞桨深度学习平台推出的HS-ResNet，就是这样一个很好地平衡了精度和速度的优秀骨干网络。其以尽量不增加模型计算量和推理开销为前提，将原先的ResNet模型的top-1精度（ImageNet val数据集）从76.5%提升了近5个百分点，达到81.28%，精度远超现有SOTA！

https://mp.weixin.qq.com/s/r8bt7o9wlFVVypLu7PBMvg

6kafka

时间轮是一个应用场景很广的组件，在很多高性能中间件中都有它的身影，如Netty、Quartz、Akka，当然也包括Kafka，本文主要介绍时间轮在kafka的应用和实战，从核心源码和设计的角度对时间轮进行深入的讲解 。

https://mp.weixin.qq.com/s/xIWKcWCV_eyH-vQOQWxGUw

7产品经验

一个成熟的产品经理，他的核心能力不是对业务的理解。换到一个陌生的行业，用几个月去了解业务，他照样可以发挥他的作用。

https://mp.weixin.qq.com/s/r0yzPL23D22634x7coq61g

11开心一刻

一个人正吸着雪茄，吐着烟圈。他女朋友生气了发飙道，“你没看见包装盒上的警告么？吸烟有害健康！”那人回答道：“我是程序员。我们不关心警告，只关心错误。

致谢：

周蓬勃、王在道、孙亚飞、冯艺帆、陈少军、邓开表、张少华、薛述强、刘彬、刘超、廖程鹏、董言、吕西金、朱洁、蓝随、黄文辉、郭飞

猜你喜欢

#大数据和云计算机技术社区#博客精选（2017）

NoSQL 还是 SQL ？这一篇讲清楚

阿里的OceanBase解密

#大数据和云计算技术#: "四有"社区介绍

大数据和云计算技术周报（第56期）

新数仓系列：Hbase周边生态梳理（1）

《大数据架构详解》第2次修订说明

简单梳理跨数据中心数据库

云观察系列：漫谈运营商公有云发展史

云观察系列：百度云的一波三折

云观察系列：阿里云战略观察

超融合方案分析系列（7）思科超融合方案分析

加入技术讨论群

《大数据和云计算技术》社区群人数已经6000+，欢迎大家加下面助手微信，拉大家进群，自由交流。

喜欢QQ群的，可以扫描下面二维码：

欢迎大家通过二维码打赏支持技术社区（英雄请留名，社区感谢您，打赏次数超过108+）：