大数据和云计算技术周报（第171期)

导语

“大数据” 三个字其实是个marketing语言，从技术角度看，包含范围很广，计算、存储、网络都涉及，知识点广、学习难度高。

    

本期会给大家奉献上精彩的：MongoDB、Hbase、压测、ClickHouse、DL、Spark、java。全是干货，希望大家喜欢！！！

1MongoDB

本文讲述了通过分析MongoDB insert请求慢日志中相应chunk version信息、config.chunks集合中路由信息，解读路由更新导致响应慢场景、3.6版本之后对chunk version管理的变化；

https://mongoing.com/archives/75945

2HBase

如何将HBase的数据迁移到Kafka呢？今天笔者就给大家来分享一下具体的实现流程。

https://mp.weixin.qq.com/s/-J9nQs8IjEOcSj849tYigg

3ClickHouse

本文主要介绍手淘流量分析业务发展过程中，实时性业务分析需求的产生，实时分析目标的设定，如何进行技术的选型，以及如何基于ClickHouse构建系统架构和未来的业务预期

https://mp.weixin.qq.com/s/dQGQfsD8nuUXljYubIKDQg

4压测

压测的一般流程和方法是什么？需要关注哪些数据指标？如何推算后端需要支持的qps？本文分享总结压测过程中需要注意的问题

https://mp.weixin.qq.com/s/aTcvD4__Rbo0UoRrW3ZjuA

5Spark

Spark SQL是Apache Spark最广泛使用的一个组件，它提供了非常友好的接口来分布式处理结构化数据，在很多应用领域都有成功的生产实践，但是在超大规模集群和数据集上，Spark SQL仍然遇到不少易用性和可扩展性的挑战。为了应对这些挑战，英特尔大数据技术团队和百度大数据基础架构部工程师在Spark 社区版本的基础上，改进并实现了自适应执行引擎。本文首先讨论Spark SQL在大规模数据集上遇到的挑战，然后介绍自适应执行的背景和基本架构，以及自适应执行如何应对Spark SQL这些问题，最后我们将比较自适应执行和现有的社区版本Spark SQL在100 TB 规模TPC-DS基准测试碰到的挑战和性能差异，以及自适应执行在Baidu Big SQL平台的使用情况

https://www.iteblog.com/archives/2319.html

6Java

Java提供了种类丰富的锁，每种锁因其特性的不同，在适当的场景下能够展现出非常高的效率。本文旨在对锁相关源码（本文中的源码来自JDK 8）、使用场景进行举例，为读者介绍主流锁的知识点，以及不同的锁的适用场景。

https://mp.weixin.qq.com/s/cGJxllpHskK4castfOJ_gw

7DL

从数据高低频分布上探讨CNN泛化能力，其注意到CNN具备捕获人类无法感知的高频成分能力，而这个现象可以用于解释多种人类无法理解的假设，例如泛化能力、对抗样本鲁棒性等。

https://mp.weixin.qq.com/s/Js4IOg5uQG_2R3w0r80WbA

8AWS

AWS最新发布

https://mp.weixin.qq.com/s/2QJg7DYOE8M4s-MGkx0e2w

11开心一刻

我生平最讨厌这100件事：

• 0. 写注释

• 1. 写文档、

• 10. 别人不写注释

• 11. 别人不写文档…

致谢：

周蓬勃、王在道、孙亚飞、冯艺帆、陈少军、邓开表、张少华、薛述强、刘彬、刘超、廖程鹏、董言、吕西金、朱洁、蓝随、黄文辉、郭飞

猜你喜欢

#大数据和云计算机技术社区#博客精选（2017）

NoSQL 还是 SQL ？这一篇讲清楚

阿里的OceanBase解密

#大数据和云计算技术#: "四有"社区介绍

大数据和云计算技术周报（第56期）

新数仓系列：Hbase周边生态梳理（1）

《大数据架构详解》第2次修订说明

简单梳理跨数据中心数据库

云观察系列：漫谈运营商公有云发展史

云观察系列：百度云的一波三折

云观察系列：阿里云战略观察

超融合方案分析系列（7）思科超融合方案分析

加入技术讨论群

《大数据和云计算技术》社区群人数已经6000+，欢迎大家加下面助手微信，拉大家进群，自由交流。

喜欢QQ群的，可以扫描下面二维码：

欢迎大家通过二维码打赏支持技术社区（英雄请留名，社区感谢您，打赏次数超过108+）：