大数据和云计算技术周报（第53期） - 云+社区 - 腾讯云

写在第53期

“大数据” 三个字其实是个marketing语言，从技术角度看，包含范围很广，计算、存储、网络都涉及，知识点广、学习难度高。

本期会给大家奉献上精彩的：大数据平台实践、AI、Berkeley DB、机器学习、实时数据处理实践、Redis、HBase、聚类算法、计算引擎。全是干货，希望大家喜欢！！！

#大数据和云计算技术社区#希望通过坚持定期分享能帮助同学在大数据学习道路上尽一份微博之力。相信长期坚持认真阅读周报的同学，在技术的道路上一定会日益精进！感谢编辑们的长期坚持！

以下是正文，限于众编辑水平有限，不保证大家都喜欢。

１

大数据平台实践

做好大数据业务需要很多东西，但一个成功的大数据应用关键在于两点：有数据+快速改进。

https://mp.weixin.qq.com/s/EgoG6qWMUeJUrmlCznH1vg

2

AI

本文从京东的各项人工智能方面向大家介绍了当前京东的主要技术发展方向和未来的京东"野心"

https://mp.weixin.qq.com/s/H3cC6jY1i0sOvXZuFkgxEQ

3

Berkeley DB

它是一个经典的C-library模式的toolkit，为程序员提供广泛丰富的函数集，是为应用程序开发者提供工业级强度的数据库服务而设计的。其主要特点如下：

嵌入式（Embedded）：它直接链接到应用程序中，与应用程序运行于同样的地址空间中，因此，无论是在网络上不同计算机之间还是在同一台计算机的不同进程之间，数据库操作并不要求进程间通讯。

https://blog.csdn.net/jediael_lu/article/details/27534223

4

机器学习

机器学习模型经常被批评是技术黑箱：只要输入数据就能得到正确答案，但却无法对其进行解释。本文将介绍模型解释的概念，动机和重要性。

https://mp.weixin.qq.com/s/nmqSNdvkivY1yG8DNthRAw

5

实时数据处理实践

本文从实时数据着手对数据处理的流程，架构和相关技术分别进行了深入的探讨，有一定的借鉴价值

https://mp.weixin.qq.com/s/c252iiVlb3Ai0Ldaqk4GIw

6

Redis

大多数是基于数据版本（version）的记录机制实现的。即为数据增加一个版本标识，在基于数据库表的版本解决方案中，一般是通过为数据库表增加一个”version”字段来实现读取出数据时，将此版本号一同读出，之后更新时，对此版本号加1。

https://mp.weixin.qq.com/s/WI0frOlYNxKWrZ6qKa3Gvg

7

HBase

Hbase生态和发展实践

https://mp.weixin.qq.com/s/nXUTIn4cyw67LDuHzv2HOQ

8

聚类算法

本文重点介绍了聚类算法的实践，从项目中某个问题出发讲述了数据预处理到如何聚类的过程再到聚类的实现以及最后的结果分析。对于未了解聚类的同学有一定的借鉴

https://mp.weixin.qq.com/s/G7_fZPff1uun1nH5deJHdw

9

计算引擎

本文主要介绍饿了么大数据团队如何通过对计算引擎入口的统一，降低用户接入门槛。如何让用户自助分析任务异常及失败原因，以及如何从集群产生的任务数据本身监控集群计算/存储资源消耗，监控集群状况，监控异常任务等。

https://mp.weixin.qq.com/s/HpSNLLKYELcT9GvmTSH73Q

010

开心一刻

学车，教练比较暴躁，动不动就骂，这也不会，那也不会，说了这么多次还不会吧啦吧啦的。

今天教练骂着骂着突然不吭声了，我想肯定是自己学有所成，教练十分满意。

过了一会儿，教练看了看我，有气无力的说，你TM还是第一个让我晕车的人。

致谢：

魏宏斌、薛述强、刘彬、刘超、廖程鹏、董言、吕西金、朱洁、蓝随、黄文辉