开源大数据周刊-第80期

点击有惊喜

资讯

• 奇虎360正式开源其高性能KV存储平台Zeppelin 
  Zeppelin 是奇虎 360 开源的一个高性能，高可用的分布式 Key-Value 存储平台，它以高性能、大集群为目标，并希望能在 Zeppelin 的基础上，不仅能够提供 KV 的访问，还可以通过简单的一层转换满足更复杂的协议需求。本文就将从背景，技术细节，回顾和未来计划几个方面来进行介绍这个开源项目。项目地址：https://github.com/Qihoo360/zeppelin
• Go官网回归中国 
  日益壮大的中国 Go 语言开发者们现在可以通过 golang.google.cn 访问 golang.org 上的内容，获取官方文档、技术文件以及二进制文档。
• 专访朱诗雄：Apache Spark中的全新流式引擎Structured Streaming 
  Apache Spark 在 2016 年的时候启动了 Structured Streaming 项目，一个基于 Spark SQL 的全新流计算引擎 Structured Streaming，让用户像编写批处理程序一样简单地编写高性能的流处理程序。经过一年多的改进和完善，目前 Structured Streaming 已经在 Databricks 内部和客户广泛使用，InfoQ 采访了 Structured Streaming 的核心开发朱诗雄来具体了解这个项目。

技术

• 如何为Kafka集群选择合适的Topics/Partitions数量 
  这是许多kafka使用者经常会问到的一个问题。本文的目的是介绍与本问题相关的一些重要决策因素，并提供一些简单的计算公式。
• 机器学习中常用的距离公式 
  在计算机人工智能领域，距离(distance)、相似度(similarity)是经常出现的基本概念，它们在自然语言处理、计算机视觉等子领域有重要的应用，而这些概念又大多源于数学领域的度量(metric)、测度(measure)等概念。
• 使用Python编写Hive UDF 
  Hive 内置为我们提供了大量的常用函数用于日常的分析，但是总有些情况这些函数还是无法满足我们的需求；值得高兴的是，Hive 允许用户自定义一些函数，用于扩展 HiveQL 的功能，这类函数叫做 UDF（用户自定义函数）。使用 Java 编写 UDF 是最常见的方法，但是本文介绍的是如何使用 Python 来编写 Hive 的 UDF 函数。
• 只用200行Go代码写一个自己的区块链 
  “用不到200行 Go 代码就能实现一个自己的区块链！” 听起来有意思吗？有什么能比开发一个自己的区块链更好的学习实践方法呢？那我们就一起来实践下。

欢迎入群技术交流！

点击有惊喜