2018年01月_Hadoop技术博文

转载过往记忆博客微信小程序正式上线

本博客微信小程序链接：微信小程序经过几个星期的开发，本博客微信小程序（过往记忆大数据技术博客）正式上线了！至此大家可以通过微信公众号、微信小程序等方式访问本博客了。下面来看看本博客微信公众号的一些预览。微信小程序首页在首页可以查看本博客最新的文章，热门文章以及搜索等。文章页文章页可以文章的详情，功能包括评论、点赞、分享、复制原文链接、查看相关文章等。不过因为样式问题，对于代码语法高亮以及各式会有一

2018-01-29 00:00:00 716

转载 3 个月如何从小白到 Python 高手？清华博士带你入门带你飞！

在我看来，基本上可以负责任地认为，Python 可以做任何事情。无论是从入门级选手到专业级数据挖掘、科学计算、图像处理、人工智能，Python 都可以胜任。或许是因为这种万能属性，周围好更多的小伙伴都开始学习 Python。那Python 现在到底有多热呢？微软开启了一个针对 Excel 功能的话题，用以收集用户的反馈。随后有用户提议让 Python 成为 Excel 的一种脚本语言，不仅可以作为

2018-01-26 00:00:00 461

原创如何为Kafka集群选择合适的Topics/Partitions数量

这是许多kafka使用者经常会问到的一个问题。本文的目的是介绍与本问题相关的一些重要决策因素，并提供一些简单的计算公式。越多的分区可以提供更高的吞吐量首先我们需要明白以下事实：在kafka中，单个patition是kafka并行操作的最小单元。在producer和broker端，向每一个分区写入数据是可以完全并行化的，此时，可以通过加大硬件资源的利用率来提升系统的吞吐量，例如对数据进行压缩。在co

2018-01-25 00:00:00 632

转载 Apache Pulsar：雅虎开发的企业级发布订阅消息系统

英文原文：https://streaml.io/blog/intro-to-pulsar/中文翻译：http://www.infoq.com/cn/news/2017/11/Apache-Pulsar-brief-introduction（点击下面阅读原文即可进入）Apache Pulsar（孵化器项目）是一个企业级的发布订阅（pub-sub）消息系统，最初由Yahoo开发，并于2016年底开源，

2018-01-17 00:00:00 2259

转载新年礼物 | 今天可以免费领取3980元的Hadoop视频教程！

近期很多人都在说想学习hadoop大数据，马云也说了：“未来最大的资源就是数据，不参与大数据十年后一定会后悔！”目前腾讯的社交数据，百度的搜索数据以及阿里的交易数据每天都是PB级别，都是公司最重要的资产。鉴于此，推荐一位非常牛逼的Hadoop技术牛人：林中天，花名：铁匠。原百度hadoop核心架构师，大数据团队Leader，在百度负责互联网广告，个性化推荐，算法，模型等方面的技术研发与lead管理

2018-01-16 00:00:00 434

原创三种恢复 HDFS 上删除文件的方法

本文原文：https://www.iteblog.com/archives/2321.html，如下面格式排版错乱，请点击下面阅读原文进入本博客阅读。我们每天都可能会操作 HDFS 上的文件，这就很难避免误操作，比如比较严重的误操作就是删除文件。本文针对这个问题提供了三种恢复误删除文件的方法，希望对大家的日常运维有所帮助。通过垃圾箱恢复HDFS 为我们提供了垃圾箱的功能，也就是当我们执行 hado

2018-01-15 00:00:00 6182

原创盘点2017年晋升为Apache TLP的大数据相关项目

本文原文：https://www.iteblog.com/archives/2310.html，如下面格式排版错乱，请点击下面阅读原文进入本博客阅读。本文主要盘点了 2017 年晋升为 Apache Top-Level Project (TLP) 的大数据相关项目，项目的介绍从孵化器毕业的时间开始排的，一共十二个。Apache Beam: 下一代的大数据处理标准Apache Beam（原名Goog

2018-01-02 00:00:00 6239

Hadoop技术博文