技术是条不归路

The Difference Between 'Hadoop DFS' and 'Hadoop FS'While exploring HDFS, I came across these two syntaxes for querying HDFS:在使用HDFS 的过程中，我偶然发现了下面两个句法：> hadoop dfs> hadoop fsInitally I co

原文：http://www.wtoutiao.com/p/Ef6Jmn.htmlKafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。InfoQ一直在紧密关注Kafka的应用以及发展，“Kafka剖析”专栏将会从架构设

在Hadoop 中提交的job 时常需要对其运行时的map task 和reduce task数量进行控制，reduce的数量可以通过setNumReduceTasks() 函数简单设置，但map task 数量并不简单由 setNumMapTasks() 控制。具体会影响到map task 数量的因素(参数)有： blockSize: HDFS block大小，默认为64MB totalSiz

原文: What is Big Data – Theory to ImplementationJava Code Geeks联合创始人Byron Kiourtzoglou发表文章，从理论到实践剖析了大数据的4个V，并于文章最后分享了Java工程师可能会需要的13个主流开源大数据工具。

Windows Azure HDInsight ServiceHDInsight 是在 Windows Azure 上快速扩展 Apache Hadoop 技术堆栈（作为大数据分析的首选解决方案）的云实现。它包括 Storm、HBase、Pig、Hive、Sqoop、Oozie 等的实现。HDInsight 还可集成商业智能 (BI) 工具，例如 Excel、SQL Server Analysis

背景在 Hadoop 中有一个抽象文件系统的概念，它有多个不同的子类实现，由 DistributedFileSystem 类代表的 HDFS 便是其中之一。在 Hadoop 的 1.x 版本中，HDFS 存在 NameNode 单点故障，并且它是为大文件的流式数据访问而设计的，不适合随机读写大量的小文件。本文将探讨通过使用其他的存储系统，例如 OpenStack Swift 对象存储，作为

Hadoop 解除 "Name node is in safe mode"        运行hadoop的命令时可能会出现如下的错误信息：        org.apache.hadoop.hdfs.server.namenode.SafeModeException: Command Error Message.Name node is in safe mode.

Apache Hadoop over OpenStack Swift原文地址：http://bigdatacraft.com/archives/349 By Camuel Gilyadov, on March 1st, 2012This is a post by Constantine Peresypkin and David Gruzman.本文由Constantine Pe