cyony的博客

在MR作业中，经常有使所有节点的作业共享引用数据的需求，Hadoop为我们提供了一种可供选择的机制：分布式缓存。它可以把map或reduce任务要用的通用只读文件在所有节点之间共享。这些文件可以是文本数据，也可以是jar包或者二进制文件，任何文件都可以。

本文转自 Hadoop NameNode元数据相关文件目录解析一 NameNode 元数据相关文件目录架构二 元数据相关文件解析1 VERSION 文件2 seen_txid 文件3 fsimage 和 edits 及 md5 校验文件三 文件系统元数据 fsimage 和编辑日志 edits1 edits 和 fsimage 文件的概念2 fsimage

hadoop的存储系统hdfs在大数据领域有着无可比拟的地位，本篇文章对hdfs的存储性能做一个相对详细的测试，影响因素有哪些，来帮助我们优化部署应用程序和hadoop集群，最大化利用hadoop的吞吐能力。

针对java语言中通过kerberos认证访问hadoop环境可以利用第三方api包。UserGroupInformation这个类JAAS 框架上封装了Hadoop 的用户信息，更确切地说是subject做了一层封装： UserGroupInformation(Subject subject) { this.subject = subject; this.user = su...

1、hive.metastore.schema.verification这个参数的属性设置为false，在hive-site.xml文件中修改。否则hiveserver启动失败。2、如果报这样的错：Exception in thread "main" java.sql.SQLException: Could not open client transport with JDBC Uri: