![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HDFS
文章平均质量分 89
tomson8975
这个作者很懒,什么都没留下…
展开
-
Hdfs本地短路读取文件
本地短路读取文件:dfs.client.read.shortcircuit=true;#开启本地磁盘读dfs.block.local-path-access.user=hdfs#可以使用本地读的用户dfs.client.read.shortcircuit.skip.checksum=false#是否跳过checksumdfs.client.read.shortc原创 2015-08-08 21:55:58 · 773 阅读 · 0 评论 -
DataNode上执行文件读写时报java.io.IOException: Bad connect ack with firstBadLink as 192.168.X.X错误解决记录
今天在集群上看到有两个任务跑失败了: Err log:In order to change the average load for a reducer (in bytes):set hive.exec.reducers.bytes.per.reducer=In order to limit the maximum number of reducers:原创 2015-08-08 21:57:27 · 5467 阅读 · 0 评论 -
dfs.datanode.max.xcievers&dfs.datanode.max.transfer.threads介绍
前言: 这篇文章主要是介绍这个参数是什么意思,他的作用和估值的参考方法。(参考自:http://blog.cloudera.com/blog/2012/03/hbase-hadoop-xceivers/) (dfs.datanode.max.xcievers和dfs.datanode.max.transfer.threads都是指的一个参数不过前者是原创 2015-08-10 11:34:23 · 9852 阅读 · 0 评论 -
Hadoop 2.x hdfs(热/冷)升级步骤
热升级步骤1.执行一次fsck,记录文件情况与升级后的fsck情况对比。 —— ./bin/hadoop fsck / -files -blocks -locations > dfs-v-old-fsck-1.log ./bin/hadoop dfs -lsr / > dfs-v-old-lsr-1.log ./bin/had原创 2016-09-02 11:06:23 · 1137 阅读 · 0 评论