hadoop
LUK流
大数据/java web
展开
-
配置文件hdsf-site.xml的优先级问题
在hadoop中对某一个参数的配置可以在3个地方完成! (1)linux中的hadoop集群 (2)jar包中的默认配置文件 (3)java文件中configuraton可以设置参数原创 2018-11-06 18:40:36 · 418 阅读 · 0 评论 -
关于hdfs多次启动Datanode无效
发现Datanode一直无法启动 查看/root/apps/hadoop-2.7.3/logs/下的日志文件: 查看资料发新: 多次使用下面的命令: cd /root/apps/hadoop-2.7.3 ./bin/hadoop namenode -format 导致了clusterID不同 3.解决方法:删除datanode中的hdfs仓库文件即可 然后直接使用: start...原创 2018-11-04 18:20:01 · 778 阅读 · 0 评论 -
win中连接hdfs失败问题
(1)win中连接hdfs会出现如下问题: (2)hdfs下载 https://github.com/LUK-qianliu/solving-for-windows-hdfs 放入到E:\hadoopConfig\hadoop-common-2.2.0-bin-master目录下。 (3)程序中加入 System.setProperty("hadoop.home.dir", "E:\\hadoo...原创 2018-11-04 22:05:48 · 1110 阅读 · 0 评论 -
hadoop-mapreduce中缺少无参构造方法而导致自定义的javaBean反射无效
问题:一个FlowCount作为流量统计的程序,Flow数据需要放到一个FlowBean中,结果因为报错 原因分析:FlowBean因为没有写一个空的构造方法导致反射时发现FlowBean中无空参构造而反射失败(下面的有参构造会导致覆盖系统默认的空参构造) ...原创 2018-11-12 22:01:25 · 402 阅读 · 1 评论 -
win10上调试hadoop
首先找到对应的版本,比如我使用的时hadoop2.7.3,就可以直接用2.7.1版本的 配置文件:https://github.com/LUK-qianliu/winutils-master 目录下的hadoop.dll和winutils.exe复制到hadoop2.7.3/bin下: 将hadoop.dll复制到C:\Windows\System32下: 此时调试出现下面的...原创 2018-11-20 21:04:45 · 638 阅读 · 0 评论 -
关于hdfs分片和分块
1.分块 从2.7.3版本开始,block size由64 MB变成了128 MB的。 在分布式的HDFS集群上,Hadoop系统保证一个块存储在一个datanode上。 HDFS的namenode只存储整个文件系统的元数据镜像,这个镜像由配置dfs.name.dir指定,datanode则存有文件的metainfo和具体的分块,存储路径由dfs.data.dir指定。 2.分片 由InputFo...原创 2019-01-15 17:08:11 · 6734 阅读 · 0 评论 -
hadoop中mapreduce的shuffle过程详细解释
1.mapreduce整体执行流程 input – split切片 – map – map shuffle – 分成多个partition – reduce shuffle – reduce拉去对应的partition 到相应的reduce上 – reduce 2.map shuffle partition 而可以通过自定义partitoner实现自定义分区,是缓解数据倾斜的一种手段。 pu...原创 2019-04-20 19:38:28 · 1921 阅读 · 0 评论