![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 59
Oliver twist
这个作者很懒,什么都没留下…
展开
-
hadoop MR的一些迷糊知识总结
1.set 方法是在map任务启动时初始化执行一次-=—给我个人的感觉是同一个文件只会启动一次map任务。2.在mapper 类中的map方法 它只要是用他context.write方法写出以后 后面的 kv对再进来 复写 属性 (例如bean对象)时 而对前面的 kv 的产生影响。 可以看出if里面的bean是属性 但是 前面输出的 kv 不会被后面输入的 kv 影响。...原创 2021-04-23 14:45:28 · 230 阅读 · 0 评论 -
hadoop 出现bug:Exception in thread “main“ java.lang.UnsatisfiedLinkError
问题:Exception in thread “main” java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIOWindows.access0(Ljava/lang/String;I)Zatorg.apache.hadoop.io.nativeio.NativeIOWindows.access0(Ljava/lang/String;I)Z at org.apache.hadoop.io.nativeio.Native原创 2021-04-22 22:14:13 · 216 阅读 · 0 评论 -
为何hadoop集群只有一个datanode呢?
为何hadoop集群只有一个datanode呢?1.看配置 hadoop2的看slaves文件配置;hadoop3的看workers文件配置2.同步的错误 在同步时将hadoop文件夹全部都同步过去了,里面的log日子也同步过去了,这样的的话,就会导致datanode只有一个。解决办法:删除data和logs文件 然后重新初始化naname...原创 2021-04-19 11:41:08 · 1096 阅读 · 0 评论