Hadoop
文章平均质量分 78
TomasWenShua
数据科学研究生,python,ML,keras 铲屎官,
展开
-
Hadoop全分布式集群搭建
前言本片文章主要记录如何在搭建一个3台服务器的Hadoop集群。准备工作:三台已经可以互相通信的虚拟机hadoop102, hadoop103, hadoop104aws上配置ec2集群用于Hadoop全分布式搭建感谢尚硅谷的开源教学视频尚硅谷丨大数据Hadoop 3.x(2021全新升级/部署+源码+实战)Java 和 Hadoop安装$sudo apt-get update -y$sudo apt-get upgrade -y$sudo apt-get install openjdk原创 2021-03-25 05:37:46 · 297 阅读 · 2 评论 -
aws上配置ec2集群用于Hadoop全分布式搭建
本片文章主要记录如何在aws上搭建一个3台服务器的Hadoop集群。原创 2021-03-25 05:30:28 · 541 阅读 · 0 评论 -
window10下hadoop3.1.3 Shuffle$ShuffleError: error in shuffle in localfetcher#1 原因及解决方法
问题Windows10 下用idea本地调试wordcount产生以下错误:2021-03-05 11:11:41,311 WARN [org.apache.hadoop.mapred.LocalJobRunner] - job_local1291814541_0001java.lang.Exception: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in localfetcher#1原创 2021-03-06 04:07:17 · 732 阅读 · 1 评论 -
idea 远程使用hdfs copyFromLocalFile api上传文件 org.apache.hadoop.ipc.RemoteException(java.io.IOException)
我在台式机上启动了三台虚拟机配置了一个的Hadoop3.1.3集群,并进行文件操作A.namenode机上用hadoop shell 上传LICENSE.txtB.同一台电脑Windows操作系统下用idea通过hdfs copyFromLocalFile API上传HDFSClient.javaC. 以及同一局域网另一台笔记本电脑上用idea上传 txt文件得到以下结果:A和B上传成功并且没有报错,但是B操作只产生了两个文件副本,而我hdfs配置的是3个C操作失败,得到 RemoteExc原创 2021-03-03 03:30:41 · 703 阅读 · 1 评论