ubuntu下上传本地文件到hdfs上

最新推荐文章于 2024-03-03 16:24:45 发布
最新推荐文章于 2024-03-03 16:24:45 发布
阅读量3.2k 收藏 10
点赞数 2
分类专栏： big data 文章标签： 上传本地文件到hdfs上 ubuntu上传本地文件到hdfs上 ubuntu从本地上传到hdfs上 上传文件到hdfs上 ubuntu上传文件到hdfs上
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Late_whale/article/details/103445057
版权

首先，启动hadoop
在这里插入图片描述
创建一个文件夹
在这里插入图片描述
打开haddopweb界面查看（主机名：50070）在这里插入图片描述
右下角可以看到之前创建好的work文件夹（ubuntu中不好处理图片）
在这里插入图片描述
新建一个数据文件，没有gedit的可以vi或vim，vi、vim保存加退出（:wq!）,推荐下载gedit比vim好用
在这里插入图片描述
将之前创建的wujiang.txt上传到hdfs中在这里插入图片描述
web中查看，work中出现了则上传文件成功
在这里插入图片描述

最后

可以关注一下我的公众号，最近开始写公众号，我会在上面分享一些资源和发布一些csdn上发布不了的干货
在这里插入图片描述

点个关注是对博主最大的支持

Late whale
关注
专栏目录
上传本地文件到HDFS
04-05 4万+
1.上传文件 切换到hadoop 安装目录，启动hadoop，然后输入命令：bin/hdfs dfs -mkdir /alidata，在hdfs上创建alidata文件夹 浏览器查看hdfs： 上传文件到alidata文件夹： 命令：bin/hdfs dfs -put /home/kaiseu/TianChi /alidata/ 查看结果：
上传本地文件到hdfs
caosena5101的博客
12-19 2232
import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IOUtils; import org.apache.hadoop.util.Progressable;
Ubuntu本地文件上传至HDFS文件系统出现的乱码问题及解决方案
weixin_30294295的博客
12-12 350
1.问题来源及原因 用shell命令上传到HDFS中之后出现中文乱码，在shell命令窗口查看如图： 在eclipse中的文件HDFS查看工具查看如图： 原因：上传至HDFS文件系统的文本文件（这里是A.txt）的编码格式是ISO-8859，与hdfs文件系统和eclipse默认的编码格式UTF-8不符。 2.解决方案 把源文本文件的编码格式改为UTF-8，统一...
VMware ubuntu下的HDFS文件操作（在终端用命令实现的）
mango
04-08 7026
文章目录(1)向HDFS上传任意文本文件，如果指定的文件在HDFS中已经存在，由用户指定是追加到原有文件末尾还是覆盖原有的文件；(2)从HDFS中下载指定文件，如果本地文件与要下载的文件名称相同，则自动对下载的文件重命名；(3)将HDFS中指定文件的内容输出到终端中；(4)显示HDFS中指定的文件的读写权限、大小、创建时间、路径等信息；(5)给定HDFS中某一个目录，输出该目录下的所有文件的读写权...
ubuntu中将本地文件上传到服务器
菜鸟的博客
09-10 9526
ubuntu中将本地文件上传到服务器 （１）在本地的终端下，而不是在服务器上。在本地的终端上才能将本地的文件拷入服务器。 （２） scp -r localfile.txt username@192.168.0.1:/home/username/ 其中， １）scp是命令，-r是参数 ２）localfile.txt 是文件的路径和文件名 （本地） ３）username是服务器账号 ４）...
在VirtualBox中使用Ubuntu系统上传单词文件至HDFS，运用Map reduce进行计数
weixin_45150813的博客
12-13 860
在VirtualBox中使用Ubuntu系统上传单词文件至HDFS，运用Map reduce进行计数1.Hadoop搭建1.1创建hadoop用户1.2 更新apt1.3安装SSH、配置SSH无密码登陆1.4安装Java环境1.5安装Hadoop1.6Hadoop伪分布式配置2.运用Mapreduce对单词文本进行计数2.1上传文件至HDFS2.2安装、配置Hadoop-Eclipse-Plugin2.3eclipse创建MapReduce 项目3.总结4.参考资料 1.Hadoop搭建 本文所用环境基于U
在ubuntu上安装hadoop完分布式
最新发布
weixin_66547608的博客
03-03 1770
教你如何安装Ubuntu完全分布式，包含详细图解，全部命令，直接可以复制粘贴
eclipse中连接HDFS,上传本地文件夹
kan_fearless的博客
03-27 2355
连接HDFS的步骤//    准备连接HDFS的操作支持类Configuration conf = new Configuration();//    所要写入的路径，path要用于创建文件系统和创建连接hadoop的create路径Path path = new Path("hdfs://192.168.43.134:9000/input");//    创建文件系统对象FileSystem f...
HDFS | 在本地使用java api上传文件到阿里云ECS报错解决
qq_44249833的博客
06-04 550
使用文件流上传文件报错 首先，确认报错信息。 之前在使用虚拟机搭建完全分布式的时候曾经测试过使用IO流上传文件到HDFS并且成功，而这次报错发生在我将hadoop集群换成了在阿里云的伪分布式集群后。 阿里云ECS基本信息 Ubuntu 18.04 123.57.x.x(公网) 172.17.51.183(私网) 阿里云ECS hosts文件 检查一下伪分布式下hadoop集群的配置信息 hdfs-site.xml core-site.xml shell命令正常执行， jps显示NameNode，Da
在Ubuntu中搭建Hadoop到MapReduce文件上传
u010502772的博客
12-23 487
在Ubuntu中搭建Hadoop到MapReduce文件上传Ubuntu的安装Hadoop的环境搭建和配置过程创建hadoop用户更新apt安装SSH、配置SSH无密码登陆将Hadoop和JAVA JDK文件上传到“/home/hadoop/下载”中安装Java环境安装 Hadoop 2.10.0Hadoop伪分布式配置HDFS目录操作HDFS文件操作使用Eclipse编译运行MapReduce程序安装 Eclipse安装 Hadoop-Eclipse-Plugin配置 Hadoop-Eclipse-Plu
Linux执行hdfs上的jar包,使用Hadoop命令行执行jar包详解（生成jar、将文件上传到dfs、执...
weixin_34493096的博客
05-14 2577
使用Hadoop命令行执行jar包详解(生成jar、将文件上传到dfs、执使用Hadoop命令行执行jar包详解(生成jar、将文件上传到dfs、执行命令、下载dfs文件至本地)Hadoop入门配置系列博客目录一览1、Eclipse中使用Hadoop伪分布模式开发配置及简单程序示例(Linux下)2、使用Hadoop命令行执行jar包详解(生成jar、将文件上传到dfs、执行命令、下载dfs文件至...
Linux(Ubuntu)中HDFS的操作(Shell)
kan_fearless的博客
03-27 3814
启动Hadoop --选择hadoop的文件夹下(本机的hadoop文件夹) cd hadoop/sbin ./start-all.sh 调用文件系统（FS）Shell命令为：hadoop fs <args>形式 检查Hadoop 相关的进程是否启动 jps 在hadoop文件下创建一个test文件夹 hadoop fs -mkdir /test 在test文件夹中创建一个...
HDFS文件上传与下载
weixin_51551506的博客
11-02 7239
运行后显示如下，此时Desktop/logs/目录下的log文件已经上传到HDFS的/log1目录中。运行后显示如下，此时Desktop/logs/目录下的log文件已经上传到HDFS的/log2目录中。运行后显示如下，在/home/dolphin/Desktop/logs目录下有一个log文件。此时，已经将HDFS的/log1/目录下的文件，下载到本地家目录下。运行后显示如下，发现HDFS的/log1目录下存在刚才上传的文件。运行后显示如下，发现HDFS的/log2目录下存在刚才上传的文件。
Ubuntu系统上传文件的多种方法-断网上传-安装包上传-物联网开发维护
物联网领域菜鸟~嘻嘻
10-19 7589
在全新的Ubuntu系统中，其实是无法执行ifconfig命令的，因为这需要net-tools才能执行。在某些无法连接到外网的情况下，我们常常通过将安装包上传或发送到Ubuntu系统中，解压并安装，以保证相关指令能够执行。本文将介绍4种比较常用的发送文件到Ubuntu系统的方法，供大家参考。分别是共享文件夹、U盘挂载、XFTP传输和SCP安全拷贝。
本地上传文件到hadoop的hdfs文件系统里
web15286201346的博客
08-31 5898
2、我们进入到/opt/hadoop/hadoop.2.8.5/etc/里面又很多配置文件，我们修改hdfs.site.xml文件跟core.site.xml文件。cd /opt/hadoop/hadoop.2.8.5/bin/ hdfs namenode -format //格式化名称节点。//查看网络是否相同，拒绝说明防火墙开了，外界无法访问到网络。cd /opt/hadoop/hadoop.2.8.5/sbin/ start-dfs.sh//重启hadoop。...
Linux本地上传文件到HDFS文件系统
TT-Learning
12-17 8959
上传 切换用户 su hdfs 查看hdfs文件系统目录文件 hdfs dfs -ls /user/tgm 上传文件 hdfs dfs -put 本地文件目录 HDFS文件目录 删除文件 hdfs dfs -rm -r HDFS文件路径 ...
Linux上传本地文件到Hadoop的HDFS文件系统
热门推荐
zhangvalue的博客
06-12 9万+
记录如何将本地文件上传至HDFS中 前提是已经启动了hadoop成功（nodedate都成功启动） ①先切换到HDFS用户 ②创建一个input文件夹 zhangsf@hadoop1:~$ hdfs dfs -mkdir /input 多级创建的时候 hdfs dfs -mkdir -p /wifi/classify 查看创建的文件夹在 hadoop1:50070中查看（我自己的对...
Linux上传本地文件到HDFS
猪老大唯一官方认证
01-15 6万+
上一篇文章记录了如何使用java代码将本地文件上传到HDFS中，之后我又尝试了直接使用Linux命令上传文件，过程如下。 su hdfs //切换到HDFS用户 cd /home/hdfs/files //进入到服务器中文件所在目录 ls //查看此目录下的文件列表 vim test.txt //若文件
HDFS ubuntu
09-16
HDFS（Hadoop Distributed File System）是一个分布式文件系统，适用于大规模数据的存储和处理。你可以使用以下命令将本地文件系统中的文件上传到HDFS中： ./bin/hdfs dfs -put ./test1.txt ./bin/hdfs dfs -put ./test2.txt 要显示HDFS中指定文件的读写权限、大小、创建时间、路径等信息，你可以使用以下命令： ./bin/hdfs dfs -ls -h test2.txt 如果你想向HDFS上传任意文本文件，并且如果指定的文件在HDFS中已经存在，你可以选择是追加到原有文件末尾还是覆盖原有文件。可以按照以下步骤进行操作： 1. 启动Hadoop集群：cd /usr/local/hadoop ./sbin/start-dfs.sh
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值