利用Wget 直接将数据Put到HDFS 上

最新推荐文章于 2023-10-10 18:19:15 发布
最新推荐文章于 2023-10-10 18:19:15 发布
阅读量1.9k 收藏
点赞数
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/guoning_scdn/article/details/43736617
版权

如题：


wget http://117.79.226.247:8888/impala/download/1565/xls -O - | hadoop fs -put - /tmp/wget_to_hdfs


-O 重命名
-O  后面的 - 为重定向到标准输出，（这里就是控制台） -put 后面的 - 标准输入（对应前面的标准输出）

这样 就可以是数据不落地直接PUT 到 hdfs上面，项目刚刚的～


一线码奴
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Linux命令发送Http的get或post请求(curl和wget两种方法)
cyl937的专栏
10-18 19万+
Http请求指的是客户端向服务器的请求消息，Http请求主要分为get或post两种，在Linux系统下可以用curl和wget命令来模拟Http的请求。下面就来介绍一下Linux系统如何模拟Http的get或post请求。 一、get请求： 　　1、使用curl命令： 　　curl “http://www.baidu.com” 如果这里的URL指向的是一个文件或者一幅图都可
hadoop linux
10-30
hadoop 官方 2.7.5 linux.
使用wget实现数据的回传备份
10-16
使用wget实现数据的回传备份,利用wget完成数据的异地备份
centos模拟post请求_Linux下模拟http的get/post请求（curl or wget）详解
weixin_42356659的博客
01-13 591
Linux下模拟http的get/post请求(curl or wget)详解Linux下模拟http的get/post请求(curl or wget)详解背景最近项目中需要测试接口，但是测试服务器通过堡垒机才能访问，暂时又没有通过Nginx进行转发，只好直接在Linux上模拟http请求进行测试。方法get请求curl “http://www.baidu.com” 如果URL指向的是一个文件或者...
cURL（wget）—— 测试 RESTful 接口及模拟 GET/POST/PUT/DELETE/OPTIONS 请求
04-30 3965
cURL 是一个简单的 http 命令行工具。与最优秀的 Unix 工具一样，在设计之时，cURL 是个小型程序，功能十分专一，而且是故意为之，仅用于访问 http 服务器。（在 Linux 中，可以使用包管理器轻易安装，apt-get install curl/yum install curl）。
wget、curl命令
最新发布
MssGuo的博客
10-10 266
curl 是一个命令行工具，用于发送和接收数据，通常用于与网络服务进行通信。它支持多种协议，包括 HTTP、HTTPS、FTP、SMTP 等等，因此可以用于各种不同的用途，例如下载文件、上传文件、执行 HTTP 请求以及测试网络服务的可用性。
使用curl和wget模拟REST请求
yzl11的博客
03-25 1026
http://ju.outofmemory.cn/entry/75819
wget 常用例子
blue0bird的专栏
11-16 738
1 COMMON COMMANDS 1-1 Download a single file from the Internet 1-2 Download a file but save it locally under a different name 1-3 Download a file and save it in a specific folder 1-4 Resume an interrup
使用curl和wget发送post请求
热门推荐
cws1214的专栏
03-18 5万+
1.wget wget --post-data="user=user1&pass=pass1&submit=Login"  http://domain.com/path/page_need_login.php   2.curl (可直接发送格式化请求例如json) 提交json数据需要加header，否则需'json={"phone":"13521389587","password
模拟Http发送get、post、put、delete请求
u012453843的专栏
11-09 2万+
最近在公司要定义和实现Restful接口，需要模拟Http请求来验证请求是否能进入接口，现在把学习的东西记录下来以备以后查询。       首先说一说模拟get请求，get请求最简单的方式是通过地址栏输入地址和参数。这个没什么可说的。有一个模拟get请求的好工具值得学习一下，那就是Opera。我们可以到：http://download.csdn.net/detail/u012453843/967
Linux教程之传输文件（scp，ftp，wget，curl）
为生信助力
11-09 1841
在 linux 系统中传输文件
hadoop linux安装包
05-04
hadoop-3.1.0.tar.gz安装包,分享给大家使用,官网下载的,不想要分,但是必须选一分
wget批量下载Earthdata TRMM 遥感数据详细方法
08-25
Earthdata网站的TRMM数据wget工具下载详细方法，可以批量下载几万条数据，十分方便。
【超级好用】wget win10 解压直接用
08-25
【超级好用】wget win10 解压直接用
wget_wget_
09-29
一个详细介绍wget的pdf文件，希望能给需要的人提供帮助。
支持中文目录wget版本，linux版本
08-04
wget下载地址：https://ftp.gnu.org/gnu/wget/ 在wget的源代码中 src/url.c 这个文件中有wget如何处理文件名的函数url_file_...解决方法基本上都是对这个url_file_name函数或者是FILE_CHAR_TEST 这个宏定义进行修改.
wget for Windows
08-19
wget for ，通过CMD下载文件
系统命令交叉编译--wget,ftpgetput
rhmis的博客
10-18 1095
wget工具 时间：2021-10-14，wget版本1.21 编译过程 1、下载wget源码：http://mirror-hk.koddos.net/gnu/wget/ 2、解压，进入源码目录：cd wget-1.21/ 3、创建安装目录：mkdir __install 4、在Linux环境下，选择对应平台编译链进行配置： ./configure --prefix=$PWD/__install --host=arm-xxxxxx-linux CC=arm-xxxxxx-linux-gcc --withou
通过cmd上传文件的方法-wget方法
椰树ii
09-27 6337
测试机：win2003（win系统都可以，不一一举例）工具:wget.exe用法cmd下wget.exe http://www.xxx.com/xxx -O c:/windows/xxx(本地保存路径)如图：OK，上传成功。其实这个方法比较多余， 因为在拿到shell之后想办法传程序上去，wget.exe是第三方程序作用也是传程序，你有办法传wget.exe上去，就可以传别的，根本用不着wget....
学生独立完成一个项目，项目包括两个内容：1.配置HBASE数据库，掌握HBASE的基本操作。2.利用编程实现这些基本操作实现求解学生成绩平均分代码，并解释各条代码的意义； 要求： 熟练掌握HDFS配置及其基本shell操作。 熟练掌握HDFS的上传、下载等基本的文件操作，并了解HDFS内部的文件存储原理。 具体任务： 首先利用编程将给定文件的数据读入HBase表中。 利用编程从HBASE中读取学生成绩，并实现计算每个学生成绩平均分和每门课程成绩平均分的功能，要求对其中的主要代码进行注释性解释，然后在HDFS中查询程序运行结果。 注意：从学习通资料中Hadoop安装相关软件中的score.txt中下载数据并上传到实验机完成任务。
05-31
好的，让我来解释一下这个项目的具体任务，并且给出一些代码示例。 1. 配置 HBASE 数据库和掌握 HBASE 的...具体的方法可以使用 Hadoop 的 HDFS 命令行工具，例如使用 `hdfs dfs -put` 命令将结果文件上传到 HDFS 中。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值