hdfs命令行和客户端的区别(一个大坑)

最新推荐文章于 2024-05-11 11:31:05 发布
最新推荐文章于 2024-05-11 11:31:05 发布
阅读量739 收藏
点赞数
分类专栏： hadoop 文章标签： hdfs hadoop dfs.block.size
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/y943623901/article/details/41078465
版权

一直都没有发现，原理hdfs的命令行和客户端api的使用还是有很大差别的


现象：

将dfs.block.size设置成128M



现有28G的数据，理论上讲map的总数应该是224个，但是map数量却翻倍成448个



一直都找不出原因，使用hdfs命令行查看需要进行mapreduce的文件的block大小



然后通过hdfs fs -put 命令放进去的文件block大小就是128M



最后猜测应该是客户端API没有读到在构造Configuration对象时没有读到服务器上的*-site.xml导致的，将服务器上的*-site.xml放到客户端的根目录下实验了一下，果然OK了

只想你快乐
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【HDFS篇02】HDFS命令行操作1
08-04
完成永远比完美重要HDFS的Shell操作基本语法常用命令大全启动Hadoop集群-help：输出这个命令参数-ls: 显示目录信息-moveFromLocal
博客园美化
heyYouU的博客
08-22 1782
博客园允许用户设置多样化的主题。通过选择皮肤，植入跟皮肤配套的CSS、JS，即可实现个性化的界面风格和交互行为。
博客园的生死时刻，到底该如何自救？
最新发布
非著名程序员
05-11 893
loonggg读完需要4分钟速读仅需 2 分钟我记得去年 5 月份的时候，看到了博客园求助的消息，当时，博客园发公告称：商业化努力 - 困境求助：开设捐助通道，并提供了微信、支付宝、对公户捐款渠道。当时，博客园活不下去了，靠救助苟活到现在。我们都知道博客园的诞生，与商业无关，是一位编程爱好者业余时间的偶然。园子的坚持，也与商业无关，是来自服务于成千上万开发者的成就感。博客园的团队以为当用户规模达到...
【附源码】计算机毕业设计博客园系统的设计与实现（java+springboot+mysql+mybatis+论文)
梁凯毕设程序
04-11 293
后端服务接收到请求后，执行相应的业务逻辑处理，这通常包括与MySQL数据库的交互，如查询数据、插入记录、更新或删除数据等操作。Vue.js前端应用接收到这些数据后，进行解析并更新Web页面，以反映最新的信息或状态给用户。这样，前端Vue.js和后端Spring Boot框架的接口紧密协作，而MySQL数据库则作为数据存储和管理的核心，确保了整个系统的数据一致性和高效处理。设计与实现一个高效、稳定并且具备良好扩展性的博客园系统，可以促进知识的积累与传播，增强社区的凝聚力，同时也为个人品牌的塑造提供助力。
CSDN、博客园、简书、思否、掘金，程序员最佳中文论坛我该怎么选
生信小博士的博客
01-10 4110
CSDN论坛SegmentFault掘金社区 (二维码自动识别)
博客园又崩了，这个锅要不要阿里云背？
夜栩的博客
12-28 638
博客园又崩了，不过与其它大厂的崩溃不同，博客园出现崩溃的频率好像有点高。这是怎么回事呢？和阿里云又有什么关系，这篇文章就带大家来一探究竟。
程序员需知的13个国内博客社区，建议收藏
Modeler_xiaoyu的博客
12-10 5500
学习计算机编程的13个国内博客社区，建议收藏
Hadoop原理与技术hdfs命令行基本操作
05-24
熟悉hdfs命令行基本操作 二、实验环境 Windows 10 VMware Workstation Pro虚拟机 Hadoop环境 Jdk1.8 三、实验内容 1：hdfs常见命令： （1）查看帮助：hdfs dfs -help （2）查看当前目录信息：hdfs dfs -ls / （3...
访问hdfs用到的客户端jar包
11-07
访问hdfs所用到的jar包，全都有。hadoop-hdfs.jar 代码环境配置
HDFS的java客户端操作
01-20
Hadoop之HDFS概述 ：https://blog.csdn.net/weixin_45102492/article/details/104369155 Hadoop之HDFS的shell操作： https://blog.csdn.net/weixin_45102492/article/details/104372580 Hadoop之HDFS的数据流：...
HDFS两种操作方式：命令行和Java API
01-07
HDFS 文件操作有两种方式：一种是命令行方式，Hadoop 提供了一套与 Linux 文件命令类似的命令行工具；另一种是 Java API，即利用 Hadoop 的 Java 库，采用编程的方式操作 HDFS 的文件。 本节将介绍 Linux 操作系统中...
【建议收藏】10个适合程序员逛的在线社区
田维常
10-24 7747
关注“Java后端技术全栈”回复“000”获取大量电子书这是一个开源的时代，网络资源是学习的重要工具，对于编程学习，网上的社区氛围浓厚、分享全面，非常有助于技术的提升。今天，就和大家分享...
程序员需知的 58 个网站
风水道人
11-17 813
程序员需知的 58 个网站 一、在线教程 首先列出一些在线教程网站，这些在线教程网站通常都比较适合入门，可以作为开发学习路上的第一个阶梯，也可以作为工作中的在线文档。 1、菜鸟教程 地 址：https://www.runoob.com/ 简 介：在线教程网站，前端学习看这两个网站就够了。 推荐指数：⭐⭐⭐ 网站封面 2、易百教程 地 址：https://www.yiibai.com/ 简 介：内容比较全面的在线教程网站。 推荐指数：⭐.
博客园被攻击了！
tanqingbo的博客
10-24 183
大家好，我是厂长。前几天，我看到博客园的公众号发布了一篇文章，宣称博客园的网站被攻击了：DDoS + CC 攻击，好家伙，人畜无害的博客园到底是得罪了哪路冤家了，非得下这么狠的手。DDoS攻击很多人应该都知道，分布式拒绝服务攻击。简单来说就是使用各种手段，给你的服务器发去大量请求，让你服务器疲于应对，CPU、内存、I/O、带宽等资源占用居高不下，导致正常的用户请求没法得到及时响应，看起来服务器像是...
奉劝那些刚参加工作的学弟学妹们：这20个高质量的学习网站越早知道越好（建议收藏）！！
热门推荐
冰河的专栏
05-02 3万+
这些学习网站越早知道越好，建议收藏，悄悄努力，然后惊艳所有人！！
毕设项目--博客园系统
qq_49721447的博客
05-11 760
本文主要是介绍博主所做的毕设项目---博客园系统，本系统包括四个项目，一个后端依赖包、一个后端项目代码、一个前端前台项目和一个前端后台项目，这四个项目构成了完整的博客园系统，使用到springboot+mybatis-plus+mysql+redis+vue3。
Spring 事务嵌套无效
如漩涡的博客
12-18 5212
Spring Boot 关于嵌套事务无效解决方案 Spring Boot自带事务注解 @Transactional， 只要在方法或者类上加上这个注解，就可以开启事务回滚。当然，是在单个事务的情况下，内嵌事务的时候却不起了作用，如方法A加了这个注解，方法B也加了注解，方法A里调用了方法B，那方法A出现了错误，而方法B没有，那方法B不会进行回滚 代码示例 方法A的代码 @RestController ...
冰河常逛的23大学习网站，收藏后悄悄努力，然后惊艳所有人
2401_83977357的博客
05-02 968
是目前国内最大的开源技术社区，形成了由开源软件库、代码分享、资讯、协作翻译、码云、众包、招聘等几大模块内容，为IT开发者提供了一个发现、使用、并交流开源技术的平台。现在国内优质的开发者交流学习社区，可以去看大佬们写的文章，也可以自己分享学习心的，与更多开发者交流。面试的本质不是考试，而是告诉面试官你会做什么，所以，这些面试资料中提到的技术也是要学会的，不然稍微改动一下你就凉凉了。面试的本质不是考试，而是告诉面试官你会做什么，所以，这些面试资料中提到的技术也是要学会的，不然稍微改动一下你就凉凉了。
hdfs命令行创建文件夹
05-18
在 HDFS 中，可以使用以下命令行创建文件夹： ``` hdfs dfs -mkdir /path/to/directory ``` 其中，`/path/to/directory` 是要创建的文件夹的路径。例如，要在根目录下创建一个名为 `test` 的文件夹，可以使用以下...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值