hdfs总结

最新推荐文章于 2023-04-10 18:56:03 发布
最新推荐文章于 2023-04-10 18:56:03 发布
阅读量73 收藏
点赞数
分类专栏： 大数据 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bigdata_wangzhe/article/details/115337872
版权
Hadoop常用端口号
hadoop2.xHadoop3.x
访问HDFS端口50070
访问MR执行情况端口 80888088
历史服务器 1988819888
客户端访问集群端口9000
Hadoop配置文件

Hadoop2.x core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml slaves
Hadoop3.x core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml workers

HDFS读流程和写流程
  • HDFS读数据流程
    在这里插入图片描述
  • HDFS写数据流程
    在这里插入图片描述
HDFS小文件处理

1）会有什么影响
计算层面：
每个小文件都会起到一个MapTask，占用了大量计算资源
2）怎么解决
有小文件场景开启JVM重用；如果没有小文件，不要开启JVM重用，因为会一直占用使用到的task卡槽，直到任务完成才释放。
JVM重用可以使得JVM实例在同一个job中重新使用N次，N的值可以在Hadoop的mapred-site.xml文件中进行配置。通常在10-20之间

<property>
    <name>mapreduce.job.jvm.numtasks</name>
    <value>10</value>
    <description>How many tasks to run per jvm,if set to -1 ,there is  no limit</description>
</property>
Shuffle及优化

在这里插入图片描述
在这里插入图片描述

bigdata_wangzhe
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HDFS总结的脑图
10-14
hdfs基本涉及到的内容，采用XMind 8,需要此软件才能查看
bigint数据类型
weixin_34270865的博客
07-09 1136
尽管int依然是SQL Server 2000中最主要的整数数据类型，但是SQL Server 2000还是新增加了整数数据类型bigint，它应用于整数超过int数据范围的场合。 int数据类型所表示的数值范围从-2^31到2^31-1，也就是说，你可以用int数据类型来表达-2,147,483,648到2,147,483,647（即大约正负二十亿）之间的整数。一个int型占用四个字节...
hive int bigint 强类型_Hadoop 系列之 Hive
weixin_39743824的博客
10-28 473
Hive 的官网：http://hive.apache.org/Hive versions 1.2 onward require Java 1.7 or newer.上一篇提到的 MapRedue 虽然简化了分布式应用的实现方式，但还是离不开写代码。Hive 简介Hive 是基于 Hadoop 的一个【数据仓库工具】，可以将结构化的数据文件映射为一张 hive 数据库表，并提供简单的 sql 查询...
HDFS总结
sis12e的博客
04-10 2424
客户端拿到数据存放节点位置信息后，会和对应的DataNode节点进行直接交互，进行数据写入，由于数据块具有副本replication，在数据写入时采用的方式是先写第一个副本，写完后再从第一个副本的节点将数据拷贝到其它节点，依次类推，直到所有副本都写完了，才算数据成功写入到HDFS上，副本写入采用的是串行，每个副本写的过程中都会逐级向上反馈写进度，以保证实时知道副本的写入情况；：保存整个文件系统的目录信息、文件信息及分块信息，这是由唯一一台主机专门保存，当然这台主机如果出错，NameNode就失效了。
HDFS 总结
weixin_38813363的博客
02-26 311
hdfs 总结 hdfs概述 hdfs常用命令与API hdfs原理 hdfs 实际应用HA以及原理 一、hdfs概述 hdfs概念：hdfs是一个分布式文件系统，为存储和计算大规模数据提供可需的扩展能力 hdfs特点： （1）master-slave架构：一个namenode主节点 master 多个datanode从节点slave （2）层次性文件结构：和传统的文件系统类似，提供层次性的目录结构。文件目录结构的元数据保存在namenode上 （3）block分块存储：文件存储时候是以block形式
HDFS总结.xmind
07-29
HDFS知识点总结（思维导图）XMIND文件
HDFS进阶总结
01-07
文章目录HDFS进阶总结1.01、HDFS知识点1.1、HDFS概述1.2、HDFS特点1.2.1、优点1.2.2、缺点1.3、HDFS角色1.3.1、Client1.3.2、NameNode1.3.3、DataNode1.3.4、Secondary NameNode1.4、HDFS结构1.5、NN与SNN工作机制...
HDFS知识点总结
02-24
学习完Hadoop权威指南有一段时间了，现在再回顾和总结一下HDFS的知识点。HDFS是什么：HDFS即Hadoop分布式文件系统（HadoopDistributedFilesystem），以流式数据访问模式来存储超大文件，运行于商用硬件集群上，是...
基于大数据分析技术在会计方面的研究
bigdata_wangzhe的博客
04-11 5322
在现如今大数据时代的背景下，有越来越多的企业正经受着数据网络的考验，其中很突出的就是管理會计，作为企业财务中一个重要的组成部分，是持续为企业整合和加工财务资料的职务，管理会计正为企业发展提供强有力的中坚力量。而同时，网络数据流量的飞速发展也使管理会计因此受到不小的冲击，面临时代发展所不能躲避的机遇与挑战。本文探讨如何在大数据时代抓住机遇，解决现阶段管理会计与数据流量的冲突问题，让企业在网络数据时代下能够稳步发展，提高企业运营管理效率。
Error: recoverUnfinalizedSegments failed for required journal
bigdata_wangzhe的博客
03-13 1717
现象:namenode启动一分钟后又宕机 发现问题：同事的误操作导致磁盘100% 随即删除一些不需要的东西，并且重新启动，namenode还是无法启动，根据日志怀疑跟安全模式有关 Execution of ‘/usr/hdp/current/hadoop-hdfs-namenode/bin/hdfs dfsadmin -fs hdfs://master01:8020 -safemode get | grep ‘Safe mode is OFF’’ returned 1 查找问题 尝试使用命令sudo
Hive报错和解决办法
bigdata_wangzhe的博客
03-19 1693
firstBadLink错误 报错： Caused by: java.io.IOException: Bad connect ack with firstBadLink as 192.168.2.24:50010 解决方法：动态分区数太多，需要提高文件句柄数， root账户下vi /etc/security/limits.conf End of file hadoop - nofile 65536 metastore报错 报错： Binary logging not possible. Message: T
大数据数据湖之hudi
bigdata_wangzhe的博客
03-28 1504
hudi介绍 Hudi将带来流式处理大数据， 提供新数据集，同时比传统批处理效率高一个数据量级。 特性 （1）快速upsert,可插入索引 （2）以原子方式操作数据并具有回滚功能 （3）写入器之间的快照隔离 （4）savepoint用户数据恢复的保存点 （5）管理文件大小，使用统计数据布局 （6）数据行的异步压缩和柱状数据 （7）时间轴数据跟踪血统 通过Spark-shell快速开始 Spark-shell启动 spark-shell启动,需要指定spark-avro模块，因为默认环境里没有，spark-
Hive代码测试问题汇总
bigdata_wangzhe的博客
03-21 1350
错误提示FAILED: ParseException line 26:29 cannot recognize input near ‘’ ‘’ ‘’ in subquery source 解决方法：一般表示“子查询”缺少别名 Hive中空值问题处理 对于INT类型的数值而言，无论插入值是NULL或‘’，文件中实际存储为\N；然而，对于STRING类型的数值是不同的，插入值分为NULL和‘’，文件中实际存储形式分别为：\N和空。 Coalesce和NVL函数 Coalesce和NVL只对NULL值有效。.
大数据之phoenix
bigdata_wangzhe的博客
04-21 1313
Phoenix 定义 Phoenix完全使用Java编写，作为HBase内嵌的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBase扫描，并编排执行以生成标准的JDBC结果集。直接使用HBase API、协同处理器与自定义过滤器，对于简单查询来说，其性能量级是毫秒，对于百万级别的行数来说，其性能量级是秒。 Phoenix 数据存储 Phoenix 将 HBase 的数据模型映射到关系型世界 Phoenix 表映射 默认情况下, 直接在 HBase 中创建的表通过 Phoenix 是查
hive语句的书写顺序和执行顺序
bigdata_wangzhe的博客
04-15 1303
1、hive语句的书写顺序：（从前往后） (1)select (2)from (3)join on (4) where (5)group by (6)having (7)distribute by/cluster by (8) sort by (9) order by (10) limit (11) union(去重不排序)/union all（不去重不排序） 2、hive语句的执行顺序： (1)from (2)on (3)join (4)where (5)group by (6)having (7)sel
数据采集之cannal
bigdata_wangzhe的博客
03-22 1052
cannal定义 Canal是用java开发的基于数据库增量日志解析，提供增量数据订阅&消费的中间件。目前，Canal主要支持了MySQL的Binlog解析，解析完成后才利用Canal Client 用来处理获得的相关数据。（数据库同步需要阿里的otter中间件，基于Canal） 使用场景 1）原始场景： 阿里otter中间件的一部分 otter是阿里用于进行异地数据库之间的同步框架，canal是其中一部分。 2） 常见场景1：更新缓存 3）场景2：抓取业务数据新增变化表，用于制作拉链表。 4）场景
hadoop命令大全
bigdata_wangzhe的博客
03-19 692
cat 使用方法： hadoop fs -cat URI [URI …] 将路径指定文件的内容输出到 stdout 示例： - hadoop fs -cat hdfs://host1:port1/file1 hdfs://host2:port2/file2 - hadoop fs -cat file:///file3 /user/hadoop/file4 chgrp 使用方法： hadoop fs -chgrp [-R] GROUP URI 改变文件所属的组。使用-R 将使改变在目录结构下递归进行。命令的使
大数据之Phoenix
bigdata_wangzhe的博客
04-21 674
Phoenix 定义 Phoenix完全使用Java编写，作为HBase内嵌的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBase扫描，并编排执行以生成标准的JDBC结果集。直接使用HBase API、协同处理器与自定义过滤器，对于简单查询来说，其性能量级是毫秒，对于百万级别的行数来说，其性能量级是秒。 Phoenix 数据存储 Phoenix 将 HBase 的数据模型映射到关系型世界 Phoenix 表映射 默认情况下, 直接在 HBase 中创建的表通过 Phoenix 是查
hdfs 50010
最新发布
09-18
HDFS 50010是Apache Hadoop分布式文件系统...总结而言，HDFS 50010是Apache Hadoop分布式文件系统中DataNode进程使用的默认端口号。它用于DataNode与其他组件之间的数据传输和通信，以实现数据的可靠性和高可用性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值