![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 65
陈小哥cw
这个作者很懒,什么都没留下…
展开
-
Hadoop配置文件介绍
文章目录一,默认配置文件二,自定义配置文件Hadoop 配置文件分两类:默认配置文件和自定义配置文件,只有用户想修改某一默认配置值时,才需要修改自定义配置文件,更改相应属性值。一,默认配置文件要获取的默认文件文件存放在 Hadoop 的 jar 包中的位置[core-default.xml]hadoop-common-3.1.3.jar/core-default.xml[hdfs-default.xml]hadoop-hdfs-3.1.3.jar/hdfs-default原创 2021-04-20 16:34:23 · 1114 阅读 · 0 评论 -
【HDFS问题】HDFS oiv解析Fsimage OOM异常处理
问题说明HDFS的Fsimage文件记录了集群的元数据信息,是进行集群健康度分析的基础。利用HDFS oiv命令可以解析fsimage文件,解析后的文件放入Hive中即可进行集群元数据的详细分析。运行以下命令,获取hdfs集群的fsimage文件,并使用oiv命令进行解析#获取fsimage文件hdfs dfsadmin -fetchImage ./tmp_meta#使用oiv命令将fsimage文件解析为csv文件hdfs oiv -i ./tmp_meta/* -o ./tmp_meta/原创 2021-03-10 15:12:14 · 707 阅读 · 0 评论 -
【hdfs问题】hdfs 跨集群数据迁移报错
问题目前想要让Kerberos集群的hdfs数据迁移到非Kerberos集群的hdfs上,使用以下命令报错sudo kinit hivesudo klistsudo hadoop distcp hdfs://<secure_namenode>:8020/user/hive/warehouse/test.db/* hdfs://<insecure_namenode>:8020/user/hive/warehouse/test.db报错截图解决方案官方链接:https原创 2020-12-30 09:18:36 · 2494 阅读 · 1 评论 -
NameNode和Second Name Node的工作流程
1. Namenode的工作机制思考:NameNode中的元数据是存储在哪里的?首先,我们做个假设,如果存储在NameNode节点的磁盘中,因为经常需要进行随机访问,还有响应客户请求,必然是效率过低。因此,元数据需要存放在内存中。但如果只存在内存中,一旦断电,元数据丢失,整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。这样又会带来新的问题,当在内存中的元数据更新时,如果同时更新FsImage,就会导致效率过低,但如果不更新,就会发生一致性问题,一旦NameNode节点断电,就会产生数原创 2020-12-08 10:32:43 · 1297 阅读 · 0 评论 -
fsimage,edits ,SNN介绍
fsimage:命名空间镜像文件,不及时更新,存储多个NameNode信息。(一个文件一个NameNode)把文件和目录的元数据信息持久化地存储到fsimage文件中,每次启动时从中将元数据加载到内存中构建目录结构树,之后的操作记录在edits log中edits log:编辑日志,实时更新,程序运行过程中对DataNode的操作记录。fsimage和edits log均存储在磁盘,而不是内存上思考:NameNode中的元数据是存储在哪里的?首先,我们做个假设,如果存储在NameNode节点的原创 2020-12-08 10:29:20 · 643 阅读 · 0 评论 -
HDFS的快照snapshot的使用
一,snapshot命令允许这个文件路径可以创建snapshots:hdfs dfsadmin -allowSnapshot <路径>不允许创建目录的快照。必须先删除目录的所有快照,然后再禁止快照。hdfs dfsadmin -disallowSnapshot <路径>创建快照hdfs dfs -createSnapshot <路径> [<快照名称>][root@cm1 ~]# hdfs dfs -createSnapshot /data/m原创 2020-05-15 15:24:57 · 760 阅读 · 0 评论 -
hdfs 创建一个新用户
需要先在linux 上创建一个普通用户: hadoop-cw,并修改密码[root@cm1 ~]# useradd hadoop-cw[root@cm1 ~]# passwd hadoop-cwChanging password for user hadoop-cw.New password:BAD PASSWORD: The password is shorter than 8 charactersRetype new password:passwd: all authentication原创 2020-05-15 14:48:41 · 2660 阅读 · 0 评论 -
hadoop,hbase,hive,spark遇到无权限问题Permission denied: user=root, access=WRITE解决
在hadoop,hbase,hive执行某些命令时,可能遇到以下问题Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x这是因为root用户没有相应权限导致的解决方法有以下几种1.第一种解决方案在hdfs上/user目录下创建root目录,需要在HDFS上有一个用户主目录...原创 2019-12-10 17:09:24 · 1677 阅读 · 0 评论 -
hbase删除标记和注意事项
hbase删除有三种标记Delete标记: 删除特定列列指定的版本DeleteFamily标记: 删除特定列族所有列DeleteColumn标记: 删除特定列的所有版本指定rowkey: 使用DeleteFamily标记不加时间戳表示删除指定rowkey的所有数据加时间戳表示删除指定rowkey中时间戳版本小于或等于指定时间戳的所有数据指定rowkey+columnFamil...原创 2019-12-10 15:53:06 · 1282 阅读 · 0 评论 -
mapreduce的计算原理
第一章 mapreduce的计算原理1.MapReduce介绍MapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算。概念"Map(映射)“和"Reduce(归约)”,是它们的主要思想,都是从函数式编程语言里借来的,还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下,将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map(映射)函数...原创 2019-06-13 21:02:11 · 3073 阅读 · 0 评论 -
HDFS命令操作和高可用
1.HDFS的命令行操作查看所有HDFS的命令[root@node01 ~]# hdfs dfs #也可使用hadoop dfs创建HDFS的文件夹,如果父目录不存在,则创建(-p)/user目录是用户父目录,用户名做子目录,、/user/root代表用户家目录如果使用hdfs shell 缺省hdfs路径的时候,使用该目录[root@node01 ~]# hdfs df...原创 2019-06-13 08:51:49 · 530 阅读 · 0 评论