HDFS
文章平均质量分 59
@TangXin
路漫漫其修远兮,吾将上下而求索。
展开
-
Kerberos环境下HDFS数据迁移
文章目录1.Kerberos互信2.Distcp迁移1.Kerberos互信参考:Ambari2.7.3+HDP3.1.0配置Kerberos互信2.Distcp迁移前提条件:迁移数据时的用户,需要在clusterA和clusterB集群都有对应的权限。hadoop distcp \-Dmapreduce.job.hdfs-servers.token-renewal.exclude=clusterA \ # 失败IP或者修改为hostname-Dmapred.job.queue.name=de原创 2021-07-14 10:07:50 · 1550 阅读 · 0 评论 -
HDFS的读写流程
文章目录1.HDFS的写数据流程2.HDFS的读数据流程1.HDFS的写数据流程客户端通过 Distributed FileSystem 模块向 NameNode 请求上传文件,NameNode检查用户是否有操作权限,目标文件是否已存在,父目录是否存在;NameNode 返回是否可以上传;客户端请求第一个 Block 上传到哪几个 DataNode 服务器上;NameNode 返回 3 个 DataNode 节点,分别为 dn1,dn2,dn3;客户端通过 FSDataOutputStrea原创 2021-04-19 16:05:36 · 131 阅读 · 0 评论 -
配置HDFS Web UI登录静态用户
1.问题在hdfs的UI页面进行操作时,遇到用户权限问题,但是此时用户为:dr.who;不知如何授权??(Ranger中无法找到该用户进行授权)2.解决通过修改 HDFS配置文件,更改 Web UI访问时的默认用户,从而确定具体用户,进行可以通过Ranager进行授权访问;vim core-site.xml<!-- 配置 HDFS 网页登录使用的静态用户为 hdfs --><property> <name>hadoop.http.staticus原创 2021-04-16 17:22:22 · 2506 阅读 · 0 评论 -
Kerberos Spark读取HDFS的文件报错:Can‘t get Master Kerberos principal for use as renewer
问题:集群开启Kerberos安全认证,IDEA中编写Scala代码,使用Spark读取HDFS中的文件,报错:Can’t get Master Kerberos principal for use as renewer具体报错如下:Exception in thread "main" java.io.IOException: Can't get Master Kerberos principal for use as renewer at org.apache.hadoop.mapreduce.s原创 2021-03-30 10:42:47 · 4102 阅读 · 3 评论 -
报错:The current failed datanode replacement policy is DEFAULT
文章目录1.问题2.原因3.解决办法1.问题20/08/19 11:20:26 ERROR AsyncEventQueue: Listener EventLoggingListener threw an exceptionjava.io.IOException: Failed to replace a bad datanode on the existing pipeline due to no more good datanodes being available to try. (Nodes: c原创 2020-08-19 11:32:30 · 1489 阅读 · 0 评论 -
Prometheus+JMX+Grafana监控HDP-Hadoop
文章目录0.监控流程1.Ambari+HDP集群搭建1.1 大数据平台搭建1.2 JMX_exporter2.配置namenode、datanode的配置文件2.1 namenode.yaml2.2 datanode.yaml2.3 修改所属组3.修改hadoop相关参数3.1 10.180.210.232节点 namenode、datanode3.2 10.180.210.235、10.180.210.243节点 datanode3.3 /etc/hadoop/3.1.0.0-78/0/hadoop-en原创 2020-07-31 11:21:48 · 3505 阅读 · 5 评论 -
Kubernetes集群搭建Hadoop集群
文章目录0.环境搭建1.搭建Hadoop集群1.1 创建1.2 查看pod1.3 访问HDFS页面1.4 访问Yarn页面0.环境搭建Kubernetes集群搭建参考:离线搭建Kubernetes-v1.17.4集群及kube-prometheus监控1.搭建Hadoop集群使用Replication Controller方式搭建apiVersion: v1kind: ConfigMapmetadata: name: kube-hadoop-conf namespace: defaul原创 2020-05-11 20:05:39 · 1794 阅读 · 1 评论 -
Sqoop数据迁移(Import、Export)学习
文章目录1.概述2.启动3.导入【Import】3.1 测试Sqoop与MySQL之间的连通性3.2 将MySQL数据表导入HDFS指定目录3.3 将MySQL数据表导入Hive3.4 导入表数据子集3.5 选择导入【增量导入 --query】3.6 增量导入4.导出【Export】4.1 将HDFS目录数据导出到MySQL4.2 将hive的表数据(hdfs的文件)导出到mysql1.概述...原创 2020-03-16 18:24:11 · 515 阅读 · 0 评论 -
HDFS常用命令
命令描述-help输出这个命令参数手册-ls显示目录信息,示例:hadoop fs -ls hdfs://hadoop-server:9000/user 备注:这些参数中,所有的hdfs路径都可以简写为:hadoop fs -ls /user 等同于上一条命令的效果-mkdir在hdfs上创建目录,示例:hadoop fs -mkdir -p /aaa/bb...原创 2019-12-04 10:24:22 · 216 阅读 · 0 评论 -
Hadoop3.1.1结合Ranger1.1.0、Ranger-KMS1.1.0创建加密区存储
文章目录HDFS加密AES加密算法(对称加密)RangerKMS管理HDFS“静态数据”加密HDFS加密概述配置和使用HDFS“静态数据”加密准备环境创建加密密钥创建加密区域上传、下载、读取加密区中文件HDFS加密静态加密的HDFS数据实现了对HDFS读取和写入数据的端到端加密。端到端加密意味着数据仅由客户端加密和解密。其中的加/解密过程对于客户端来说是完全透明的。数据在客户端读操作的时候被解...原创 2019-08-26 19:34:45 · 2028 阅读 · 7 评论 -
hadoop jps出现process information unavailable解决办法
问题:执行jps命令时提示,‘process information unavailable’[root@master ~]# jps19124 -- process information unavailable20164 -- process information unavailable1654 Jps20374 -- process information unavailable...原创 2019-05-13 11:12:16 · 1039 阅读 · 0 评论 -
CentOS7部署HDFS-YARN-MapReducer
文章目录1. 安装HDFS集群的具体步骤1.1 集群节点规划1.2 搭建hdp-01虚拟机1.3 搭建HDFS集群1.4 克隆虚拟机hdp-011.5 在hdp-01节点启动namenode进程1. 安装HDFS集群的具体步骤1.1 集群节点规划组件描述操作系统CentOS-7-x86_64-DVD-1810.isoHadoophadoop-3.1.1.tar....原创 2019-04-09 11:00:45 · 683 阅读 · 0 评论 -
HDFS运行机制-工作原理-Hadoop3.1.1集群搭建
文章目录1. hdfs整体运行机制2. 安装HDFS集群的具体步骤2.1 集群节点规划2.2 搭建hdp-01虚拟机2.3 hdp-01虚拟机修改配置文件2.4 克隆虚拟机hdp-012.5 在hdp-01节点启动namenode进程1. hdfs整体运行机制hdfs:分布式文件系统hdfs有着文件系统共同的特征:有目录结构,顶层目录是:/系统中存放的就是文件系统可以提供对文件的:...原创 2019-02-01 16:54:55 · 547 阅读 · 0 评论 -
问题: java.lang.NoClassDefFoundError:org/apache/hadoop/mapred/InputSplitWithLocationInfo
问题描述:Exception in thread “dag-scheduler-event-loop” java.lang.NoClassDefFoundError: org/apache/hadoop/mapred/InputSplitWithLocationInfo缺少jar包在pom.xml文件中添加以下内容&lt;dependency&gt; &lt;groupId&gt;or...原创 2018-12-26 10:22:51 · 3150 阅读 · 1 评论 -
Win10 java代码操作HDFS文件系统:log4j:WARN No appenders could be found for logger
解决办法:在main方法中添加一行BasicConfigurator.configure(); //自动快速地使用缺省Log4j环境。搞定原创 2018-12-18 09:25:44 · 449 阅读 · 0 评论 -
Win10本地java代码Hadoop操作HDFS文件报错
解决Wrong FS: hdfs://10.166.16.141:8020/user/tgm, expected: file:///添加conf配置Configuration conf = new Configuration();conf.set(&quot;mapred.jop.tracker&quot;, &quot;hdfs://192.168.1.37:8020&quot;);conf.set(&quot;f原创 2018-12-17 20:03:02 · 496 阅读 · 0 评论 -
Linux本地上传文件到HDFS文件系统
上传切换用户su hdfs查看hdfs文件系统目录文件hdfs dfs -ls /user/tgm上传文件hdfs dfs -put 本地文件目录 HDFS文件目录删除文件hdfs dfs -rm -r HDFS文件路径...原创 2018-12-17 11:22:05 · 8961 阅读 · 2 评论 -
HDFS页面下载数据文件报错解决
从HDFS页面下载文件时,报错点击Download之后,地址解析错误问题解决将Linux服务器上的 /etc/hosts文件中的集群信息,添加到本地hosts文件中C:\Windows\System32\drivers\etc\hosts重新在HDFS页面上下载数据下载完成。。...原创 2018-12-06 16:22:38 · 4853 阅读 · 10 评论