hadoop
文章平均质量分 66
栗子呀!
这个作者很懒,什么都没留下…
展开
-
开启Hadoop/Yarn的日志监控功能,配置Spark历史服务,解决web端查看日志时的Java.lang.Exception:Unknown container问题
解放方法下来查询官方文档后,才了解到yarn的日志监控功能默认是处于关闭状态的,需要我们进行开启,开启步骤如下:Ps:下面配置的文件的位置在hadoop根目录 etc/haddop文件夹下,比较老版本的Hadoop是在hadoop根目录下的conf文件夹中本文hadoop配置环境目录:/usr/local/src/hadoop-2.6.5/etc/hadoop一、在yarn-site.xml文件中添加日志监控支持<property> <name>yarn.log原创 2021-01-05 21:49:19 · 527 阅读 · 0 评论 -
完解决MySQL57版登录报ERROR 1045 (28000): Access denied for user ‘root‘@‘localhost‘ (using password: YES)的问题
使用mysql -uroot -p,然后输入密码登录mysql时,出现了如下错误:ERROR 1045 (28000): Access denied for user ‘root’@‘localhost’ (using password: YES)解决办法:使用root用户,重置密码1.重置密码的第一步就是跳过MySQL的密码认证过程,方法如下:进入/etc/my.cnf在[mysqld]后面任意一行添加“skip-grant-tables”用来跳过密码验证的过程,如下图所示:重启mysql:原创 2020-12-14 14:51:07 · 705 阅读 · 0 评论 -
HDFS2.0原理
HDFS 2.0 新特性(1)NameNode HA(2)NameNode Federation(3)HDFS 快照(4)HDFS 缓存(5)HDFS ACLhdfs2.01、2.0中NameNode HA主要解决单点故障问题(使用两个namenode,一个active NameNode 一个是standby NameNode)2、因为有两个NameNode 所以数据一致性如何保证?(1)共享网络文件系统(类似文件名->block数据块之间的映射关系(mapping关系))(2)D原创 2020-12-08 16:35:53 · 311 阅读 · 0 评论 -
HDFS Shell API(常用)
HDFS常用命令1、查看帮助文档[root@master Desktop]# hadoop fs2、查看所有目录及其文件#查看hdfs根目录下所有文件[root@master ~]# hadoop fs -ls /Found 2 itemsdrwxr-xr-x - root supergroup 0 2020-12-05 23:05 /testdrwxr-xr-x - root supergroup 0 2020-12-07 03:46 /t原创 2020-12-07 20:38:14 · 187 阅读 · 0 评论 -
初始HDFS1.0
hdfs:存储海量数据mapreduce:针对海量数据进行处理hdfs1.01、hdfs本身是一个master slave 架构2、hdfs是一个分布式存储的系统架构,是一个集群(多个节点/服务器)3、namenode 主 datanode 从4、namenode是个进程,存在于某个节点上(主节点)上,本身也维护这一块内存。内存中存储着两份重要的数据:(1)文件名->block数据块之间的映射关系(mapping) 针对数据块简单理解为就是一个标识。(2)block->da原创 2020-12-07 19:33:40 · 197 阅读 · 1 评论 -
Hbase对应的Hadoop兼容版本
查看各个对应稳定版本2. hbase官方下载地址:: http://archive.apache.org/dist/hbase/.原创 2020-10-11 19:50:48 · 430 阅读 · 0 评论