![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
Hadoop的相关知识
Summer龙
这个作者很懒,什么都没留下…
展开
-
hadoop常用的脚本
(1)jpsall 该脚本是用来显示集群的所有java进程状态#!/bin/bash#该脚本是用来显示集群的所有java进程状态list="master node1 node2"# 注意替换你自己的节点名称!!!!!!!!!echo "显示集群的所有java进程状态"for node in $listdo echo "##### "$node"jps #####" ssh $node $JAVA_HOME'/bin/jps' doneecho "#####执行结束####原创 2021-07-27 21:08:40 · 1107 阅读 · 2 评论 -
无法进入hadoopwebUI界面 解决方案,centos7永久关闭防火墙
出现在进入hadoopwebUI界面时出现 无法访问此网站192.168.10.xx 的响应时间过长。检查Hadoop集群是否正常启动,通过jps命令来测试如果hadoop集群正常启动了,检查在 windows 下面的 hosts文件 中ip 与虚拟机的映射配置了没有。都配置了话还不行的,检查虚拟机的防火墙是否关闭!...原创 2021-06-17 15:56:22 · 755 阅读 · 1 评论 -
在启动hadoop时发现有的节点启动了,有的没有启动时解决方案
检查 works 的文件是否正确在执行hadoop namenode -format 时,是否每个机器都出现了,data目录,如果没有,请仔细检查配置文件,将所有的机器data,和logs删除即可要是hdfs中有数据就不能删,有数据但是数据不重要,就请忽略。...原创 2021-06-17 15:47:13 · 355 阅读 · 0 评论 -
Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password). Starting datanodes错误解决
当出现这样的错误时 : Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).Starting datanodes因为你在进行配置免密登录时忘记了执行:cd ~/.sshcat id_rsa.pub >> authorized_keys引起了不必要的错误。...原创 2021-06-17 15:35:55 · 1494 阅读 · 0 评论 -
hadoop-3.2.2 启动HDFS时报错ERROR: Attempting to operate on hdfs namenode as root的解决方法
当我们在启动集群的时候出现了这种错误我们只需要在linux的环境变量中 增加用户权限即可有两种添加方法:方法一:在/hadoop/sbin路径下:将start-dfs.sh,stop-dfs.sh两个文件顶部添加以下参数#!/usr/bin/env bashHDFS_DATANODE_USER=rootHADOOP_SECURE_DN_USER=hdfsHDFS_NAMENODE_USER=rootHDFS_SECONDARYNAMENODE_USER=root还有,start-原创 2021-06-17 15:33:07 · 632 阅读 · 0 评论 -
Hadoop的概念
一、概念1、Hadoop是什么Hadoop是由一个Apache基金会所开发的分布式基础架构,Hadoop是一个生态圈2、主要解决的问题 1、海量数据的存储 2、海量数据的分析计算3、Hadoop是一个生态圈2、Hadoop的发展历史1、Hadoop的创始人:Doug Cutting2、创始人想要实现类似Google类似的全文搜索功能,在Lucene框架上优化3、Google的三篇论文 GFS----> HDFS Map-Reduce --->MR BigTable原创 2021-06-16 23:41:32 · 984 阅读 · 3 评论