Hadoop
我在北国不背锅
致力于AI大模型、Java、大数据、运维及各类计算机技术为一体的知识架构
展开
-
Hadoop/Yarn REST API未授权访问漏洞
一、基本情况漏洞分布:所有版本漏洞级别:高危漏洞类别:未授权漏洞漏洞URL:http://25.215.209.1:19888/http://25.215.209.1:50070/ http://25.215.209.1:50090/http://25.215.209.1:50075/ http://25.215.209.1:8088/cluster二、漏洞描述Hadoop是一个由Apache基金会所开发的分布式系统基础架构,由于服务器直接在开放了 Hadoop 机器 HDFS 的原创 2021-09-27 10:44:35 · 4439 阅读 · 0 评论 -
Hadoop&Yarn设置Fair Scheduler公平调度器
1、首先关闭yarn,执行 stop-yarn.sh2、开启fair机制:在yarn-site.xml中配置:<property> <name>yarn.resourcemanager.scheduler.class</name> <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value></prope原创 2021-09-06 18:12:54 · 825 阅读 · 0 评论 -
Hadoop-3.2.0集群部署&Spark on yarn设置
集群环境准备1、关闭防火墙关闭防火墙systemctl stop firewalld.service查看防火墙状态firewall-cmd --state禁止firewall开机启动systemctl disable firewalld.service2、关闭selinuxvim /etc/selinux/configSELINUX修改为disabled3、更改主机名hostnamectl set-hostname cdh01参考:https://blog.51cto..原创 2021-09-02 16:51:47 · 2729 阅读 · 0 评论 -
Hadoop启动报错:Attempting to operate on hdfs namenode as root
报错信息如下:解决方法:(1)start-dfs.sh和stop-dfs.sh添加:HDFS_DATANODE_USER=rootHADOOP_SECURE_DN_USER=hdfsHDFS_NAMENODE_USER=rootHDFS_SECONDARYNAMENODE_USER=root(2)start-yarn.sh和stop-yarn.sh 添加:YARN_RESOURCEMANAGER_USER=rootHADOOP_SECURE_DN_USER=yarnYARN_NODE原创 2021-09-02 15:44:54 · 1138 阅读 · 0 评论 -
Yarn:Failed redirect for container_XXXX_XXXX_XX_000001
问题描述:Hadoop集群正常启动状态,MR程序或者Spark程序执行成功,查看历史日志记录出现以下问题:Failed redirect for container_1400260444475_3309_01_000001Failed while trying to construct the redirect url to the log server. Log Server url may not be configured Unknown container. Container ei原创 2021-05-25 14:41:29 · 1178 阅读 · 0 评论 -
Java代码监控Yarn页面(包括各个Job的信息)
QueueMetricspublic class QueueMetrics { private String modelerType; private String Queue; private String Hostname; private Integer AppsSubmitted; private Integer AppsRunning; ...原创 2020-04-15 10:55:07 · 3815 阅读 · 1 评论 -
Java代码监控Hadoop集群(支持HA集群)
HDFS相关监控指标public class HdfsSummary { //"name": "Hadoop:service=NameNode,name=NameNodeInfo" //总空间大小 GB private double total; //hdfs已使用的空间大小 GB private double dfsUsed; //hdfs...原创 2020-04-15 10:25:56 · 2403 阅读 · 11 评论 -
MySQL推出Applier,可实时复制数据到Hadoop
MySQL复制操作可以将数据从一个MySQL服务器(主)复制到其他的一个或多个MySQL服务器(从)。试想一下,如果从服务器不再局限为一个MySQL服务器,而是其他任何数据库服务器或平台,并且复制事件要求实时进行,是否可以实现呢?MySQL团队最新推出的 MySQL Applier for Hadoop(以下简称Hadoop Applier)旨在解决这一问题。用途例如,复制事件中的从服务器...转载 2019-11-13 18:02:53 · 2208 阅读 · 0 评论 -
关于Hadoop(Spark、HBase)集群关闭不了的问题
有时候,我们对运行几天或者几个月的hadoop或者spark集群做停止操作,会发现,停止命令不管用了,为什么呢?因为基于java开发的程序,想要停止程序,必须通过进程pid来确定,而hadoop和hbase默认的情况下,会把pid文件存储在Linux上的/tmp目录的某个目录下,进程名命令规则一般是 框架名-用户名-角色名.pid,而默认情况下,linux的tmp里面的东西,一天会删除一次,所...原创 2019-11-04 11:52:31 · 4689 阅读 · 0 评论 -
使用MapReduce传输HBASE与MySQL数据
使用Mapreduce处理hbase的数据,并将数据存储到MySQL中1、首先先定义一个类,这里面的字段要和你的mysql数据库中的表的字段相对应package com.hbase2mysql;import org.apache.hadoop.io.Writable;import org.apache.hadoop.io.WritableComparable;import org.ap...原创 2019-10-17 14:49:29 · 4143 阅读 · 0 评论 -
hadoop 8088UI无法查看log日志及Tracking UI(URL)输出信息
运行spark on yarn时,Hadoop 8088UI界面上所有可以点击的链接均无法打开:可能存在的几种情况:第一:配置存在问题。第二:jobhistory没有启动。第三:本机的host文件没有配置别名。如果是配置存在问题,请参考如下配置:core-site.xml文件<configuration> <!-- hadoop默认访问nameNode元数据...原创 2019-09-26 17:58:36 · 5834 阅读 · 5 评论