记录学习过程所解决的小问题

最近更新2020/8/25

一、大数据相关

1.1 datanode灵异事件

1. 背景介绍

Hadoop集群群起时，namenode正常启动，但是部分节点的datanode无法全部启动，如：slave01的datanode启动了，slave02的datanode立刻下线，即使单独启动datanode也无法解决。

2. 解决方案

先说一下我的集群是怎么搭建。一开始我是按照完全分布式的配置文件搭建的伪分布式，就是格式化了namenode，使用了一段时间后，以这台虚拟机为基础克隆了三台虚拟机并且修改了一些配置（ip，hosts，hostname，ssh）后直接群起。
那这个问题是怎么产生的呢？因为我直接克隆的导致三台节点上的datanode的Cluster ID是一样的导致无法全部启动。
如何解决？
方法一：直接完全分布式安装，所有配置弄好再格式化namenode
方式二：基于伪分布式安装完全分布式，先删除data和logs文件夹，再克隆。
其实原因和“为什么namenode只能格式化一次”差不多，因为格式化namenode时会重新生成namenode的Cluster ID并且datanode会保存一份，不然怎么通讯呢，这个时候你有格式化一次产生了一个新的namenode的Cluster ID不就出问题了吗？

1.2 VMware虚拟机开机黑屏

1.背景介绍

虚拟机启动黑屏，无法关闭显示虚拟机繁忙

2.解决方案

任务管理器结束VMware后去虚拟机的安装目录中删除所有带.lck后缀的文件，重启电脑后即可

1.3 Hadoop 3.2.1运行MR异常

1.背景介绍

当把MR运行到Yarn时报org.apache.hadoop.mapreduce.v2.app.MRAppMaster找不到或无法加载主类

hdfs classpath

获取hdfs的环境变量，将其复制下来配置到yarn-site.xml中

<property>
	<name>yarn.application.classpath</name>
	<value> <!-- classpath --> </value>
</property>

1.4 Hadoop 3.2.1 不要使用jdk11

二、MySQL相关

2.1 mysql 8.0的时区问题

1. 背景介绍

Navicat或者DataGrips连接不上

2. 解决方案

大致可以有三个放方法

1. cmd下登录mysql输入set global time_zone = '+8:00';
2. DataGrips或者IDEA之类的可以修改URL templates
   
   在后面加上\?serverTimezone=GMT%2B8
3. 还是在这里修改一个配置即可，有点考验视力
   

三、IDEA相关

3.1 IDEA2020.1 Maven找不到包

1. 背景介绍

大致意思就是通过自己的Maven下载的jar包，能追源码，但运行的时候却报错

2. 解决方案

网上提供了一些解决方案，但是很考验百度的能力，一般搜索都不咋能找到，方法就是使用IDEA自带的Maven，一切默认，但我既然下载了Maven就表示我做了很多东西（最重要的就是换镜像），有没有一种方法既可以使用自己的Maven也能正常使用呢？有滴，在项目根目录（pom所在的目录）进入cmd输入mvn idea:idea就可以用了（我遇到过一次输入完继续报无法加载主类，那就把生成的三个文件删了，再运行一遍应该就可以了）