- 博客(11)
- 收藏
- 关注
RSS订阅
1原创 hive启动时报错NoClassDefFoundError: org/apache/hadoop/hive/ql/CommandNeedRetryException
今天忙了一整天找报错，靠！我master节点能正常打开，用其他节点去访问master节点的hive服务器，bin/beeline 就一直报错，也找不到跟我类似的报错在master节点上面运行hive没问题开启服务器，客户端都正常，然后将这些文件复制过去的，运行就报错，这上面没什么更改的啊！又加上是复制过来的没有打错字这一说，为什么master能运行呢？在hive启动时报错bin/hiveException in thread “main” java.lang.NoClassDefFoundE
2022-04-15 16:04:57
2407
原创 zookeeper的安装使用
zookeeper的安装使用zookeeper1半数机制：半数以上的集群存活集群可用2选举机制：没有指定master和slave是通过选举临时出来的c/s 客户端/服务器节点类型持久型 c与s断开连接后，创建的节点不删除1持久化目录节点 节点不删除2持久化顺序编号目录节点 断开连接后给节点名称进行顺序编号短暂型 c与s断开连接后，创建的节点自己删除1临时目录节点 节点删除2临时顺序编号节点 记录操作顺序写数据流程c向s发送写请求 server不是leader就会把请求转发给le
2022-03-23 09:57:35
199
原创 Job job_local1138799368_0001 failed with state FAILED due to: NA报错我的解决过程
eclipse运行mr报错前几天运行mapreduce包了错，搞了好久都没明白是怎么回事，去找解决方法，说Job job_local1138799368_0001 failed with state FAILED due to: NA报错是权限问题要给root权限，试了不行，还有说代码错误，输入输出的数据类型与前面的不一致，还有说这个输入文档有空格要删除掉，通通都不适合我这里的报错。哎满失落的找不到解决方法解决不了，难受。既然找不到哪就自己解决，又看不懂报错信息，哎~先看了一遍这个报错查了下是数据越
2022-02-21 13:13:01
3001
原创 java打包jar,（集群中）运行mr进行wordcount的过程以及报错，以及历史服务器安装
java打包jar,运行mr进行wordcount的过程以及报错在java中将写好的mapper，reducer，以及dirver打包放到集群上运行在集群中运行可以将数据存放到hdfs中方便管理提前配置——>编写好内容——>运行中一些报错的解决使用的eclipse创建的maven项目中编写的mapperpackage com.bob.mr;import java.io.IOException;import org.apache.hadoop.io.IntWritable;impo
2022-02-18 09:41:21
1302
原创 winutils.exe文件下载地址不要钱的以及java中使用mapreuduce报错NativeIO$Windows.access0(Ljava/lang/String；I)Z
解决org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z在java中使用mapreuduce的时候报错org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z先需要在你的java项目中新建一个名为org.apache.hadoop.io.nativeio的包将NativeIO.java放进去我是真的服了找
2022-02-17 11:07:40
3697
原创 linux中安装mysql，navicat连接mysql以及mysql字符集问题
linux中安装mysql，navicat连接mysql以及mysql字符集问题由于要进行一些数据处理，需要在centos7上安装mysql，navicat连接mysql 我遇到的报错信息以及解决方法在这里安装的是mysql-5.7用到的工具虚拟机centos7xshellxftpmysql-5.7.24-linux-glibc2.12-x86_64.tar.gznavicat(安装在windows上的用来连接linux中的mysql)首先将xshell连接虚拟机在/opt/下创建 sof
2022-02-11 14:29:33
1297
原创 hadoop集群启动时活动节点只启动了一个
hadoop集群启动时活动节点只启动了一个今天早上启动集群的时候发现自己的集群有一个节点的datanode启动不起来，想到昨天都能启动，怎么突然就启动不起来了，看了很多这个博客都是说这个防火墙没有关闭，跑去查看这个防火墙，是关闭状态啊，又去格式化namenode发现都不行，回去翻看配置文件才发现这个core-site.xml文件的配置不见了，是克隆的前一台虚拟机，前面都有配置后面不知道为什么突然就没了，配置完成后启动hdfs查看这个web页面发现只有一个活动节点（这个节点时不时还会变化），看这些进程已经启
2022-02-10 11:21:16
3587
原创 在hdfs的web页面中下载到windows不成功
在hdfs的web页面中下载到windows不成功本人在学习的时候跟着操作一模一样，反复看了无数遍都没有不一样的地方，但就是下载不了一点就变成无法访问，在web页面中想要将上传的文件下载下来找了很多文章发现在windows中没有这个虚拟主机名和ip的映射就解析不出来我在这里使用的火绒修改也可以在c:\windows\system32\drivers\etc\hosts中修改在文件的末尾添加上ip与主机地址保存然后就可以下载了...
2022-02-08 11:54:27
2005
原创 hadoop大数据contos7集群安装基础过程
hadoop大数据contos7集群安装基础过程本人是一个数据新手，看了许多这个安装集群的文章但是都是直接讲成功后的例子不太详细介绍，对于新手极不友好，照着上面做报错了就一直卡在那个位置，这是我安装centos7的步骤和一些报错点以及解决方法可能不是很详细，希望对各位有所帮助！！有问题的话可以评论看看学习学习准备工作安装（下载）：vmware虚拟机xmanager（xshell，xftp）这里面包括xshell和xftpxshell是后面用来连接虚拟机操作的，不好直接在虚拟机上面进行集群操作xf
2022-02-08 11:28:30
1583
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人