- 博客(12)
- 收藏
- 关注
RSS订阅原创 hbase Linux安装
hbase依赖hadoop的hdfs和zookeeper使用hbase之前要装上这两个hbase安装版本hbase-2.4.4-bin.tar.gz将上传到/opt/software/hbase-2.4.4-bin.tar.gz解压tar -zxvf hbase-2.4.4-bin.tar.gz -C /opt/module解压后的目录hbase的conf目录下的hbase-site.xml中添加的配置信息<!--rootdir要改为自己的--><property>
2021-06-25 17:23:32
294
原创 运行Wordcount时候报错： 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster
问题描述:找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster原因：yarn-site.xml与mapred-site.xml文件中未配置yarn.spplication.classpath解决方案：1.先在hadoop3.2.2目录下运行hadoop classpath找到内容复制2.在etc/hadoop目录下yarn-site.xml与mapred-site.xml文件中添加以下配置<property> &
2021-06-23 15:22:01
1298
2
原创 hadoop集群关闭时候namenode进程不能正常结束
每次sbin/stop-dfs.sh的时候namenode进程都不会自己结束，困惑！！！原因：未配置hadoop相关进程的pid目录时候，pid都是保存在tmp文件夹中，我在最初曾多次格式化hdfs，导致namenode和DataNode的ID不一致，我选择了重新配置pid文件夹位置，因为tmp文件夹会被定期清理解决方案：hadoop3.2.2文件夹下新建一个pids目录，在etc/hadoop/hadoop-env.sh文件中配置如下部分export HADOOP_SECURE_PID_DIR=/o
2021-06-23 15:19:07
689
原创 hadoop启动时报错`hadoop104: Permission denied
遇到问题在启动yarn时候报错hadoop104: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password)原因：在配置ssh免密登陆时候没有配置好解决方案：在.ssh隐藏文件中重新执行以下命令ssh-copy-id hadoop102ssh-copy-id hadoop103ssh-copy-id hadoop104注意机器名是你的机器的IP，我是配置过host文件能写hadoop102,103,104，把这处
2021-06-23 10:34:17
1512
原创 卸载Linux系统自带JDK
有的系统在安装jdk之前自带有jdk卸载过程如下图所示用到的命令rpm -qa|grep -i javasu rootrpm -qa|grep -i java| xargs -n1 rpm -e --nodeps
2021-06-22 11:37:16
1155
原创 hadoop报错java.lang.NoSuchMethodError
记录一次hadoop报错：Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.mapreduce.Job.getArchiveSharedCacheUploadPolicies(Lorg/apache/hadoop/conf/Configuration;)Ljava/util/Map; at org.apache.hadoop.mapreduce.v2.util.MRApps.setupDistributed
2021-06-19 10:59:59
1210
原创 org.apache.hadoop.io.nativeio.NativeIO$POSIX.stat(Ljava/lang/String；)Lorg/apache/hadoop/io/nativeio/
Hadoop启动时候报错Exception in thread “main” java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIOPOSIX.stat(Ljava/lang/String;)Lorg/apache/hadoop/io/nativeio/NativeIOPOSIX.stat(Ljava/lang/String;)Lorg/apache/hadoop/io/nativeio/NativeIOPOSIX.st
2021-06-15 10:03:17
1117
原创 Hadoop：第一个WordCount程序
第一个WordCount程序1.新建一个空maven工程2.pom.xml中引入以下依赖 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>3.2.2</version> </dependency>
2021-06-05 15:31:30
94
原创 （Hadoop）HADOOP_HOME and hadoop.home.dir are unset.
（Hadoop）HADOOP_HOME and hadoop.home.dir are unset.一：问题的出现问题描述：在Windows上编写第一个WordCount程序运行时出现此错误解决方案：需要在Windows本地搭建Hadoop环境，解决过程如下。二：解决过程1.去hadoop官网下载hadoop，镜像下载链接是https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/也可下载我的使用（3.2.1版本）：链接: https:
2021-06-05 15:13:27
3698
3
原创 Linux上卸载JDK
卸载jdk先输入java -version查看是否安装了JDK查看jdk安装的路径which java卸载命令rm -rf JDK地址，比如小编的是rm -rf /usr/java/jdk1.8.0_181/进去/usr/java目录查看一下，ls是显示目录下文件，发现确实什么都没有了接下来删除环境变量，装的时候环境变量都是在/etc/profile下面的进入profile，把以下环境变量全给删除vim编辑器汇总，i进入insert模式，然后此环境下可编辑内容，删除之后
2021-06-05 11:07:17
14548
2
原创 Linux上安装jdk（图文教程，适合小白入门）
Linux上安装jdk这是我使用的jdk1.8版本，可以拿去链接: https://pan.baidu.com/s/11YHpbum9xJwUfNSSI6rk6A 提取码: 38j9 复制这段内容后打开百度网盘手机App，操作更方便哦也可去官网上下载，链接给你了，呐https://www.oracle.com/technetwork/java/javase/在usr目录下新建一个Java文件夹[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传使用Xftp软件上传jdk
2021-06-05 11:01:33
263
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人