- 博客(21)
- 收藏
- 关注
RSS订阅原创 spark报错——无法访问WebUI
并且spark启动无报错，shell登入正常，唯独无法访问WebUI，通过日志最后发现，并非无法访问WebUI，而是spark在启动中，无法绑定到端口8080，导致spark绑定到其他端口，所以无法通过8080访问WebUI。同时，无法访问WebUI也有很多原因，如进程启动失败等导致，建议读者通过日志记录查找问题，最后通过搜索引擎解决问题。笔者在安装spark，并配置spark高可用后，发现无法访问spark的WebUI，即无法访问。关于进程启动失败，而无法访问WebUI，请看笔者这篇文章。
2023-04-17 01:21:06
1390
2
原创 hbase报错org.apache.hadoop.hbase.client.RetriesExhaustedException: Cannot get the location for replica
本次异常是在执行读取hdfs中的数据导入到hbase表中所报的错误，笔者初步判断为没有在代码中指定zookeeper访问地址所导致的问题。这里笔者提供相关的代码文章，供读者参照。hbase基础(四)——MapReduce操作。
2023-04-16 04:01:02
2194
原创 hbase基础(四)——MapReduce操作
本篇文章主要分享，编写简单的hbase与mapreduce集合的案例，即从hdfs中读取数据导入到hbase表里，读取hbase表中的指定数据，导入到另外一张表中。
2023-04-16 03:45:52
2066
原创 hadoop报错——Exception in thread “main“ ExitCodeException exitCode=1: chmod: 无法访问没有那个文件或目录
笔者在新装的Hadoop集群中进行简单的API测试的时候，IDEA出现了一个异常，无法访问文件路径，没有那个文件或目录。在此之前，笔者做HDFS数据导入Hbase的时候，也同样出现了该异常，该异常可以简单的认为权限问题，但是引发该异常的问题却是大不相同的。
2023-04-15 02:58:06
1489
原创 hadoop报错——ResourceManager无法启动
本次的遇到的问题为启动Hadoop集群后，jps查看进程中，ResourceManage节点没有启动，导致无法访问http://localhost:8088，通过查看ResourceManage的启动日志，日志中给出的错误为，笔者初步判断为yarn-site.xml文件未填写Zookeeper的端口，以及设置开启自动恢复和故障自动转移。
2023-04-14 18:05:19
2778
原创 基于Hadoop生态的相关框架与组件的搭建
本篇文章，着重与Hadoop生态的相关框架与组件的搭建，以及不同框架或组件之间的依赖配置，使读者能够熟悉与掌握Hadoop集群的搭建，对于Hadoop生态有一定的认识。本次搭建三台虚拟机为hadoop01.bgd01、hadoop02.bgd01、hadoop03.bgd01，hadoop01.bgd01为主节点，其中所需的素材，笔者已放入网盘中，有需要的的可自行下载。关于虚拟机的搭建，可参考笔者之前的系列文章，这里只对虚拟机的一些配置进行描述。
2023-04-09 22:05:46
2636
2
原创 Hbase基础(二)——Hbase Shell
本篇文章主要讲述Hbase Shell的基本操作，如通用操作、DDL操作、DML操作，使读者能够对于Hbase Shell有基本的认识。
2023-04-07 00:34:11
481
原创 Hbase基础(一)——安装与使用
Hbase是一个分布式的、面向列的开源数据库，有区别于传统的行式数据库(如Mysql等)，与Hive数据仓库相比，更适合实时存储数据场景，但是与传统的列式数据库相比，更适合键值对的数据存取或者有序的数据存取。Hbase的版本有很多，读者在下载Hbase的压缩包之前，先去Hbase官网查看不同版本的hadoop对哪些版本的Hbase支持。本系列文章是基于hadoop集群搭建后的入门学习，关于hadoop集群搭建，请自行查看笔者发布的hadoop系列文章。
2023-04-04 19:47:56
4428
原创 hive报错-ls: 无法访问/export/servers/spark/lib/spark-assembly-*.jar: 没有那个文件或目录Exception in thread “main“
ls: 无法访问/export/servers/spark/lib/spark-assembly-*.jar: 没有那个文件或目录Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hive/ql/CommandNeedRetryException at java.lang.Class.forName0(Native Method) at java.lang.Class.forName(Class.j
2023-04-03 21:43:27
619
原创 大数据技术之Hadoop(十)——Sqoop数据迁移
Sqoop 是 Apache 旗下的一款开源工具，该项目开始于2009年，最早是作为 Hadoop 的一个第三方模块存在，后来为了让使用者能够快速部署，也为了让开发人员能够更快速迭代开发，在2013年，独立成为 Apache 的一个顶级开源项目。Sqoop 主要用于在 Hadoop 和关系数据库或大型机器之间传输数据，可以使用 Sqoop 工具将数据从关系数据库管理系统导入到 Hadoop 分布式文件系统中，或者将 Hadoop 中的数据转换导出到关系数据库管理系统。
2023-01-21 00:10:42
1631
原创 大数据技术之Hadoop学习(九)——Azkban工作流管理器
Azkaban 是 LinkedIn 公司创建的批处理工作流作业调度程序，用于运行Hadoop作业。Azkaban 通过作业依赖性解决业务调度顺序，并提供易于使用的 UI 来维护和跟踪工作流程，其主要特点如下。(1)兼容任何版本的 Hadoop；(2) 易于使用的 Web UI；(3)简单的Web和 HTTP工作流上传；(4)支持工作流定时调度；(5)支持模块化和可插人；(6)支持身份验证和授权；(7)支持用户操作跟踪；(8)提供有关失败和成功的电子邮件提醒；
2023-01-19 23:50:32
1873
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人