大数据读hdfs文件笔记

最新推荐文章于 2024-08-17 14:22:19 发布
最新推荐文章于 2024-08-17 14:22:19 发布
阅读量2.4k 收藏
点赞数 1
分类专栏： 大数据 文章标签： 大数据 hdfs hadoop exception
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weijie0917/article/details/52440816
版权

报错：

Exception in thread "main" java.lang.NoClassDefFoundError: Could not initialize class org.apache.hadoop.conf.Configuration

可能缺少commons-collections-3.2.2.jar、guava-11.0.2.jar（各版本不定自选）

报错：

Exception in thread "main" java.lang.NoClassDefFoundError: com/google/protobuf/ServiceException

可能缺少：protobuf-java-2.5.0.jar

报错：

Exception in thread "main" java.lang.NoClassDefFoundError: Could not initialize class org.apache.hadoop.security.UserGroupInformation

可能缺少：commons-configuration.jar、hadoop-auth-2.7.1.jar

MrMiao_
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Flink实战系列】Could not initialize class org.apache.hadoop.security.UserGroupInformation
JasonLee实时计算
08-04 2987
从报错信息来看很明显是缺少 UserGroupInformation 相关的包，查找发现这个类是在 hadoop-common 这个包里，但是项目里面确实添加了这个包的依赖，也把依赖打到最终的包里，在最终的 jar 包里也能找到这个类，也尝试打包的时候不加入这个依赖，直接把 hadoop-common-2.9.0.jar 这个包添加到 flink/lib 下，但是都会遇到这个报错，最后发现是忘记设置 hadoop 的环境变量了。解决的方法也很简单，只需要在提交任务之前设置一下环境变量即可。...
zeppelin运行spark程序读写s3报错解决方法详细汇总：java.lang.NoSuchMethodError
zhengzaifeidelushang的博客
08-30 1025
zeppelin运行spark程序读写s3报错解决方法：java.lang.NoSuchMethodError 在解决spark程序读写s3问题的过程中遇到的报错汇总如下： 错误一： Could not initialize class org.apache.hadoop.fs.s3a.S3AFileSystem 错误二： java.lang.NoSuchMethodError: com.amazonaws.services.s3.transfer.TransferManager.(Lcom/amaz
hive连接报错-java.lang.NoClassDefFoundError: Could not initialize class org.apache.hadoop.security.UserG
一立方星空
12-07 9164
hive连接报错-java.lang.NoClassDefFoundError: Could not initialize class org.apache.hadoop.security.UserGroupInformation 报错信息：无法初始化用户组 Handler dispatch failed; nested exception is java.lang.NoClassDefFoundError: Could not initialize class org.apache.hadoop.se
org.apache.hadoop.conf.Configuration无法引用 解决方法
w36680130的博客
10-20 1万+
org.apache.hadoop.conf.Configuration无法引用 解决方法
java.lang.NoClassDefFoundError: Could not initialize class org.apache.hadoop.hdfs.DFSUt
学Java，找哪吒
12-23 7227
一、异常 java.lang.NoClassDefFoundError: Could not initialize class org.apache.hadoop.hdfs.DFSUtil 二、异常真因 在HBase 1.2.X版本及之前的版本HBase是强依赖于protobuf-2.5.0，如果在依赖中引入高版本的protobuf，会造成hbase的各种问题，所以在有HBase的项目中一定要慎重对待protobuf的版本。 三、解决方法 引入protobuf依赖。 <!-- https://mvnr
大数据笔记（一）：HDFS
Ding_xiaofei的博客
05-07 1374
开篇 这是一篇学习笔记，绝大部分内容来自于厦门大学的大数据课程，这边是课程在中国大学mooc上的链接大数据技术原理，希望这篇笔记能够帮助我记录重要的知识点，也帮助大家顺利地理解HDFS是什么？ 云计算的两个要点，分布式存储和分布式处理，这里的HDFS就是分布式文件系统，也就是要点之一的分布式存储。OK，我们下面正式开始这篇的内容，HDFS。我们按照林老师上课的思路来记录我们的笔记。我们将重点讲...
大数据学习篇：hadoop深入浅出系列之HDFS（三） ——HDFS读文件和写文件
美丽的泡沫
09-23 1464
上一篇讲了HDFS的体系结构，今天这篇，我们来讲讲HDFS的读和写。 一：读文件 1.首先调用FileSystem对象的open方法，其实是一个DistributedFileSystem的实例 2.DistributedFileSystem通过rpc获得文件的第一批个block的locations，同一block按照重复数会返回多个locations，这些locations按照hadoo
尚硅谷大数据技术hive学习笔记
10-27
"尚硅谷大数据技术hive学习笔记" Hive 是一个基于 Hadoop 的数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类 SQL 查询功能。 Hive 的核心是将 HQL 转化成 MapReduce 程序，通过 SQL 语言中常用的操作...
大数据技术与云计算笔记
03-24
而Hadoop作为开源的大数据处理框架，其核心组件包括MapReduce和Hadoop分布式文件系统（HDFS）。 大数据产业链可以分为大数据核心产业、关联产业和融合产业。数据处理流程包括数据生成、存储、处理和应用，涉及数据...
大数据技术原理学习笔记.docx
11-06
本笔记基于林子雨老师在MOOC上的《大数据技术原理》课程，旨在为IT从业者和大学生提供一个全面了解大数据的基础框架。 首先，我们要认识到大数据的发展背景。随着互联网的普及，以及物联网、社交媒体、移动设备等...
大数据hive笔记.zip
10-05
Hive是Apache软件基金会下的一个开源项目，它提供了一种基于Hadoop的数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供SQL（HQL，Hive Query Language）查询功能，使得用户能够通过SQL语句对海量数据...
问题解决：java运行HiveQL，报错：java.lang.NoClassDefFoundError: org/apache/hadoop/conf/Configuration
热门推荐
枫夜
06-17 1万+
使用Java编写HiveQL语句，然后通过jdbc的方式远程连接hive集群，并执行。在执行过程中，出现报错，其错误信息为：“java.lang.NoClassDefFoundError: org/apache/hadoop/conf/Configuration”。根据这个问题提示，按照步骤解决了问题，并整理成博文输出。
CDH flink命令行启动yarn-session报错java.lang.NoClassDefFoundError: Could not initialize class org.apache.ha
BertramLAU的专栏
07-09 4663
系统环境 错误排查 ./bin/yarn-session.sh 2020-07-09 11:22:01,187 INFO org.apache.flink.configuration.GlobalConfiguration - Loading configuration property: gateway-port, 0 2020-07-09 11:22:01,327 ERROR org.apache.flink.runtime.security.modules.HadoopModu
ERROR [org.apache.hadoop.security.UserGroupInformation] - PriviledgedActionExcep
George的博客
10-20 1423
换了个环境，出现此异常 016-10-18 23:54:01,334 WARN [org.apache.hadoop.util.NativeCodeLoader] - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 2016-10-18 2...
Flink：问题及解决:ClassNotFoundException: org.apache.hadoop.security.UserGroupInformation
Joseph25的博客
04-26 3084
此问题是因为flink 执行环境下缺少相关jar: 可以在lib 下补充以下jar 包 aws-java-sdk-s3-1.11.1030.jar flink-shaded-hadoop-2-uber-3.1.1.3.0.1.0-187-10.0.jar hadoop-aws-3.1.0.jar(3.1.0是你自己hadoop版本号) ...
ERROR [http-bio-7070-exec-8] controller.BasicController:62 : org.apache.kylin.rest.exception.Intern
上白书妖
03-28 1179
大家好, 我是上白书妖! 知识源于积累,登峰造极源于自律 今天我根据以前所以学的一些文献,笔记等资料整理出一些小知识点,有不当之处,欢迎各位斧正 本文借鉴 这位大佬的 当你进入kylin的web界面然后向导入数据是,可能会出现一个提示框报错: ERROR [http-bio-7070-exec-8] controller.BasicController:62 : org.apache.kylin...
RabbitMQ-消息队列之routing使用
最新发布
龙哥·三年风水从2011年开始做IT工作，从ps画图到前端开发->后端开发->框架开发->业务架构设计及开发->业务需求整理、开发->技术经理->技术总监
08-17 417
RabbitMQ-消息队列之routing使用
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值