flow mac java_从HDFS mac读取Tensorflow：java.lang.nosuchfield错误：日志

于 2021-02-23 13:19:52 发布
阅读量182 收藏
点赞数
文章标签： flow mac java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_32708653/article/details/114497387
版权

我正在尝试从我的mac上的tensorflow中读取外部hadoop。我从源代码处构建了具有hadoop支持的tf，并且在我的mac上构建了具有本机库支持的hadoop。我得到了以下错误hdfsBuilderConnect(forceNewInstance=0, nn=192.168.60.53:9000, port=0, kerbTicketCachePath=(NULL), userName=(NULL)) error:

java.lang.NoSuchFieldError: LOG

at org.apache.hadoop.ipc.ClientCache.getClient(ClientCache.java:62)

at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.(ProtobufRpcEngine.java:145)

at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.(ProtobufRpcEngine.java:133)

at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.(ProtobufRpcEngine.java:119)

at org.apache.hadoop.ipc.ProtobufRpcEngine.getProxy(ProtobufRpcEngine.java:102)

at org.apache.hadoop.ipc.RPC.getProtocolProxy(RPC.java:579)

at org.apache.hadoop.hdfs.NameNodeProxies.createNNProxyWithClientProtocol(NameNodeProxies.java:418)

at org.apache.hadoop.hdfs.NameNodeProxies.createNonHAProxy(Nam

最低0.47元/天 解锁文章
电影人王迓难
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
windows 平台上使用 pyarrow 连接 hdfs 详细教程
记录与思考
02-21 1275
windows平台上使用pyarrow连接至hdfs详细教程。
Hadoop-2.6.0上的C的API訪问HDFS
weixin_34319111的博客
02-02 138
在通过Hadoop-2.6.0的C的API訪问HDFS的时候，编译和执行出现了不少问题，花费了几天的时间，上网查了好多的资料，最终还是把问题给攻克了  參考文献：http://m.blog.csdn.net/blog/Aquester/25242215 系统：CentOS 6.6，hadoop-2.6.0, 在hadoop集群的datano...
Java 异常java.lang.NoSuchFieldException解决方案
08-25
主要介绍了Java 异常java.lang.NoSuchFieldException解决方案,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
Hadoop：loadFileSystems error & exception: ExceptionUtils::getStackTrace error 问题分析
Magnum的博客
10-22 833
问题描述： hadoop版本：hadoop-2.5.0 jdk:jdk1.8.0_51 在用hdfs.h中的C接口连接hadoop集群时出现以下问题： loadFileSystems error: (unable to get stack trace for java.lang.NoClassDefFoundError exception: ExceptionUtils::getStackTrace error.) hdfsBuilderConnect(forceNewInstance=0, nn
【Graphd】Graphd安装配置及使用教程
HNUJSY
04-28 1553
一、Hadoop 2.7分布式集群环境搭建 见博客：Hadoop 2.7分布式集群环境搭建 二、G++安装 Ubuntu： sudo apt-get install g++ Centos： yum install gcc-c++ 三、MPI安装 下载MPICH tar xzf mpich-3.1.tar.gz cd mpich-3.1 ./configure --prefix=/usr/l...
hdfs.h - hdfs c api梳理
weixin_34122548的博客
11-25 602
/** *LicensedtotheApacheSoftwareFoundation(ASF)underone *ormorecontributorlicenseagreements.SeetheNOTICEfile *distributedwiththisworkforadditionalinformation *...
hdfs_design.rar_HDFS-OPERATE_hadoop_hadoop java_hdfs
09-23
hadoop中hdfs的编程指南，很有意义，推荐看一下。
HDFSJavaAPI.tar.gz_HDFS JAVA API_hdfs
09-23
HDFS JAVA API,用java实现对hdfs上面的文件的增加，删除，查找，更改
hdfs.zip_hdfs_hdfs java
09-20
java语言编写，实现将本地文件上传到hdfs上，以及从hdfs上下载文件
解决-BASH: /HOME/JAVA/JDK1.8.0_221/BIN/JAVA: 权限不够问题
08-25
主要介绍了解决-BASH: /HOME/JAVA/JDK1.8.0_221/BIN/JAVA: 权限不够的问题,需要的朋友可以参考下
hdfs c/c++ API头文件
04-23
hdfs c/c++ API, libhdfs库中提供的接口函数声明； 如：hdfsBuilderSetNameNode,hdfsConnect,hdfsOpenFile等
heavylgf#liugf.java#12_hdfs架构原理图解（八）：超大文件数据的分布式存储机制1
07-25
你要是比如往一个文件里写数据，那么肯定就是会在namenode那里根据文件的大小，将这个文件拆分为多个block的，每个block存储一部分数据，每个block
利用Tensorflow的队列多线程读取数据
zym19941119的博客
12-25 7727
利用Tensorflow的队列多线程读取数据，方便进行图像预处理
hadoop写MR程序报错java.lang.AbstractMethodError: org.apache.hadoop.yarn.api.records.LocalResource.setShou
qq_32736999的博客
12-07 1930
情况：在本地书写mapreduce的时候，运行driver类 开始跑任务的时候，有时候可能会报 java.lang.AbstractMethodError: org.apache.hadoop.yarn.api.records.LocalResource.setShouldBeUploadedToSharedCache(Z)V 解决：hadoop的jar包版本问题 这是我之前的默认版本 ...
java 输出文件到mac路径_Mac下如何获取JAVA_HOME路径
weixin_31182871的博客
12-28 561
当在Mac下安装完Java运行环境，而又没有添加JAVA_HOME变量的时候，我们如何得到JAVA_HOME变量的路径呢？直接在home目录下执行命令：/usr/libexec/java_home[-V]即可获得输出：/Library/Java/JavaVirtualMachines/jdk1.8.0_25.jdk/Contents/Home然后可以添加到JAVA_HOME变量(详见Mac 配...
Tensorflow入门——读取csv文件入门
umbrellalalalala的博客
07-18 5001
一、Tensorflow官方读取.csv代码报错 机器学习编程中，数据的输入部分一直是困扰博主的一个问题，博主在前期的学习中一直使用的是mnist手写数字项目，这个项目自带数据输入部分的代码。说句题外话，mnist这个项目很适合新手进行深度神经网络和卷积神经网络的编程入门，因为你不用考虑如何输入数据，你只需要改写核心的训练代码。 但是数据的输入和预处理部分是机器学习爱好者迟早要面对的部分，如果...
图片与TFRecord 数据格式的相互转换（二）
David's Tweet
05-31 5063
一、实现TFRecord向图片jpg格式的转换        假设经过前一篇博文的流程，在"G:/Exercise/Python/tfrecord/data"文件夹中得到了data.tfrecords这一TFRecord格式的文件。怎样将它还原为jpg图片格式的两张图片呢？       （1）新建命名为“Tfrecord2Img.py”的python文件，用于编程实现TFRecord格式向jpeg...
tensorflow 版本导致的问题
CZ626626的博客
03-27 2437
“` E c:\tf_jenkins\home\workspace\release-win\device\cpu\os\windows\tensorflow\core\framework\op_kernel.cc:943] OpKernel (‘op: “BestSplits” device_type: “CPU”’) for unknown op: BestSplits E c:\tf_jen
毕设项目：C++ Qt 基于数据库Mysql学生信息管理系统.zip
最新发布
06-11
该资源内项目源码是个人的课程设计、毕业设计，代码都测试ok，都是运行成功后才上传资源，答辩评审平均分达到96分，放心下载使用！ ## 项目备注 1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习，也适合小白学习进阶，当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行，也可在此代码基础上进行修改，以实现其他功能，也可用于毕设、课设、作业等。 下载后请首先打开README.md文件（如有），仅供学习参考, 切勿用于商业用途。 该资源内项目源码是个人的课程设计，代码都测试ok，都是运行成功后才上传资源，答辩评审平均分达到96分，放心下载使用！ ## 项目备注 1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习，也适合小白学习进阶，当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行，也可在此代码基础上进行修改，以实现其他功能，也可用于毕设、课设、作业等。 下载后请首先打开README.md文件（如有），仅供学习参考, 切勿用于商业用途。
java.lang.RuntimeException: java.lang.ClassNotFoundException: Class org.apache.hdfs.DisrtibutedFileSystem not found
12-13
这个错误通常是由于缺少Hadoop依赖项导致的。你需要确保你的项目中包含了正确的Hadoop依赖项。你可以尝试以下解决方法： 1.检查你的项目中是否包含了正确的Hadoop依赖项，特别是hadoop-hdfs-client.jar文件。 2....

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值