hadoop 在windows开发环境遇到的问题

最新推荐文章于 2021-03-01 21:35:38 发布
最新推荐文章于 2021-03-01 21:35:38 发布
阅读量239 收藏
点赞数
分类专栏： hadoop 文章标签： 大数据 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/love13135816/article/details/82698886
版权

在windows开发环境中 访问 远端hdfs时 可能会出现

org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjava/lang/String;JZ)V

等错误.原始是在windows环境中 缺少 hadoop.dll 文件.

下载  https://download.csdn.net/download/love13135816/10666315

在 hadoop-common-2.7.7-bin-master 文件里

将 hadoop.dll 复制到 C:\Windows\System32下

将 hadoop.dll 和 winutils.exe 复制到 %HADOOP_HOME%/bin 下

* %HADOOP_HOME% 是你配置环境变量 hadoop的文件目录

love13135816
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
解决hadoop在windows运行出现的bug
01-11
如果出现如下bug：“Could not locate executable null\bin\winutils.exe in the Hadoop binaries”，则下载该文件，放入hadoop的bin文件夹下，并设置环境变量HADOOP_HOME：E:\hadoop2.2.0\bin即可。
windows下hadoop2.7.3环境问题的解决（含说明）
10-16
windows下hadoop2.7.3环境问题的解决，亲测win10、win7皆可使用
操作HDFS时出现报错NativeCrc32.nativeComputeChunkedSumsByteArray (II[BI[BIILjava/lang/String；JZ)V的解决
wysghmbb的博客
10-20 753
和别人同样的win10系统，同样的配置文件，别人都能访问的hadoop，我本地却怎么都访问不了，后台一直报: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray (II[BI[BIILjava/lang/String;JZ)V 上网仔细搜索了一下，原来是和我的操作系统有关系，执行以下操作后立马解决： 把hadoop.dll和winutil.exe两个文件放到到C:\windows\system32 里，如果已经存在，就直接
java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray
Constantdropping的博客
11-29 2474
 java客户端连接HDFS报错： Exceptionin thread "main" java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjava/lang/String;JZ)V  在网上查找原因后，发现这是由于hadoo...
hadoop-3.0.0-winUtils.rar
11-22
hadoop3.0.0 winUtils 。如果本机操作系统是 Windows，在程序中使用了 Hadoop 相关的东西，比如写入文件到HDFS，则会遇到如下异常：could not locate executable null\bin\winutils.exe ，使用这个包，设置一个 HADOOP_HOME 环境变量，即可解决。
windows 32位eclipse远程hadoop开发环境搭建
09-02
搭建Windows 32位环境下Eclipse远程...通过上述步骤，可以在Windows 32位环境下成功搭建一个远程Hadoop开发环境，使用Eclipse进行Hadoop程序的编写、调试与运行。这样的环境搭建对于学习和开发Hadoop应用是至关重要的。
Windows环境安装Hadoop.docx
最新发布
04-26
- **兼容性问题**：在Windows环境下运行Hadoop可能会遇到一些兼容性问题，特别是在文件系统交互方面，可能需要借助Cygwin或其他工具来模拟Linux环境。 - **用途限制**：在Windows上搭建的单节点Hadoop环境主要用于...
Hadoop在Windows的依赖资源
06-13
总结来说，要在Windows上成功运行Hadoop，你需要安装和配置Hadoop，解决`winutils.exe`的问题，同时在IDEA这样的集成开发环境中正确配置项目。过程中可能还会遇到其他兼容性问题，但通过查阅文档、社区论坛和官方...
windows下hadoop2.6开发环境搭建过程说明及插件
12-15
在Windows环境下搭建Hadoop2.6开发环境是一个相对复杂的过程，但通过详细的步骤和注意事项，可以有效地完成。这里我们将深入探讨这个过程，并介绍如何解决可能出现的问题。 首先，我们需要下载Hadoop2.6.0的安装包...
hadoop-2.7.5 windows环境
10-01
需要注意的是，由于Windows环境与Hadoop的Unix/Linux背景存在差异，可能会遇到权限、路径和网络等问题，需要根据实际情况进行调整。此外，Hadoop在Windows上的运行效率通常不如Linux，生产环境中更推荐使用Linux集群...
hadoop2.7.dll
02-05
在widows开发hadoop程序时报相关 nativeComputeChunkedSumsByteArray(II[BI[BIILjava/lang/String;JZ)V 的错误 下载好把相关文件覆盖到hadoop目录下的bin中
hadoop-common-2.7.3-bin-master-windows
03-21
hadoop-common-2.7.3-bin-master 包含hadoop.dll、winutils.exe，下载后解压，配置HADOOP_HOME环境变量
hadoop-common-2.7.3-bin-master
12-07
当在windows开发hadoop时，需要配置HADOOP_HOME环境变量，变量值D:\Program Files\hadoop-common-2.7.3-bin-master，出现如下错误之一，需要配置： 1、org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Ljava/lang/String;I)V 2、org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0
hadoop-common-2.7.1-bin-master.zip
03-20
hadoop-common-2.7.1需要的工具包，其中包括hadoop.dll，winutils.exe
hadoop2.7.1版本的hadoop.dll，winutils.exe，X64下编译
11-23
hadoop2.7.1版本的hadoop.dll，winutils.exe），X64下编译 根据你的hadoop版本下载相应的文件,我们用的是2.6所以要求支持hadoop2.6的（低版本的hadoop.dll会报错），然后拷贝下载文件到hadoop的bin目录，如果有已存在的文件直接跳过就行，不用覆盖原来的bin目录下的文件
spring4.3.3 整合 Hibernate5.2.4 jar包冲突问题 org.jboss.logging.Logger.debugf(Ljava/lang/String;I)V
Kshatriya_的专栏
12-02 5465
有 IOC 容器 生成 sessionfactory 的时候， 提示 缺少 org.jboss.logging.Logger.debugf(Ljava/lang/String;I)V 方法， 详细的 exception 如下： 警告: Exception encountered during context initialization - cancelling refresh attempt:
java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray
kw-home
02-10 4096
在eclipse上运行hadoop报错:Exceptionin thread "main" java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjav，这个问题折腾了我很久，后来找到方法解决。 描述一下:电脑是win7的64位
CentOS 64位上编译 Hadoop2.6.0
数据之路
03-26 2865
由于hadoop-2.6.0.tar.gz安装包是在32位机器上编译的，64位的机器加载本地库.so文件时会出错，所以需要重新编译 1.编译环境 yum install cmake lzo-devel zlib-devel gcc gcc-c++ autoconf automake libtool ncurses-devel openssl-devel libXtst 2.安装J
NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjava/lang/String；JZ)V 报错
weixin_45879334的博客
03-01 317
从 该链接 查找相应的hadoop文件夹，并下载bin目录下的 hadoop.dll 和 winutil.exe 。 将下载后的两个文件放到 C:\Windows\System32 目录下，解决。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

love13135816

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值