hadoop的Windows环境准备

最新推荐文章于 2024-08-15 14:09:45 发布
最新推荐文章于 2024-08-15 14:09:45 发布
阅读量441 收藏
点赞数 12
文章标签： hadoop 大数据 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_74934794/article/details/139350287
版权

拷贝一份 hadoop3.1.3

cp -r /opt/softs/hadoop3.1.3/ /opt/softs/hadoop3.1.3_temp

其中的share太大并且用处不大，可以删除

rm -rf share/

下载到本地

 

将windows依赖中的bin粘贴到下载的hadoop3.1.3的bin里，重复的替换就行

将里面的hadoop.dll文件复制一份到 C:\Windows\System32

配置hadoop的环境变量，复制hadoop3.1.3的路径

 PATH里配置对应的bin，将hadoop里的bin的路径添加进去

天才的白鸟
关注
  • 12
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop的Windows环境准备
weixin_66158110的博客
06-03 665
1、将Windos依赖目录下的bin目录中的全部文件，复制粘贴到hadoop3.1.3的bin目录下，有重复直接覆盖。2、双击winutils.exe，如果有窗体一闪而过，说明成功，如果失败则安装微软运行库。3、将hadoop.dll复制一份到C:\Windows\System32目录中。（3）选中“系统变量”的Path选择“编辑”后选择“新建”，输入如下信息。（1）控制面板查找“高级系统设置”，打开后点击“环境变量”2、删除备份的share目录。3、下载到Windows中。重命名去掉_temp。
HadoopWindows下客户端环境配置
m0_58258383的博客
07-22 2243
hadoop完全分布集群搭建完毕后，我们在对hadoop集群的操作想更加的系统化，就需要我们搭建出一个hadoop客户端来完成对集群的操作了。本文就将介绍如何在Windows环境下搭建出hadoop客户端。
Hadoop——Windows系统下Hadoop单机环境搭建
qq_43760191的博客
07-19 6851
Hadoop环境搭建流程
Windows下部署Hadoop3.3.0
weixin_51368286的博客
09-24 568
如 C:\Program Files(x86)\java\xxxxx , 后续步骤中在 hadoop-env.cmd 配置 JAVA_HOME 时，这种环境变量的是无法识别的，容易报 “Error JAVA_HOME is incorrectly set.” 之类的错误。
Windows配置Hadoop环境
weixin_45207751的博客
06-17 538
注意：官网下载Hadoop2.7.7，安装时注意，最好不要安装到带有空格的路径名下，例如:Programe Files，否则在配置Hadoop的配置文件时会找不到JDK。file:/D:/每个月一个文件夹/2021年10月/Window下配置Hadoop环境/hadoop-2.7.7/data/namenode。file:/D:/每个月一个文件夹/2021年10月/Window下配置Hadoop环境/hadoop-2.7.7/data/datanode。path添加%HADOOP_HOME%\bin。
【Hadoop】Windows下安装Hadoop（手把手包成功安装）
热门推荐
tttzzzqqq2018的博客
07-26 2万+
【实操】Windows下安装Hadoop（手把手包成功安装）
Hadoop运行环境搭建
m0_71369718的博客
10-30 1862
本文主要介绍如何搭建hadoop运行环境，包括创建模板虚拟机、配置NAT模式的网络ip、虚拟机的克隆，以及jdk和hadoop在虚拟机中的安装。
分布式Hadoop集群——基本使用与 Hadoop的Windows环境准备以及通过JavaApi进行hdfs操作
2301_78409414的博客
06-01 648
分布式Hadoop集群——基本使用与Hadoop的Windows环境准备以及通过JavaApi进行hdfs操作
Windows环境安装Hadoop.docx
04-26
### Windows环境下安装与配置Hadoop知识点详解 #### 一、前言 Hadoop是一个开源软件框架，用于分布式存储和处理大型数据集。虽然Hadoop主要为Linux/Unix环境设计，但在某些情况下，用户可能需要在Windows环境下进行...
windows下搭建hadoop开发环境
07-06
在Windows环境下搭建Hadoop开发环境是一项复杂但必要的任务，尤其对于初学者和开发者来说，能够直接在本地系统上运行和调试Hadoop程序是极其有用的。本文将详细介绍如何在Windows上配置Hadoop，以便使用Eclipse进行...
Windows环境安装Hadoop.7z
04-26
在Windows环境下直接安装和配置Apache Hadoop的过程相对复杂，因为Hadoop原生设计是面向Linux/Unix环境的。尽管如此，仍然可以在Windows上搭建一个用于学习和开发的单节点Hadoop环境。以下是简化版的在Windows上安装...
windows运行hadoop所需环境
04-21
在Windows环境下运行Hadoop是一项技术性较强的任务，因为Hadoop主要设计用于Linux系统。然而，通过特定的配置和工具，Windows用户也能搭建和运行Hadoop环境。以下是对标题和描述中涉及的知识点的详细说明： 1. **...
win环境 hadoop 3.1.0安装包
06-25
在Windows环境下安装Hadoop 3.1.0是学习和使用大数据处理技术的重要步骤。Hadoop是一个开源框架，主要用于分布式存储和处理大规模数据集。在这个过程中，我们将详细讲解Hadoop 3.1.0在Windows上的安装过程以及相关...
基于hadoop的智慧校园数据共享与交换平台的设计与实现【Django框架、scrapy爬虫框架】
迷茫与徘徊只会让你陷入绝境，欢迎私信博主，带你开始提升变现价值！
08-15 830
随着信息技术的发展，智慧校园建设逐渐成为高校发展的重要方向之一。在数据共享和交换过程中，不同部门和系统之间的数据存在差异和不一致性的情况，可能会导致数据质量的下降和数据处理的困难。Hadoop是一个开源的分布式计算框架，对于大数据的处理和存储具有优势，但其复杂的架构和底层技术要求对研究者的技术水平有一定要求，导致研究过程中遇到一定的技术困难。智慧校园是指通过信息技术手段，将校园内的各种信息资源进行集成和共享，实现校园内部各个子系统之间的互联互通，提高校园管理效率，为师生提供更便利、安全、高效的校园服务。
CentOS7.6 RabbitMQ消息队列集群部署——实施方案
weixin_71602103的博客
08-13 1214
​​​​​​阿里巴巴开源镜像站-OPSX镜像站-阿里云开发者社区 (aliyun.com)2.将一个RabbitMQ2节点加入到已经存在的RabbitMQ1集群中。6.将一个RabbitMQ3节点加入到已经存在的RabbitMQ1集群中。8. 将RabbitMQ3节点加入到已存在的集群中。4. 将RabbitMQ2节点加入到已存在的集群中。2、3 独立运行节点，warning提示不用理会。地址为rabbitMQ所在服务器的地址。3. 启动RabbitMQ应用程序。案例：配置阿里云的yum源。
ElasticSearch文档数据关联关系处理
最新发布
qq_44027353的博客
08-15 536
再更新操作时，对象类型和嵌套对象nested方式有一个问题，因为根对象和嵌套对象本质上它们还是存在一个文档中的，每次更新时就可以需要重新索引整个文档。ES提供了父子关联关系，通过维护parent/child的关系，分离它们，使父文档和子文档是两个独立的文档，更新其中一个文档不会影响另一个文档。创建子文档时，必须通过routing指定父文档id，保证父子文档在一个shard中，提高join查询性能。user字段如果保存的是一个对象数组，在搜索时添加两个查询条件，数组中两个对象分别满足一个条件。
Spark MLlib 特征工程(上)
08-14 1726
特征选择的动机，在于提取与预测标的关联度更高的特征，从而精简模型尺寸、提升模型泛化能力。特征选择可以从两方面入手，业务出发的专家经验和基于数据的统计分析。归一化的目的，在于去掉不同特征之间量纲的影响，避免量纲不一致而导致的梯度下降震荡、模型收敛效率低下等问题。归一化的具体做法，是把不同特征都缩放到同一个值域。在这方面，Spark MLlib 提供了多种归一化方法供开发者选择。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值