windows配置hadoop环境

已于 2024-08-31 21:23:55 修改
阅读量156 收藏 1
点赞数
分类专栏： python 文章标签： hadoop 大数据 python
于 2024-08-31 21:19:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41444892/article/details/141758662
版权

目录

一、windows配置hadoop环境

1、下载文件

首先下载所需要的文件内容
共有三个文件，可以通过 这个链接 获得

2、解压

使用解压工具将 hadoop-3.0.0.tar.gz 文件解压，最后会得到如图的内容。我解压出来的文件夹名为 hadoop-3.0.0
在这里插入图片描述

3、移动winutils.exe

将下载的文件 winutils.exe 放入hapoop-3.0.0文件夹的bin文件夹中
在这里插入图片描述

4、移动hadoop.dll

将下载的文件 hadoop.dll 放入到电脑的 C:/indows/System32 目录下
在这里插入图片描述

5、配置代码内容

在python代码中引入 os，配置hadoop的变量
配置的地址精确到我们第2步中的解压出来的文件夹
这样就配置成功啦

在这里插入图片描述

骨力
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Windows配置Hadoop环境
weixin_45207751的博客
06-17 555
注意：官网下载Hadoop2.7.7，安装时注意，最好不要安装到带有空格的路径名下，例如:Programe Files，否则在配置Hadoop的配置文件时会找不到JDK。file:/D:/每个月一个文件夹/2021年10月/Window下配置Hadoop环境/hadoop-2.7.7/data/namenode。file:/D:/每个月一个文件夹/2021年10月/Window下配置Hadoop环境/hadoop-2.7.7/data/datanode。path添加%HADOOP_HOME%\bin。
Hadoop Windows 环境变量配置
qq_39116472的博客
06-16 511
主要是配置环境变量。
windows配置hadoop环境变量步骤及无法环境变量无法生效的小坑
Lcy__6的博客
06-12 3235
1. hadoop 在 windows 上的安装 2. 环境变量无法生效的问题
Windows安装 hadoop 环境
weixin_45267345的博客
07-16 4774
大数据、hadoop
Windows下配置Hadoop及Spark环境
CSDN_张子
03-29 9493
前言 教程所用各版本说明 一 JDK环境配置 由于项目用的JDK17，所以单独给Hadoop配了JDK11，建议直接配置JAVA_HOME环境变量为JDK11，因为后面Spark需要用到JAVA_HOME 下载jdk-11.0.13_windows-x64_bin.zip 链接：https://www.oracle.com/in/java/technologies/javase/jdk11-archive-downloads.html 单独修改Hadoop的话，需要在Hadoop目录下的etc\hado
windows配置hadoop环境所需文件
08-31
windows配置hadoop环境所需文件
windows配置hadoop环境变量
05-09
在Windows系统中配置Hadoop环境变量的步骤如下： 1. 下载和安装 Hadoop，并解压到某个目录中。 2. 打开“控制面板”，然后点击“系统和安全”。 3. 点击“系统”，然后点击“高级系统设置”。 4. 点击“环境变量...
在windows系统中配置Hadoop2.7.5运行环境
04-04
windows系统需要配置hadoop运行环境，否则直接运行代码会出现 Could not locate executable null \bin\winutils.exe in the hadoop binaries Unable to load native-hadoop library for your platform… using ...
windows环境下的hadoop3.1.0依赖，winutils
05-23
在Windows环境下搭建Hadoop 3.1.0的分布式文件系统需要解决一个重要依赖——WinUtils。这个组件是Hadoop在Windows上运行...通过上述详细的步骤，用户可以在Windows上搭建起自己的Hadoop环境，进行数据管理和分析工作。
Python大数据之Hadoop学习——day06_hive学习02
weixin_46010015的博客
08-31 717
创建外部表：create external table [if not exists] 外部表名(字段名 字段类型,字段名 字段类型,...)[row format delimited fields terminated by '字段分隔符'];[location 'hdfs://域名:8020/user/hive/warehouse/库名.db/表名'] # 默认即可。从其他表查询数据'追加'插入到当前表中：insert into [table] 表名 select 语句；
计算机毕业设计PySpark+Scrapy农产品推荐系统 农产品爬虫 农产品商城 农产品大数据 农产品数据分析可视化 PySpark Hadoop
最新发布
从业计算机毕业设计10年，打算用一年时间分享10年毕设经验！
09-01 442
计算机毕业设计PySpark+Scrapy农产品推荐系统 农产品爬虫 农产品商城 农产品大数据 农产品数据分析可视化 PySpark Hadoop
【大数据分析工具】使用Hadoop、Spark进行大数据分析
weixin_39372311的博客
08-31 584
Hadoop是一个开源的分布式计算框架，最初由Apache基金会开发。Hadoop分布式文件系统（HDFS）：负责存储大规模数据，提供高吞吐量的数据访问。MapReduce：一种编程模型，用于处理和生成大规模数据集，运行在分布式集群上。YARN：Hadoop的资源管理器，用于调度系统资源，支持多种数据处理模型。Apache Spark是一个基于内存的分布式数据处理框架，提供了比Hadoop更快的处理能力。Spark通过将数据加载到内存中并进行批量计算，大大提高了处理速度。
【精选】基于Hadoop的用户网站浏览分析的设计与实现（全网最新定制，独一无二）
程序员阿龙的博客
08-31 826
我是程序员阿龙，专注于软件开发，拥有丰富的编程能力和实战经验。在过去的几年里，我辅导了上千名学生，帮助他们顺利完成毕业项目，同时我的技术分享也吸引了超过50W+的粉丝。我是CSDN特邀作者、博客专家、新星计划导师，并在Java领域内获得了多项荣誉，如博客之星。我的作品也被掘金、华为云、阿里云、InfoQ等多个平台推荐，成为各大平台的优质作者。 在Java技术领域和学生毕业项目实战中，我积累了深厚的知识与经验，并与高校老师、讲师及行业内的同行前辈保持着广泛的交流与合作。我的专业背景和丰富的实战经验使
SparkSQL DML语句详解
SunnyRivers
08-27 799
数据操作语句用于添加、更改或删除数据。LOAD。
大数据-112 Flink DataStreamAPI 程序输入源 DataSource 基于文件、集合、Kafka连接器
永远好奇，无限进步！
08-31 1277
上节完成了FlinkYARN模式的启动和测试，测试了资源的分配和任务的提交。本节继续研究Flink的DataStreamAPI，研究了DataSource 基于文件、集合、Kafka连接器，附带依赖和代码。可以使用 StreamExecutionEnvironment.addSource()将一个数据源添加到程序中。Flink提供了许多预先实现的源函数，但是也可以编写自己的自定义源，方法是非并行源：implements SourceFunction。
Python 全栈系列265 使用ORM、Kafka、Apscheduler实现任务的并发处理
yukai08008的博客
08-30 758
这种实现方式还是比较直观的，通过类似DBeaver之类的终端连接上数据库后，我们可以清楚的看到源数据，也可以看到随时间推移，不断的有处理好的数据存在结果数据库。1 ORM可以挂clickhouse， 这样存储所占的空间更小，在后续的提取、统计数据时更快。但需要验证的是clickhouse的where in 效率。2 ORM是可以批量存数的，这个是稍微靠后才发现的。3 FastAPI + APScheduler + Celery + Dash 调度。
Hbase离线迁移
前方的路在刚开始
08-28 254
hadoop distcp -Dmapreduce.job.hdfs-servers.token-renewal.exclude="xx.xx.xx.xx" -i -strategy dynamic -log /hdfs_migration/None/日志路径 -bandwidth 100 -m 100 hdfs://xx.xx.xx.xx:8020/hbase/tableName。2.使用distcp 将hdfs上的hbase数据迁移到另一个【相同路径】的hdfs上。1.关闭2个hbase。
基于Spark的云南旅游大数据分析平台
qq_40309403的博客
08-28 685
Hi，大家好，今天分享的项目是《基于Spark的云南旅游大数据分析平台》
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值