Linux 单机本地部署Hadoop

最新推荐文章于 2024-09-21 20:57:46 发布
最新推荐文章于 2024-09-21 20:57:46 发布
阅读量248 收藏
点赞数
分类专栏： 大数据 文章标签： hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43570528/article/details/115095445
版权
本文档介绍了如何在本地环境下安装配置Hadoop 2.10.0，包括下载JDK1.8，解压缩Hadoop并验证安装。接着展示了如何使用Hadoop进行本地运行，通过执行WordCount任务统计README.txt文件的词频，以及计算PI值的示例。这些步骤为理解Hadoop的MapReduce计算模型提供了基础。
摘要由CSDN通过智能技术生成

文章目录

1.下载安装JDK1.8

2.下载&解压缩 Hadoop 到指定目录

解压缩安装文件到/usr/local : tar –zxvf hadoop-2.10.0.tar.gz -C /usr/local
检查是否可用：cd /usr/local/hadoop; ./bin/hadoop version
在这里插入图片描述

3.Local 运行 Hadoop

3.1 统计词频

$ ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.10.0.jar wordcount README.txt output

3.2计算 PI 值

$ ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.10.0.jar pi 2 1000

Fernweb_
关注
专栏目录
linux单机部署hadoop
weixin_47428270的博客
03-19 828
进入/usr/local/software/hadoop-3.1.3/etc/hadoop 目录下，修改以下配置。进入/usr/local/software/hadoop-3.1.3/sbin启动yarn。# start-yarn.sh stop-yarn.sh在两个文件顶部添加以下内容。Hadoop 中不允许使用root用户来一键启动集群，需要配置启动用户。Hadoop中不允许使用root用户来一键启动集群，需要配置启动用户。方式二：查看 Web UI 界面，端口为 8088。直接插入本机IP即可。
linux部署hadoop3.1.3
Guozr7的博客
06-26 1245
linux部署hadoop3.1.3
Linux上进行Hadoop单机部署
一起记录GIS学习
11-07 1018
我们在/opt目录下新建文件夹hadoop 利用第三方工具进行上传hadoop安装包 进行解压： tar -zxvf hadoop-2.6.4.tar.gz 进行hosts设置，在目录/etc/hosts下添加本地IP 修改配置文件： ../hadoop2.6.4/etc/hadoop/目录下，hadoop-env.sh，core-site.xml，mapred-site.xml.template，hdfs-site.xml文件 1）core-site.xml 配置：其中的h..
保姆级教程教你如何安装Hadoop，实现Hadoop单机（非分布式）配置
最新发布
m0_70851096的博客
09-21 1908
前往阿里镜像站选择下载下载时间较久，请耐心等待。
Linux中单机配置Hadoop
iAm333的专栏
11-19 2109
Ubuntu: 一、安装JAVA。 首先安装java。因为Ubuntu里面默认安装了OpenJDK,可以先将其卸载。在终端输入命令：sudo apt-get purge openjdk*。 1、从sun主页下载JDK for linux 版本。我下载的是jdk-6u37-linux-i586.bin。下载地址：点击打开 2、切换到root用户并切换到想要安装的目录。我的安装目录为/usr/
Hadoop安装部署-单机版
wys的专栏
03-21 1136
Hadoop安装部署-单机版
Linux下的Hadoop安装（本地模式）
weixin_30426879的博客
04-28 242
系统为CentOS 6.9，Hadoop版本2.8.3，虚拟机VMware Workstation 主要介绍Linux虚拟机安装、环境配置和Hadoop本地模式的安装。伪分布式和Windows下的安装将另作补充。 网络上关于Hadoop安装的教程非常多，这里主要是归纳出安装过程的简要步骤和可能碰到的问题。 Linux环境安装 NAT Linux 设置网络 HOST 其他环境设置 Java环境配...
linux环境不使用hadoop安装单机版spark的方法
01-20
最起码， 你要会说个hadoop, hdfs, mapreduce, yarn, kafka, spark, zookeeper, neo4j吧， 这些都是装逼的必备技能。 关于spark的详细介绍, 网上一大堆， 搜搜便是， 下面， 我们来说单机版的spark的安装和简要使用...
在docker上部署hadoop集群
10-29
教程：在linux虚拟机下（centos），通过docker容器，部署hadoop集群。一个master节点和三个slave节点。
linux下的单机工具,Linux下单机模式的Hadoop部署
weixin_42310558的博客
05-11 128
需要软件：ssh：fedore 9 自带。jdk：http://java.sun.com/javase/downloads/index.jsp，下最近版本jdk-6u18-linux-i586Hadoop：http://apache.etoak.com/hadoop/core/hadoop-0.20.1/，最新版本0.20.1，据说这个版本jdk必须1.6以上。三种运行模式:单机(非分布式)模式，...
Linux配置Hadoop单机模式
hjseo_seg的博客
04-06 277
Linux配置Hadoop单机模式 一、准备工作 一台装有CentOS 7 的虚拟机并且要能远程连接 JDK和Hadoop的安装包 两个软件 Xshell 和Xftp(或filezilla) 1.首先，将JDK和Hadoop的安装包通过Xftp传入虚拟机 当然也可以用其他软件，下图用的是filezilla )] 注意：我们将JDK放入/usr/local/java 而Hadoop放入/usr/local/hadoop，这样方便我们管理哦 2.我们要关闭系统的防火墙！！！ systemctl
单机版hadoop
weixin_43697701的博客
12-26 135
1、建立用户 useradd -u 1000 hadoop passwd hadoop ##密码设置为hadoop 2、安装配置 1）切换到hadoop用户 2）准备jdk包和hadoop包，如图 3）解压安装，并分别为java和hadoop做软连接 tar -zxvf jdk-8u181-linux-x64.tar.gz ln -s jdk1.8.0_181/ java tar -zxv...
hadoop单机版
weixin_44084565的博客
07-01 182
进入etc/hadoop目录 1、修改hadoop-evn.sh 找到export JAVA_HOME=${JAVA_HOME}将其修改为自己JDK的目录【JAVA_HOME的目录】 2、修改core-site.xml fs.default.name hdfs://master01:9000 hadoop.tmp.dir /bigdata/data/hadoop_data 3.修改hdfs-site.xml dfs.replication 1 ...
Hadoop单机版
大数据
09-26 766
1.Hadoop是Java开发需要在服务器上安装相对应的JDK1.7 ps:Linux默认自带JDK–openJDK–>Hadoop集群千万不要使用这个 2.将hadoop安装包上传到服务器hadoop版本2.x版本–>2.7.1 ps：实际开发中如需要其他安装包，请去官网下载 3.进行解压到 /opt/software/下面 4.hadoop对应目录 bin:hadoop最近的管理...
Linux 环境下部署Hadoop 2.x，建议尝试64位系统下进行本地编译的安装方式
真正的错误是，当你知道应该如何去提高时仍然选择做一名初学者！
05-13 609
第一步：配置hadoop运行的系统环境 安装CentOS6.3 6位操作系统安装openssh-clients创建用户hadoop配置ssh互信安装jdk，并配置JAVA_HOME等环境变量 第二步：编译hadoop2.x 安装编译相关的包           yum install svn           yum install autoconfautomake
单机hadoop 安装部署
Neighbor_L的博客
01-11 481
单机hadoop 安装部署 单机（本地）安装（standalone mode）：部署在一台机器上，没有分布式不使用hdfs，主要用于本地开发和调试。 伪分布式安装（pseudo-distributed mode）：一台机器上运行所有的hadoop 服务，每个hadoop守护进程都是一个独立的jvm进程，常用于调试。 全分布式模式...
Hadoop单机版环境部署
cbb
06-08 1960
前言 Hadoop 部署 1. 环境 centos7 + Java8 + hadoop3.2.2 运行需要Java 环境依赖，我之前已经配置过了。这里简单说下。 #这里 配置java的环境 还要配置 Hadoop的环境 vi /etc/profile #java environment export JAVA_HOME=/usr/local/java/jdk1.8.0_291 export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.ja
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值