mac下搭建hadoop伪分布式环境

最新推荐文章于 2022-01-11 12:16:35 发布
最新推荐文章于 2022-01-11 12:16:35 发布
阅读量54 收藏
点赞数
原文链接：https://my.oschina.net/u/2245485/blog/733647
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

mac下搭建hadoop伪分布式环境

时间 2014-10-17 11:17:45  十一郎的blog

http://www.tuicool.com/articles/ANvUnm2

 

原文  http://www.wangqifox.cn/wordpress/?p=755

主题 Hadoop

参考：

http://blog.csdn.net/xbwer/article/details/35614679

下载hadoop

地址: http://hadoop.apache.org/releases.html

我选择了hadoop-1.2.1

关于hadoop 1.x和 hadoop 2的区别可以参考：http://blog.csdn.net/fenglibing/article/details/32916445

配置mac os自身环境

在terminal里面输入

 

 

 

 

 

 

 

ssh localhost

 

ssh localhost

会有错误提示信息，表示当前用户没有权限。更改设置： 系统偏好设置->共享->勾选"远程登录"-> ，设置允许访问所有用户。

设置免密码登录

输入

 

 

 

 

 

 

 

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

 

ssh - keygen - t dsa - P '' - f ~ / . ssh / id _ dsa

ssh-keygen表示生成密钥，-t表示密钥类型，-P用于提供密语，-f指定生成的密钥文件。这个命令在”~/.ssh”文件夹下创建两个文件id_dsa和id_dsa.pub，是ssh的一对私钥和公钥。接下来，将公钥追加到授权的key中去，输入：

 

 

 

 

 

 

 

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

 

cat ~ / . ssh / id_dsa . pub >> ~ / . ssh / authorized _ keys

设置环境变量

 

 

 

 

 

 

 

export HADOOP_HOME=/Users/wangqi/hadoop-1.2.1
export PATH=$PATH:$HADOOP_HOME/bin

 

export HADOOP_HOME = / Users / wangqi / hadoop - 1.2.1

export PATH = $ PATH : $ HADOOP_HOME / bin

配置hadoop

配置hadoop-env.sh

 

 

 

 

 

 

 

export JAVA_HOME=/System/Library/Java/JavaVirtualMachines/1.6.0.jdk/Contents/Home
export HADOOP_HEAPSIZE=2000
export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"

 

export JAVA_HOME = / System / Library / Java / JavaVirtualMachines / 1.6.0.jdk /Contents / Home

export HADOOP_HEAPSIZE = 2000

export HADOOP_OPTS = "-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"

hadoop需要java版本1.6，如果已经以及安装了1.7，需要将 JAVA_HOME 设置成1.6的路径

参考： http://guibin.iteye.com/blog/1999238

输入：

 

 

 

 

 

 

 

/usr/libexec/java_home -V

 

/ usr / libexec / java_home - V

查看所有版本的JAVA_HOME

配置core-site.xml——指定NameNode的主机名与端口

 

 

 

 

 

 

 

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/Users/wangqi/hadoop-1.2.1/tmp/hadoop-${user.name}</value>
        <description>A base for other temporary directories.</description>
    </property>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:8020</value>
    </property>
</configuration>

 

<? xml version = "1.0" ?>

<? xml - stylesheet type = "text/xsl" href = "configuration.xsl" ?>

< ! -- Put site - specific property overrides in this file . -- >

< configuration >

< property >

< name > hadoop . tmp . dir < / name >

< value > / Users / wangqi / hadoop - 1.2.1 / tmp / hadoop - $ { user . name } < /value >

< description > A base for other temporary directories . < / description >

< / property >

< property >

< name > fs . default . name < / name >

< value > hdfs : //localhost:8020</value>

< / property >

< / configuration >

配置hdfs-site.xml——指定HDFS的默认参数副本数，因为仅运行在一个节点上，所以这里的副本数为1

 

 

 

 

 

 

 

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

 

<? xml version = "1.0" ?>

<? xml - stylesheet type = "text/xsl" href = "configuration.xsl" ?>

< ! -- Put site - specific property overrides in this file . -- >

< configuration >

< property >

< name > dfs . replication < / name >

< value > 1 < / value >

< / property >

< / configuration >

配置mapred-site.xml——指定了JobTracker的主机名与端口

 

 

 

 

 

 

 

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>hdfs://localhost:9001</value>
    </property>
    <property>
        <name>mapred.tasktracker.map.tasks.maximum</name>
        <value>2</value>
    </property>
    <property>
        <name>mapred.tasktracker.reduce.tasks.maximum</name>
        <value>2</value>
    </property>
</configuration>

 

<? xml version = "1.0" ?>

<? xml - stylesheet type = "text/xsl" href = "configuration.xsl" ?>

< ! -- Put site - specific property overrides in this file . -- >

< configuration >

< property >

< name > mapred . job . tracker < / name >

< value > hdfs : //localhost:9001</value>

< / property >

< property >

< name > mapred . tasktracker . map . tasks . maximum < / name >

< value > 2 < / value >

< / property >

< property >

< name > mapred . tasktracker . reduce . tasks . maximum < / name >

< value > 2 < / value >

< / property >

< / configuration >

安装HDFS

经过以上的配置，就可以进行HDFS的安装了

 

 

 

 

 

 

 

hadoop namenode -format

 

hadoop namenode - format

启动hadoop

 

 

 

 

 

 

 

start-all.sh

 

start - all . sh

测试

输入

 

 

 

 

 

 

 

hadoop jar ./hadoop-examples-1.2.1.jar pi 10 100

 

hadoop jar . / hadoop - examples - 1.2.1.jar pi 10 100

输出

 

 

 

 

 

 

 

Warning: $HADOOP_HOME is deprecated.

Number of Maps  = 10
Samples per Map = 100
Wrote input for Map #0
Wrote input for Map #1
Wrote input for Map #2
Wrote input for Map #3
Wrote input for Map #4
Wrote input for Map #5
Wrote input for Map #6
Wrote input for Map #7
Wrote input for Map #8
Wrote input for Map #9
Starting Job
14/10/17 11:24:18 INFO mapred.FileInputFormat: Total input paths to process : 10
14/10/17 11:24:19 INFO mapred.JobClient: Running job: job_201410171123_0001
14/10/17 11:24:20 INFO mapred.JobClient:  map 0% reduce 0%
14/10/17 11:24:29 INFO mapred.JobClient:  map 20% reduce 0%
14/10/17 11:24:35 INFO mapred.JobClient:  map 40% reduce 0%
14/10/17 11:24:39 INFO mapred.JobClient:  map 60% reduce 0%
14/10/17 11:24:43 INFO mapred.JobClient:  map 70% reduce 0%
14/10/17 11:24:44 INFO mapred.JobClient:  map 80% reduce 0%
14/10/17 11:24:46 INFO mapred.JobClient:  map 80% reduce 26%
14/10/17 11:24:47 INFO mapred.JobClient:  map 90% reduce 26%
14/10/17 11:24:48 INFO mapred.JobClient:  map 100% reduce 26%
14/10/17 11:24:53 INFO mapred.JobClient:  map 100% reduce 100%
14/10/17 11:24:54 INFO mapred.JobClient: Job complete: job_201410171123_0001
14/10/17 11:24:54 INFO mapred.JobClient: Counters: 27
14/10/17 11:24:54 INFO mapred.JobClient:   Job Counters
14/10/17 11:24:54 INFO mapred.JobClient:     Launched reduce tasks=1
14/10/17 11:24:54 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=48352
14/10/17 11:24:54 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0
14/10/17 11:24:54 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0
14/10/17 11:24:54 INFO mapred.JobClient:     Launched map tasks=10
14/10/17 11:24:54 INFO mapred.JobClient:     Data-local map tasks=10
14/10/17 11:24:54 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=23343
14/10/17 11:24:54 INFO mapred.JobClient:   File Input Format Counters
14/10/17 11:24:54 INFO mapred.JobClient:     Bytes Read=1180
14/10/17 11:24:54 INFO mapred.JobClient:   File Output Format Counters
14/10/17 11:24:54 INFO mapred.JobClient:     Bytes Written=97
14/10/17 11:24:54 INFO mapred.JobClient:   FileSystemCounters
14/10/17 11:24:54 INFO mapred.JobClient:     FILE_BYTES_READ=226
14/10/17 11:24:54 INFO mapred.JobClient:     HDFS_BYTES_READ=2410
14/10/17 11:24:54 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=695028
14/10/17 11:24:54 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=215
14/10/17 11:24:54 INFO mapred.JobClient:   Map-Reduce Framework
14/10/17 11:24:54 INFO mapred.JobClient:     Map output materialized bytes=280
14/10/17 11:24:54 INFO mapred.JobClient:     Map input records=10
14/10/17 11:24:54 INFO mapred.JobClient:     Reduce shuffle bytes=280
14/10/17 11:24:54 INFO mapred.JobClient:     Spilled Records=40
14/10/17 11:24:54 INFO mapred.JobClient:     Map output bytes=180
14/10/17 11:24:54 INFO mapred.JobClient:     Total committed heap usage (bytes)=1931190272
14/10/17 11:24:54 INFO mapred.JobClient:     Map input bytes=240
14/10/17 11:24:54 INFO mapred.JobClient:     Combine input records=0
14/10/17 11:24:54 INFO mapred.JobClient:     SPLIT_RAW_BYTES=1230
14/10/17 11:24:54 INFO mapred.JobClient:     Reduce input records=20
14/10/17 11:24:54 INFO mapred.JobClient:     Reduce input groups=20
14/10/17 11:24:54 INFO mapred.JobClient:     Combine output records=0
14/10/17 11:24:54 INFO mapred.JobClient:     Reduce output records=0
14/10/17 11:24:54 INFO mapred.JobClient:     Map output records=20
Job Finished in 35.752 seconds
Estimated value of Pi is 3.14800000000000000000

 

Warning : $ HADOOP_HOME is deprecated .

Number of Maps    = 10

Samples per Map = 100

Wrote input for Map #0

Wrote input for Map #1

Wrote input for Map #2

Wrote input for Map #3

Wrote input for Map #4

Wrote input for Map #5

Wrote input for Map #6

Wrote input for Map #7

Wrote input for Map #8

Wrote input for Map #9

Starting Job

14 / 10 / 17 11 : 24 : 18 INFO mapred . FileInputFormat : Total input paths toprocess : 10

14 / 10 / 17 11 : 24 : 19 INFO mapred . JobClient : Running job :job_201410171123 _ 0001

14 / 10 / 17 11 : 24 : 20 INFO mapred . JobClient :    map 0 % reduce 0 %

14 / 10 / 17 11 : 24 : 29 INFO mapred . JobClient :    map 20 % reduce 0 %

14 / 10 / 17 11 : 24 : 35 INFO mapred . JobClient :    map 40 % reduce 0 %

14 / 10 / 17 11 : 24 : 39 INFO mapred . JobClient :    map 60 % reduce 0 %

14 / 10 / 17 11 : 24 : 43 INFO mapred . JobClient :    map 70 % reduce 0 %

14 / 10 / 17 11 : 24 : 44 INFO mapred . JobClient :    map 80 % reduce 0 %

14 / 10 / 17 11 : 24 : 46 INFO mapred . JobClient :    map 80 % reduce 26 %

14 / 10 / 17 11 : 24 : 47 INFO mapred . JobClient :    map 90 % reduce 26 %

14 / 10 / 17 11 : 24 : 48 INFO mapred . JobClient :    map 100 % reduce 26 %

14 / 10 / 17 11 : 24 : 53 INFO mapred . JobClient :    map 100 % reduce 100 %

14 / 10 / 17 11 : 24 : 54 INFO mapred . JobClient : Job complete :job_201410171123 _ 0001

14 / 10 / 17 11 : 24 : 54 INFO mapred . JobClient : Counters : 27

14 / 10 / 17 11 : 24 : 54 INFO mapred . JobClient :    Job Counters

14 / 10 / 17 11 : 24 : 54 INFO mapred . JobClient :      Launched reduce tasks = 1

14 / 10 / 17 11 : 24 : 54 INFO mapred . JobClient :      SLOTS_MILLIS_MAPS =48352

14 / 10 / 17 11 : 24 : 54 INFO mapred . JobClient :      Total time spent by allreduces waiting after reserving slots ( ms ) = 0

14 / 10 / 17 11 : 24 : 54 INFO mapred . JobClient :      Total time spent by all mapswaiting after reserving slots ( ms ) = 0

14 / 10 / 17 11 : 24 : 54 INFO mapred . JobClient :      Launched map tasks = 10

14 / 10 / 17 11 : 24 : 54 INFO mapred . JobClient :      Data - local map tasks = 10

14 / 10 / 17 11 : 24 : 54 INFO mapred . JobClient :      SLOTS_MILLIS_REDUCES= 23343

14 / 10 / 17 11 : 24 : 54 INFO mapred . JobClient :    File Input Format Counters

14 / 10 / 17 11 : 24 : 54 INFO mapred . JobClient :      Bytes Read = 1180

14 / 10 / 17 11 : 24 : 54 INFO mapred . JobClient :    File Output Format Counters

14 / 10 / 17 11 : 24 : 54 INFO mapred . JobClient :      Bytes Written = 97

14 / 10 / 17 11 : 24 : 54 INFO mapred . JobClient :    FileSystemCounters

14 / 10 / 17 11 : 24 : 54 INFO mapred . JobClient :      FILE_BYTES_READ = 226

14 / 10 / 17 11 : 24 : 54 INFO mapred . JobClient :      HDFS_BYTES_READ =2410

14 / 10 / 17 11 : 24 : 54 INFO mapred . JobClient :      FILE_BYTES_WRITTEN =695028

14 / 10 / 17 11 : 24 : 54 INFO mapred . JobClient :      HDFS_BYTES_WRITTEN =215

14 / 10 / 17 11 : 24 : 54 INFO mapred . JobClient :    Map - Reduce Framework

14 / 10 / 17 11 : 24 : 54 INFO mapred . JobClient :      Map output materializedbytes = 280

14 / 10 / 17 11 : 24 : 54 INFO mapred . JobClient :      Map input records = 10

14 / 10 / 17 11 : 24 : 54 INFO mapred . JobClient :      Reduce shuffle bytes = 280

14 / 10 / 17 11 : 24 : 54 INFO mapred . JobClient :      Spilled Records = 40

14 / 10 / 17 11 : 24 : 54 INFO mapred . JobClient :      Map output bytes = 180

14 / 10 / 17 11 : 24 : 54 INFO mapred . JobClient :      Total committed heap usage( bytes ) = 1931190272

14 / 10 / 17 11 : 24 : 54 INFO mapred . JobClient :      Map input bytes = 240

14 / 10 / 17 11 : 24 : 54 INFO mapred . JobClient :      Combine input records = 0

14 / 10 / 17 11 : 24 : 54 INFO mapred . JobClient :      SPLIT_RAW_BYTES = 1230

14 / 10 / 17 11 : 24 : 54 INFO mapred . JobClient :      Reduce input records = 20

14 / 10 / 17 11 : 24 : 54 INFO mapred . JobClient :      Reduce input groups = 20

14 / 10 / 17 11 : 24 : 54 INFO mapred . JobClient :      Combine output records = 0

14 / 10 / 17 11 : 24 : 54 INFO mapred . JobClient :      Reduce output records = 0

14 / 10 / 17 11 : 24 : 54 INFO mapred . JobClient :      Map output records = 20

Job Finished in 35.752 seconds

Estimated value of Pi is 3.14800000000000000000

安装成功

转载于:https://my.oschina.net/u/2245485/blog/733647

weixin_33681778
关注
mac安装hadoop及配置伪分布式
weixin_44570264的博客
06-20 813
mac安装hadoop 由于是mac系统，所以这里直接用homebrew安装hadoop，默认安装的位置是/usr/local/Cellar brew install hadoop #查看hadoop的信息 brew info hadoop 伪分布式配置 修改core-site.xml <configuration> <!-- 临时文件目录 --> <property> <name>hadoop.tmp.dir</
mac下搭建hadoop完全分布式集群
Tracy_xixi的博客
08-28 2034
环境要求： MacOS Big Sur 11.5.2 Parallel Desktop 17 Pro Edition FinalShell 具体步骤： 1.PD 下载 unbuntu linux 安装，安装完毕后进入终端 2.进行 hostname 的设置(永久更改主机名的方式): sudo gedit /etc/hostname 打开文件后进行修改，改为 hadoop01 确保防火墙关闭: sudo ufw status 如果是 inactive 说明关闭,如果不是则 sudo ufw disab
【hadoop学习】在Mac OS上配置hadoop伪分布式环境【下】
云计算?
10-07 118
2. 配置mac os 自身环境 这个主要是配置ssh环境。先在terminal里面输入 ssh localhost 会有错误提示信息，表示当前用户没有权限。这个多半是系统为安全考虑，默认设置的。更改设置如下：进入system preference --&gt; sharing --&gt; 勾选remote login，并设置allow access for all use...
Hadoop伪分布式安装-Mac版
龙城之家的博客
10-12 750
Hadoop伪分布式安装-Mac版环境配置brew安装 - 错误安装方式ssh登录本地配置修改格式化namenode启动namenode和datanode本地解压安装下载二进制文件解压省略配置环境变量省略修改配置格式化namenode省略启动namenode和datanode找出brew安装失败原因 环境配置 Mac版本 10.13.1 hadoop版本 3.1.1 brew安装 - 错误安装方...
Mac Hadoop伪分布式配置
zzw_17600691357的博客
04-20 162
1.core-site.xml <configuration> <property> <name>hadoop.tmp.dir</name> <value>/Users/zzw/Documents/hadoop/hadoop-2.6.5/hadoop_tmp</value> </propert...
Mac搭建hadoop伪分布式系统
somilong的博客
02-13 1069
1. 首先安装HADOOP(我的安装版本是2.7.3) $ brew install hadoop 2. 配置ssh免密登录，生成id_rsa(私钥)和id_rsa.pub(公钥)两个文件 $ mkdir ~/.ssh $ cd ~/.ssh $ ssh-keygen -t rsa 3. 将生成的公钥加入到用于认证的公钥文件中: $ cat ~/.ssh/id_rsa
第3章hadoop伪分布式环境的搭建.docx
10-08
通过以上步骤，你就可以在单台机器上成功搭建Hadoop的伪分布式环境，这对于理解和实践Hadoop的基本概念、API和工作流程非常有帮助。在深入学习和使用Hadoop的过程中，这个环境将是你探索分布式计算世界的起点。
大数据介绍 Hadoop 伪分布式 完全分布式 HDFS MapReduce yarn zookeeper
嘭嘭啊啊啊的博客
08-10 1005
大数据 数据：字母 数字 声音 影像等都是数据 数据没有任何含义，仅代表一个符号。数据是信息的载体。 信息：数据经过解释加工之后，赋予一定的含义。 信息量：消除人们对不确定因素的大小 大： 1 数据量大 基于非常非常大量的数据，甚至是海量数据才能给我们带来一定的价值。 价值是从这些数据中挖掘出来的。 2.大数据的技术 在海量数据的基础上，必须产生能处理这么大数据量的技术。 大数据： 大数据（big data），是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强
在mac环境下上进行hadoop生态环境的伪分布式部署
cx_mors的博客
07-11 231
在mac环境下进行hadoop生态环境的伪分布式部署 1、文件下载 java1.8.0_291：https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html#license-lightbox hadoop2.7.2：http://archive.apache.org/dist/hadoop/core/hadoop-2.7.2/hadoop-2.7.2.tar.gz mysql8.0.25：https://cdn.mysq
hadoop集群搭建--伪分布式
MengShi_的博客
03-28 4306
前情提要。我们搭建了单节点也就是本地hadoop集群。我直接以此为基础 扩展到伪分布式集群 目录 一、hadoop伪分布式 操作系统 软件要求 三、配置详情 1.安装虚拟机和配置网络 2. 上传jdk和hadoop 安装VMware tools 设置共享文件夹 3. 安装jdk和hadoop 解压jdk和hadoop 创建软链接 4. 配置环境变量...
Hadoop伪分布式环境搭建（MacOS）
weixin_43116678的博客
08-11 482
搭建环境前需要先了解一下Hadoop的分布式系统基础架构 Hadoop主要解决：海量数据存储及分析计算问题 Hadoop四优势： 高可靠性：集群维护多个数据副本 高扩展性：可以动态扩展（增加服务器数量） 高效性：并性工作 高容错性：能够自动将失败的任务重新分配 HDFS （Hadoop分布式文件系统） NameNode(nn): 存储文件的元数据，如文件名，文件目录结构，文件属性(生成时间、副本数、文件权限)，以及每个文件的块列表和块所在的DataNode等。 DataNod.
[Hadoop] mac搭建hadoop3.X 伪分布模式
摩登都市天空---专栏
01-11 1562
首先需要安装一个mac神器：Homebrew，相信使用mac的童鞋都知道吧！ Homebrew是一个包管理器，是Mac上的软件安装管理工具，类似于Linux中的apt-get，拥有安装、卸载、更新、查看等很多实用的功能。简单的一条指令，就可以实现包管理，十分方便. ...
Mac的伪分布式hadoop环境搭建
檐前潜心学种瓜
05-06 255
在mac环境下按照centOS的伪分布式Hadoop搭建流程会出问题，踩了一些坑，记录一下
mac搭建hadoop3.1.1伪分布模式 全网最详细教程！
带鱼工作室的博客
01-07 6299
最近实习使用到了hadoop，那今天就出一个使用mac搭建hadoop3.1.1的详细教程。帮助大家避免安装的坑！ 首先需要安装一个mac神器：Homebrew，相信使用mac的童鞋都知道吧！Homebrew是一个包管理器，是Mac上的软件安装管理工具，类似于Linux中的apt-get，拥有安装、卸载、更新、查看等很多实用的功能。简单的一条指令，就可以实现包管理，十分方便。 1、Homebr...
macOS安装伪分布式Hadoop教程
weixin_44616879的博客
08-12 628
macOS安装Hadoop3.3.0伪分布式教程 一、安装Java及jdk 安装Java 在Java官网下载并安装https://www.java.com/zh-CN/download/ 安装jdk Java安装成功后，打开terminal终端。在终端中输入命令： java 终端会自动给出提示没有可以使用的java命令，说明mac系统中没有自带的jdk。 点弹出的窗口中的“更多信息…”，按照指导步骤安装对应版本的jdk即可。 jdk安装成功后，安装成功后，打开terminal终端。在终端中输入命令： j
mac下hadoop环境的搭建以及碰到的坑点
热门推荐
chen
10-15 1万+
提示：这里有Exit code: 127 Stack trace: ExitCodeException exitCode=127: 错误的解决的方法，在文章最后面一、首先要配置好java环境 下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html mac电脑直接jdk-8u1
Mac下hadoop2.7 伪分布式安装
流沙-岁月
02-09 3109
一。MAC OS下的JDK安装及其路径 1、首先安装jdk,直接百度或者Google搜索就有MAC版本的jdk,本实验环境是jdk1.8.0_66.jdk，Hadoop的安装也必须在jdk 1.6版本以上。 2、MAC中自带有安装的jdk,查看其默认路径如图： /Java>/System/Library/Frameworks/JavaVM.framework/Versions
mac安装hadoop伪分布式
杜伟的博客
10-22 2726
杜伟 目录一、 下载jdk 1 二、 配置hadoop 1 三、 配置ssh，无密码登录 2 四、 启动hadoop 3 五、 环境配置 4一、 下载jdk 选择最新版本下载，地址：http://www.oracle.com/technetwork/java/javase/downloads/index.html 安装完成之后，打开终端，输入java -version ,出现类
Ubuntu上安装Hadoop伪分布式环境及WordCount实践
实验者需在本地电脑上安装伪分布式Hadoop，并用自带的WordCount程序处理英文网页数据。实验环境包括MacBook（Apple M1架构）和Ubuntu 20.04（arm64架构）的虚拟机，采用Hadoop 3.3.0版本。实验过程中遇到MacOS兼容性...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值