1-4.Hadoop安装配置-伪分布式（Hadoop系列day01）

最新推荐文章于 2024-06-05 21:38:39 发布
最新推荐文章于 2024-06-05 21:38:39 发布
阅读量288 收藏 1
点赞数
分类专栏： Hadoop系列 文章标签： hadoop 分布式 linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yusongtaochn/article/details/52600918
版权

http://archive.apache.org/dist/ （apache所有的项目都在这里）

下载Hadoop到Windows

这里写图片描述

secureCRT 有上传功能
这里写图片描述

这里写图片描述

上传Hadoop到Linux，解压到指定目录

上传成功！

创建存放目录，解压到此目录
这里写图片描述

配置Hadoop

这里写图片描述

这里写图片描述

列表内容

这里写图片描述

修改的第一个配置文件
这里写图片描述
这里写图片描述

修改第二个配置文件
这里写图片描述
这里写图片描述
修改第三个配置文件

这里写图片描述

这里写图片描述

修改第四个配置文件
这里写图片描述
发现没有这个文件，找到这个文件的模板，改后缀名。
这里写图片描述

这里写图片描述

yarn不仅仅可以运行MapReduce
还可以运行storm，，，等等的一些计算框架

修改第五个配置文件
这里写图片描述

这里写图片描述

[拓展]Linux复制粘贴命令

http://jingyan.baidu.com/article/a17d52850682f58099c8f25b.html

yust此号已弃用
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop配置文件详解系列（一）-core-site.xml篇
关于代码的那些事
03-09 4225
导读：关于hadoop的配置文件，目前其它网站资料中都是只写了几个常用的属性配置，但平时可能也会用到其它属性，这里就一起写出来，供大家参考。本篇先从core-site.xml开始，后续将继续进行其它配置文件的梳理。 属性名称 属性值 描述 hadoop.common.configuration.version 0.23.0 配置文件的版本。 hadoop.tmp.dir /tmp/hadoop-${user.name}
day1-hadoop伪分布式集群配置
weixin_61676991的博客
06-05 943
进入Linux操作系统中存放应用安装包的目录/export/software/（该目录需提前创建），然后执行rz -bey命令将JDK安装包上传到虚拟的/export/software/目录下。（13）修改 start-yarn.sh文件（在hadoop-3.2.0/sbin目录下），在文件前面增加如下内容。（14）修改stop-yarn.sh 文件（在hadoop-3.2.0/sbin目录下），在文件前面增加如下内容。（2）解压 hadoop 安装包到/export/servers目录下。
day01 伪分布式大数据Hadoop安装
Tgmmmmmmmm的博客
07-08 451
在之前配置好的centos上进行hadoop伪分布式的部署
JAVA大数据(一)简介-Hadoop环境配置，伪分布式模式架构学习用
m0_67401545的博客
09-06 912
外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mH0U4e1A-1641888708908)(day01_hadoop.assets/1628589606864.png)]简单来说大数据就是海量数据及其处理。大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产（资源）。
1、apache-kylin-3.1.3-bin-hadoop3介绍及部署、验证详解
热门推荐
alanchanchn的专栏
06-22 4万+
Apache Kylin™是一个开源的、分布式的分析型数据仓库，提供 Hadoop 之上的 SQL 查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc.开发并贡献至开源社区。Apache Kylin™ 令使用者仅需三步，即可实现超大数据集上的亚秒级查询。定义数据集上的一个星形或雪花形模型在定义的数据表上构建cube使用标准 SQL 通过 ODBC、JDBC 或 RESTFUL API 进行查询，仅需亚秒级响应时间即可获得查询结果。
Day3-hadoop伪分布式集群安装
最新发布
m0_69070708的博客
06-05 617
（a）/boot -> 1G -> 添加挂载点 -> 修改文件系统为ext4 -> 点击+（加号）（c）/ -> 45G -> 添加挂载点 -> 修改文件系统为ext4 -> 点击完成。（b）swap -> 4G -> 添加挂载点 -> 点击+（加号）打开网络按钮 -> 修改主机名 -> 点击应用 -> 点击完成。(1)打开VMware,点击文件->点击虚拟机->创建新的虚拟机。点击软件选择->点击GHOME->点击完成。
day_01小笔记----本地运行Hadoop 案例、伪分布式运行Hadoop 案例
web15285868498的博客
03-31 1220
0、hadoop1.x和hadoop2.x区别 Hadoop1.x的核心组件 与Hadoop2.x核心组件不一样 Hadoop1.x：hdfs、common、mapreduce（mapreduce同时处理业务逻辑 运算和资源调度、耦合性较大） Hadoop2.x：hdfs、yarn、common、mapreduce（增加yarn、yarn只负责资源的调度、mapreduce只负责运算） 1、概念理解 HDFS组成：namenode（存储文件的元数据）、datanode（本地储存数据）、secondary n
_00001 Hadoop-1.X 伪分布式安装
妳那伊抹微笑的专栏
02-28 2336
# hadoop前言 # Hadoop试验集群的部署结构 # 系统和组建的依赖关系 # 生产环境的部署结构 # Day1 搭建伪分布实验环境 # 准备软件 # vmare 9.0.2 # 操作系统 CentOS 6.4 # jdk-6u45-linux-i586.bin # hadoop-1.1.2.tar.gz # 开始搭建环境一 （基础环境） #
day1-hadoop伪分布式问题解决
LiuYiXuan0122的博客
06-04 678
缺少namenode节点如何解决
Hadoop日记Day20---ZooKeeper系列（四）
03-03
配置服务是分布式应用所需要的基本服务之一，它使集群中的机器可以共享配置信息中那些公共的部分。简单地说，ZooKeeper可以作为一个具有高可用性的配置存储器，允许分布式应用的参与者检索和更新配置文件。使用...
Hadoop日记Day20---ZooKeeper系列（三）
02-26
前面虽然配置了集群模式的Zookeeper，但是为了方面学建议在伪分布式模式的Zookeeper学习Zookeeper的shell命令。Zookeeper支持某些特定的四字命令字母与其的交互。他们大多数是查询命令，用来获取Zookeeper服务的当前...
Hadoop-2.8.0-Day06-Zookeeper详解-课件与资料.zip
04-30
《Hadoop-2.8.0-Day06-Zookeeper详解》是针对大数据处理框架Hadoop中的关键组件Zookeeper的一次深入解析。这个压缩包包含了相关的课件与资料，旨在帮助学习者全面理解Zookeeper在Hadoop生态系统中的角色、功能以及...
1-5.将Hadoop添加到环境变量，初始化HDFS,启动Hadoop，测试hdfs（Hadoop系列day01）
此号已弃用，搬家到：https://my.oschina.net/yust5273
09-21 2447
>>将Hadoop添加到环境变量1. [root@itcast01 Hadoop]# vim /etc/profile2. #打开这个文件之后，在文件末尾添加以下代码（上次配置的JDK也在下方写了出来） export JAVA_HOME=/uer/java/jdk1.7.0_60 export HADOOP_HOME=/itcast/hadoop-2.2.0 export PATH =$PATH
2-2.HDFS的shell操作（Hadoop系列day02）
此号已弃用，搬家到：https://my.oschina.net/yust5273
09-23 708
oohdfs：建立在Linux系统之上的一个分布式文件系统 通过命令行的方式来操作hdfs查看是否启动Hadoop 关闭Hadoop 单独启动hdfs查看启动的服务查看hdfs根目录查看hdfs根目录（简写）hdfs的管理界面Linux上文件上传到hdfs查看hdfs根目录的某个文件的内容分页查看hdfs根目录的某个文件的内容查看hdfs根目录下文件（包括文件夹中的文件），文件夹（包括文件
2-2.1.Hadoop2.0x HDFS shell命令（Hadoop系列day02）
此号已弃用，搬家到：https://my.oschina.net/yust5273
09-23 666
Hadoop2 HDFS shell命令   1. hdfs dfs -appendToFile ...   可同时上传多个文件到HDFS里面   2.  hdfs dfs -cat URI [URI ...]   查看文件内容   3. hdfs dfs -chgrp [-R] GROUP URI [URI ...]   修改文件所属组   4.  hdfs df
3-1MR介绍（Hadoop系列day03）
此号已弃用，搬家到：https://my.oschina.net/yust5273
10-22 376
MR是什么MR是一个 分布式计算编程模型Google在2004年提出来MR模型，后来Hadoop借鉴了。我们通过他提供的一些接口和类就可以实现分布式计算。MR解决了海量数据的计算。 （Map并行计算；Reduce汇总） MR概述 用户只要写Map和Reduce的实现就可以了。 MR的输入和输出都是key、value对。 Hadoop1.0时代： MR老大叫JobTracker
1-2.伪分布模式安装步骤（Hadoop系列之day01）
此号已弃用，搬家到：https://my.oschina.net/yust5273
09-19 372
伪分布模式安装步骤 关闭防火墙 修改IP 修改hostname 设置ssh自动登录 安装jdk 安装Hadoop 关闭防火墙如果是对外网提供服务的，当然不能关闭防火墙，容易被别人搞死。 那么Hadoop为什么要关闭防火墙呢？ 因为Hadoop集群一般是公司内部使用。公司内部有多台节点，通信需要占用端口，如果防火墙把那个端口保护起来，就没法进行通信了。/** 如果不想关闭防火墙，那么还有另外一
1-6.测试MR和YARN （Hadoop系列day01）
此号已弃用，搬家到：https://my.oschina.net/yust5273
09-21 369
share目录–存放jar 找到官方的小例子 上传到hdfs 测试 查看日志
Hadoop安装教程-单机-伪分布式配置-Hadoop2.6.0-Ubuntu14.04详细教程教学
06-11
好的，下面是Hadoop安装教程-单机-伪分布式配置-Hadoop2.6.0-Ubuntu14.04详细教程教学： 1. 安装Java Hadoop是基于Java开发的，因此需要先安装Java。可以在终端中输入以下命令进行安装： ```bash sudo apt-get ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值