hadoop安装配置教程&&HDFS的相关操作

最新推荐文章于 2021-10-17 20:15:40 发布
最新推荐文章于 2021-10-17 20:15:40 发布
阅读量240 收藏
点赞数
分类专栏： hadoop HDFS
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_37513998/article/details/82588172
版权
本文档详细介绍了Hadoop的安装过程，包括CDH和普通版本的下载，警告了不要删除share文件以避免shell访问HDFS时出错。配置hadoop涉及多个-site文件与-default文件的对应，并提供了官方文档链接作为参考。格式化namenode后，需启动namenode和datanode进程，并将配置同步到集群中的其他节点。HDFS操作包括创建目录、上传文件和查看修改文件。
摘要由CSDN通过智能技术生成

1：下载Hadoop。可以下载CDH版本，还有普通版本。他们的区别在与CDH在版本兼容方面出色

CDH版本的下载地址为：

http://archive.cloudera.com/cdh5/cdh/5/

普通hadoop的下载地址：

http://archive.apache.org/dist/hadoop/core/

可以选择用wget在linux中下载，也可以选择下载到windows目录下,通过工具上传到Linux

2：hadoop瘦身

千万不要删掉share文件，，，不然shell方式访问HDFS报错，

Could not find or load main class org.apache.hadoop.fs.FsShell

如果不小心删掉了，从其他机器里面拷贝出来或者重新解压安装一遍hadoop.

下面是错误的方法：

删掉share文件夹
[rachel@bigdata-pro01 hadoop-2.5.0]$ rm -rf share/
删掉cmd文件
[rachel@bigdata-pro01 hadoop-2.5.0]$ rm -rf ./*.cmd

3：用Nodepad连接虚拟机

最低0.47元/天 解锁文章
Rachel_Channing
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
图文解说HDFS的写流程
尬聊码农
05-13 148
图解版 文解版： (1)客户端先向namenode申请写入一个文件 hdfs dfs -put /etc/profile /a/b/c/a.txt 首先要确认目录是否存在 (2)Namenode会查看自己维护的目录树，确认目录是否存在，若存在，通知客户端可以进行上传 (3)客户端和namenode说我要上传第一个块，询问namendoe,第一个块存3份，存在哪儿 (4)Namenode查看自己...
Alex 的 Hadoop 菜鸟教程: 第18课 用Http的方式访问HDFS - HttpFs 教程
热门推荐
软件哲学
02-10 1万+
HttpFs 有啥用? HttpFs可以干这两件事情: 1.通过HttpFs你可以在浏览器里面管理HDFS上的文件 2.HttpFs还提供了一套REST 风格的API可以用来管理HDFS。其实很简单的一个东西嘛，但是很实用。
Hadoop分布式文件系统HDFS配置及运行示例
流年似水的博客
05-31 1106
Hadoop分布式文件系统HDFS配置及示例运行。 作者使用的是hadoop3.2.1的版本，以下示例都是以hadoop-3.2.1为基础目录进行介绍的。 1、文件配置 进入hadoop配置目录*./etc/hadoop* $ cd etc/hadoop/ (1) 配置core-site.xml文件 vi 进入编辑模式 $ vi core-site.xml 下面是hadoop官网给出的配置信息，主要是配置默认文件系统的地址，即namenode的地址信息 官网给出的fs.defaultFS的解释如下：
Hadoop之HDFS的配置（详细步骤）
大数据
10-17 1万+
纵向配置： 如果使用root账户配置全部用户的环境变量，则修改配置文件： /ect/profile 如果使用用户ZQ配置环境变量，则修改配置文件： cd /home/ZQ vim .bashrc 增加如下内容： #Hadoop export HADOOP_HOME=/home/ZQ/hadoop-2.7.6 export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH:$HADOOP_HOME/sbin /home/ZQ/hadoo....
HDFS最基本的操作命令 和基本配置
qq_43688472的博客
01-07 417
1.HDFS集群修改SecondaryNameNode位置到hd09-2 （1）修改hdfs-site.xml <configuration> //配置元数据存储位置 <property> <name>dfs.namenode.name.dir</name> <v...
Hadoop下载安装及HDFS配置教程
Mekeater的博客
06-16 7512
Hadoop下载安装及HDFS配置教程 前言 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large d
HDFS完全分布式搭建步骤
滴水穿石的博客
10-11 1231
1.准备阶段 思路： 准备4个Linux操作系统，并配置好IP地址，将NameNode在Hadoop1节点上启动，SecondaryNameNode和DataNode在Hadoop2节点上启动，其余两个DataNode分别在Hadoop3和Hadoop4节点上启动。 主机名 IP地址 NameNo...
hadoop&spark安装教程.pdf
最新发布
07-11
Hadoop的安装通常包括下载、解压、配置环境变量和配置文件、格式化HDFS以及启动Hadoop服务等步骤。以下是一个基本的安装流程： 1.下载Hadoop安装包： 1.从Apache Hadoop官网（https://hadoop.apache.org/）下载适合...
hadoop安装配置教程
11-13
【Hadoop安装配置教程】 Hadoop是一个开源的分布式计算框架，由Apache基金会开发，主要用于处理和存储海量数据。它的核心组件包括HDFS（Hadoop Distributed File System）和MapReduce，两者共同构成了大数据处理的...
hadoop-2.6.5 + eclipse附配置hdfs相关文件.zip
11-16
"eclipse附配置hdfs相关文件"可能包括了Eclipse插件（如Hadoop插件Hadoop-Eclipse-Plugin）、连接配置、或者是一些示例代码和教程，用于指导用户如何在Eclipse中配置HDFS的连接。而"hadoop-2.6.5"则包含了Hadoop的二...
hadoop安装配置共51页.pdf.zip
10-29
【描述】：这个PDF文档详细阐述了Hadoop的安装步骤，包括硬件和软件的需求、安装Java环境、下载Hadoop源码或二进制包、配置Hadoop环境变量、设置Hadoop配置文件如core-site.xml、hdfs-site.xml、mapred-site.xml和...
hadoop 单机安装配置教程
09-05
以下是一个详细的Hadoop单机安装配置教程。 1. **环境准备**： 在开始安装前，确保你的系统已经安装了Java开发环境（JDK），因为Hadoop依赖Java运行。你需要设置好`JAVA_HOME`环境变量，指向JDK的安装路径。 2. *...
手把手教你HDFS基础配置安装及命令使用！
weixin_33882443的博客
08-13 953
HDFS是基于Java的文件系统，可在Hadoop生态系统中提供可扩展且可靠的数据存储。因此，我们需要了解基本的HDFS配置和命令才能正常使用它。在使用之前，我们首先讨论如何配置安装HDFS。Hadoop以及HDFS都运行在java环境中，因此我们都需要安装JDK：设置namenode节点到datanode节点的免密登陆 1、本地免密登录2、跨主机免密登陆 3、对所有datanode执行上述操作设...
Hadoop2.X分布式集群部署
努力的凹凸曼的博客
10-16 737
本博文集群搭建没有实现Hadoop HA，详细文档在后续给出，本次只是先给出大概逻辑思路。 （一）hadoop2.x版本下载及安装 Hadoop 版本选择目前主要基于三个厂商（国外）如下所示： 基于Apache厂商的最原始的hadoop版本， 所有发行版均基于这个版本进行改进。 基于HortonWorks厂商的开源免费的hdp版本。 基于Cloudera厂商的cdh版本，Cloudera有免费版和...
Hadoop用户启动hdfs三个进程
weixin_38729343的博客
07-06 2173
一、先启动hadoop服务 [root@hadoop001 ~]# su - hadoop [hadoop@hadoop001 ~]$ cd app/ [hadoop@hadoop001 app]$ cd hadoop/ [hadoop@hadoop001 hadoop]$ sbin/start-dfs.sh 19/07/04 20:57:06 WARN util.NativeCodeLoade...
Linux(Centos7)下配置Hadoop的环境以及启动其HDFS的详细教程
弗兰-随风小欢的博客
10-12 6603
上一篇博客地址：https://blog.csdn.net/qq_32575047/article/details/102505038 由于篇幅过长，就将安装和配置Hadoop的教程分开来讲，避免博友们的视觉疲劳，上一篇博文我们说到了如何下载Hadoop并解压到Linux的自定义目录中，接下来让我们进入配置环境以及启动Hadoop的正题上吧： 在这里首先我建议大家在配置环境之前，将Hadoop...
Hadoop Hdfs配置过程全程报道
Nazroo的专栏
12-21 870
在学习Hadoop的过程中，你可能会遇到Hadoop Hdfs配置问题，本节就接着上节和大家继续分享一下Hadoop Hdfs配置方法，相信通过本节的学习你一定会对Hadoop的配置有新的认识。下面是具体步骤接介绍。 1、配置slaves,修改conf/slaves data-dfs 复制hadoop-2.20.1目录以及所有文件到DataNode和Client scp-rp/data/s
hadoop(HDFS)安装教程--简单易懂
王傲旗的大数据之路
10-25 8118
文章目录1.准备工作2.开始安装获取hadoop安装包官方文档修改环境变量修改配置文件3.格式化HDFS4.开启HDFS关闭防火墙 并永久关闭(关闭开机自启) 1.准备工作 创建一个LInux虚拟机并安装CentOS6.9的镜像 配置网卡信息 安装JDK1.8 在/root目录下创建两个文件夹 software --> hadoop安装包上传位置 app --> ha...
Hadoop 1.2.1 安装部署教程：详解HDFS与MapReduce
本篇文章是关于Hadoop 1.2.1的安装与部署教程，针对...这篇文章提供了一个全面且实用的Hadoop 1.2.1安装与部署教程，不仅包含了理论知识，还有实际操作步骤，对于想要掌握大数据处理技术的人来说是一份宝贵的参考资料。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值