Hadoop目录介绍与本地运行模式

最新推荐文章于 2024-09-16 09:00:00 发布

迷途老码

最新推荐文章于 2024-09-16 09:00:00 发布

阅读量170

点赞数

分类专栏： # hadoop 文章标签： hadoop 大数据

本文链接：https://blog.csdn.net/elapse008/article/details/105422040

版权

本文介绍了Hadoop的目录结构，包括bin、etc、lib等目录的作用，并通过grep和wordcount示例详细阐述了Hadoop的本地运行模式。

摘要由CSDN通过智能技术生成

1、目录介绍

|--bin
|--etc
|--lib
|--libexec
|--include
|--sbin
|--share
|--LICENSE.txt
|--NOTICE.txt
|--README.txt

bin：存放对Hadoop相关服务（HDFS,YARN）进行操作的脚本
etc：Hadoop的配置文件目录，存放Hadoop的配置文件
lib：存放Hadoop的本地库（对数据进行压缩解压缩功能）
libexec：同lib
include：c语言头文件
sbin：存放启动或停止Hadoop相关服务的脚本
share：存放Hadoop的依赖jar包、文档、和官方案例

官方文档：https://hadoop.apache.org/docs/r2.10.0/

2、本地运行模式

2.1 grep示例

在hadoop目录下

mkdir input
cp -p etc/hadoop/*.xml input/
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.10.0.jar grep input/ output 'dfs[a-z.]+'

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

迷途老码

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

hadoop文件存储位置_hdfs分布式文件系统默认数据存放路径、及相关配置属性详细解析...

weixin_42355665的博客

01-12

8148

hdfs默认数据存放路径1. 默认存放路径：{hadoop.tmp.dir} = /tmp/hadoop-${user.name}即：$> /tmp/hadoop-hyxy，注意：/tmp是临时存放文件的路径，但是有时候系统重启，或者数据量太大的时候，系统会删除里面某些数据，因此一般会修改路径到当前用户目录下：即：$> /home/hyxy/tmp/hadoop理解格式化：理解...

hadoop修改为本地目录

Java日常笔记精选的博客

07-08

746

hadoop目录创建的时候，默认在临时文件的当前用户名下 /tmp/$cuser/ 所以每次启动的时候，文件目录都会丢失，每次都要重新格式化名称节点，才可以启动创建目录命令：hadoop fs -mkdir -p /user/hadoop/data 格式化名称节点命令： hadoop namenode -format 修改为本地目录，需要修改core-site.xml文件可以在...

参与评论您还未登录，请先登录后发表或查看评论

大数据项目

闵豪miao的博客

11-05

815

1、Hadoop概述 HDFS，MapReduce，yarn 2、项目需求分析与设计 3、Linux环境配置 1、配置hostname，便于直接用主机名访问。配置host对应主机名network 配置host地址映射 2、切换到root用户下，编辑sudoers使kfk免密码输入查看防火墙状态sudo service iptables status，修改se...

hadoop目录介绍（各目录功能介绍）

小白

06-02

8071

hadoop目录1、bin：2、sbin3、etc4、lib5、logs6、include7、libexec8、share目录介绍hadoop的目录首先进入hadoop查看目录挑重要的介绍 1、bin： bin目录是Hadoop最基本的管理脚本和使用脚本所在的目录，这些脚本是sbin目录下管理脚本的基础实现，用户可以直接使用这些脚本管理和使用Hadoop 2、sbin 存放的是我们管理脚本的所在目录，重要是对hdfs和yarn的各种开启和关闭和单线程开启和守护文件名称作用 h

hadoop:win10本地运行hadoop -version提示JAVA_HOME路径不设置正确，-Xmx512m不是内部命令或外部命令

d362658566的博客

07-20

7082

1.java -version可以正常查询到版本，但是hadoop -version无法查询到哪版本 2.这个是因为JAVA_HOME路径设置问题（1）系统环境变量路劲不能有空格，比如：D:\Program Files\Java\jdk1.8.0_191 这个就不行，可以将java文件夹放到根目录下，然后将环境变量为这个目录。（2）hadoop\hadoop-2.7....

三 Hadoop运行模式之本地运行模式和伪分布式模式

01-20

【标题】: Hadoop运行模式详解：本地模式与伪分布式模式【描述】: Hadoop作为分布式计算框架，提供了多种运行模式以适应不同的场景。本文将深入探讨其中的本地运行模式和伪分布式模式，帮助读者了解这两种模式的...

Hadoop环境搭建之本地运行模式

a1786742005的博客

01-25

4878

一、hadoop本地运行模式介绍默认的模式，无需运行任何守护进程，所有程序都在单个JVM上执行。由于在本机模式下测试和调试MapReduce程序较为方便，因此，这种模式适宜用在开发阶段。使用本地文件系统，而不是分布式文件系统。 Hadoop不会启动NameNode、DataNode、JobTracker、TaskTracker等守护进程，Map()和Reduce()任务作为同一个进程的不同部分...

搭建Hadoop本地模式、伪分布模式和全分布模式集群

三头六臂的博客

05-15

2570

1、环境准备 1.1、服务器和软件准备服务器内存容量系统软件版本数量 linux 4g 100G centos8.0 jdk 1.8 5 hadoop 2.7.3 这里我用的云服务器（大家可以在自己的电脑安装虚拟机，配置内存可以调整为2g，容量的话60G就行），不方便透露服务器的IP，所以3台服务器的IP分别是A、B、C 、E和F hadoop软件下载可以到对应的官网下载hadoop-....

将本地文件目录移动（或cp）到hdfs下shell脚本

bluekeyv的专栏

04-27

5479

写了一下脚本，实现了以下功能： 1、保证同一时间只有一个该脚本的实例在运行，避免造成操作冲突 2、移动本地文件目录到hdfs下，目录路径相同 uploadtoHadoop.sh #!/bin/bash #pid=`ps -ef | grep -v grep | grep uploadtoHadoop | awk '{print $2}'` pid=`ps -ef | grep -v grep | grep uploa

HDFS文件目录结构详解

m0_37613244的博客

11-22

6283

Namenode中主要存储fsimage和editlog文件，Datanode中主要存储数据块blk文件。下面分别介绍Namenode和Datanode中的文件存储结构。文章目录1 Namenode1.1 文件所在位置 1 Namenode 1.1 文件所在位置文件所在位置由hdfs-site.xml中的配置项dfs.namenode.name.dir配置。这些文件都存于${dfs.namenode.name.dir}/current文件夹下，在dfs.namenode.name.dir配置项中可以配置

hadoop自带示例wordcount

侠客小虎的博客

01-17

2万+

1.首先确认你的hadoop启动了。 master与slave启动方式相同，进入hadoop目录下的sbin目录，命令:$cd /home/hadoop/hadoop/sbin (根据个人安装的hadoop目录调整) 启动hadoop：(1)$./start-dfs.sh (2)$./start-yarn.sh 启动后的效果如图：master如图1，slave如图2 图1 图2

hadoop 添加本机文件夹到HDFS目录以及一些简单命令

热门推荐

macanv的专栏

10-03

3万+

写完mapreduce程序后，将jar包上传到集群中run,会出现如下异常Exception in thread "main" java.lang.ClassNotFoundException: /input原因是input目录是自己的本地目录，而不是HDFS的目录，会提示你hdfs://node1:9000/input path 是不存在的，解决方法就是将本地的input目录加到HDFS目录中。

Hadoop安装包目录下几个比较重要的目录及其作用

小太阳~

04-14

9039

1、sbin目录：存放启动或停止hadoop相关服务的脚本2、bin目录：存放对hadoop相关服务（HDFS,YARN）进行操作的脚本3、etc目录：hadoop的配置文件目录，存放hadoop的配置文件4、share目录：存放hadoop的依赖jar包和文档，文档可以被删除掉5、lib目录：存放hadoop的本地库（对数据进行压缩解压缩功能）

Hadoop本地运行模式深入理解

什么最重要？算法！！

07-04

1万+

Hadoop的运行模式分为3种：本地运行模式，伪分布运行模式，集群运行模式，相应概念如下： 1、独立模式即本地运行模式（standalone或local mode）无需运行任何守护进程（daemon），所有程序都在单个JVM上执行。由于在本机模式下测试和调试MapReduce程序较为方便，因此，这种模式适宜用在开发阶段。 2、伪分布运行模式伪分布:如果Hadoop对应的Java进程都运行

以本地方式运行mapreduce程序的参数配置

zhblanlan的博客

08-26

1604

方式一在本地运行提交job的mapreduce程序的客户端 // 在代码中设置JVM系统参数，用于给job对象来获取访问HDFS的用户身份 System.setProperty(&quot;HADOOP_USER_NAME&quot;, &quot;root&quot;); Configuration conf = new Configuration();

windows本地运行hadoop的MapReduce程序

xiaobao5214的博客

11-13

4162

1.下载hadoo安装到windows本地地址 https://archive.apache.org/dist/hadoop/core/hadoop-2.6.0/hadoop-2.6.0.tar.gz 2. 解压之后进行设置环境变量新建 HADOOP_HOME D:\software\hadoop-2.6.0 Path中增加 %HADOOP_...

Hadoop 技术详解：架构、应用与未来发展