Hadoop-伪分布

最新推荐文章于 2023-09-24 09:34:36 发布
最新推荐文章于 2023-09-24 09:34:36 发布
阅读量1.4k 收藏 2
点赞数 2
文章标签： hadoop 数据仓库 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_52560904/article/details/121973579
版权

经过很多年的发展，hadoop生态圈不断的完善和完善，除了核心HDFS和MapReduce以外，Hadoop生态圈还包括zookeeper、HBase，Hive、pig、Mahout、Sqoop、Flume、Ambari等

接下来我会更好的完善hadoop生态圈。

Ambari：安装、部署、配置和管理工具

zookeeper：分布式协作服务

HBase：分布式数据库

hive：数据仓库

pig：数据流处理

MapReduce：分布式计算框架

YARN：资源调度和管理框架

HDFS：分布式文件系统

Sqoop：数据库ETL

Flume：日志收集

HDFS是进行存储的，YARN是进行调度的。

一、配置环境集群，这个环节我们都是在hadoop下进行的。

1、首先需要在hadoop下，所以我们要切换到hadoop下。

/opt/module/hadoop-3.1.3/etc/hadoop

设置hadoop-env.sh文件

vi hadoop-env.sh

最低0.47元/天 解锁文章
耿佳鑫
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
从CentOS到Hadoop（Linux CentOS 7 安装配置Hadoop伪分布过程详解）
ADwenwen的博客
07-31 4274
目录 零、前言 一、虚拟机安装及CentOS系统配置 二、CentOS系统及网络配置 三、SSH无密码登录 四、Java安装及环境配置 五、Hadoop0.20.0伪分布环境安装 六、运行示例 七、参考与感谢 零、前言 （一）、前言 最近在做wikipedia的东西，需要大规模处理数据，因此就需要使用hadoop工具操作。一开始想安装的linux版本是ubuntu 14和ha...
伪分布式下hadoop名称节点进程消失的问题
qq_45716068的博客
09-01 837
Hadoop学习-伪分布式下NameNode节点莫名其妙丢失**引言**排查猜测原因 引言 时隔一个暑假没有打开虚拟机，今天心血来潮（过几天上上课就要用到）想打开看看，使用start-all.sh命令启动hadoop进程，在使用jps命令之后发现缺少了关于名称节点namenode的进程（如下图所示）。 排查 在配置hadoop过程中，我记得需要为伪分布式的节点配置（我这里为node1）本地ip地址，于是使用ifconfig命令查看虚拟机的ip，发现当前ip地址为192.168.234.129 然后再使用
Linux下部署Hadoop伪分布模式
01-20
Hadoop版本为1.2.1 　　Linux使用Fedora19并使用hadoop账号安装 　　第一步：配置ssh本地登录证书（虽然为伪分布模式，Hadoop依然会使用SSH进行通信）   [hadoop@promote ~]$ which ssh /usr/bin/ssh [hadoop@promote ~]$ which ssh-keygen /usr/bin/ssh-keygen [hadoop@promote ~]$ which sshd /usr/sbin/sshd [hadoop@promote
Linux下Hadoop伪分布式安装及配置步骤
weixin_62369128的博客
06-23 2426
实现hadoop伪分布的配置，提供配置环境的搭建以及安装压缩包。
Hadoop的伪分布式运行模式
NFstriving的博客
02-25 2218
Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式。 1、本地模式 安装简单，在一台机器上运行服务，几乎不用做任何配置，但仅限于调试用途。没有分布式文件系统，直接读写本地操作系统的文件系统。 2、伪分布式模式 在单节点上同时启动namenode、datanode、jobtracker、tasktracker、secondary namenode等进程，模拟分布式运行的各个节点。配置已经很接近完全分布式。 3、完全分布式模式 正常的Hadoop集群，由多个各司其职的节点构成。 伪分布式运行.
伪分布模式下Hadoop启动没有namenode节点
最新发布
weixin_53299145的博客
09-24 672
发现是我的docker代理在使用9000端口，和我的datanode端口冲突，导致我的datanode起不来。hadoop@hadoop:~$ sudo kill -9 7975（7975是端口号）可用第二种方法：修改core-site.xml文件，把9000改成其他如9001。最后重新执行启动脚本，jps就可以看到NameNode了。原因：是端口9000已经被占用，解决办法有两个，重启hadoop就可以看到NameNode啦！第一种：查找占用端口的进程，kill掉它。如果已占用进程需要使用9000端口，
Hadoop伪分布与完全分布式的安装
weixin_44387652的博客
05-27 991
Hadoop安装1、基础集群环境准备(Centos7)1.1 修改主机名1.2 配置 hadoop 用户 sudoer 权限1.3 配置 IP地址1.4 关闭防火墙/关闭 Selinux1.5 添加内网域名映射1.6 安装 JDK1.7 同步服务器时间1.8 配置免密登录2、Hadoop 集群环境安装2.1 Hadoop 版本选择2.2 hadoop 伪分布式模式安装2.3 hadoop 完全分布式模式安装3、集群初步使用3.1 Hadoop 集群启动3.2 HDFS 集群初步使用 1、基础集群环境准备(C
2021-06-04
热门推荐
qq_45703821的博客
06-04 1万+
这里写自定义目录标题Hadoop大数据基础单选多选判断问答Hadoop环境设置单选多选判断填空问答HDFS单选多选判断填空问答YARN单选多选判断问答MapReduce单选多选判断填空问答HBase单选判断填空问答Hive单选判断填空Pig单选判断填空问答Flume单选判断填空问答Sqoop单选判断Zookeeper单选多选判断填空问答Ambari单选填空问答Mahout判断问答 Hadoop大数据基础 单选 Hadoop作者是（ ） A. Martin Fowler B. Kent Beck C.
Hadoop伪分布式
wangwangshuibingbing的博客
10-10 428
什么是Hadoop Hadoop是一个产品 产品的功能是 分布式的数据存储能力 HDFS 分布式的计算能力 MapReduce 版本介绍 1.x(没人用了) 2.x a) 2.x以后提供了Yarn平台。（规则，有没有更好的规则，编写手法 b) YARN平台提供一个接口规范。 Hadoop的核心模块： The project includes these modules: Hadoop Com...
Hadoop伪分布部署
m0_64965997的博客
12-23 97
一、在hadoop中执行 在/opt/module/hadoop-3.1.3/share/hadoop/mapreduce 目录中执行文件 命令：hadoop jar hadoop-mapreduce-examples-3.1.3.jar wordcount /opt/test/input/ /opt/test/output/count.txt 然后查看执行结果 切换到存放执行后文件/opt/test/output/count.txt目录中查看执行后的文件 二、伪分布部署 （1）部署.
Hadoop2.7.2伪分布部署
06-30
Hadoop2.7.2伪分布部署 从JDK配置到SSH面密码登陆，Hadoop的详细配置
01.Hadoop-3.0伪分布模式安装.md
09-23
01.Hadoop-3.0伪分布模式安装.md
hadoop-2.7.4 单机伪分布配置文件
05-29
hadoop-2.7.4 单机伪分布配置文件，包括4大文件，直接替换，使用的是127.0.0.1 ，无需修改
Hadoop的伪分布安装
09-25
小白进行Hadoop的伪分布式安装的一些步骤与心得，可供参考。
Docker(Hadoop-3.3.1+HBase-2.4.16+Zookeeper-3.7.1+Hive-3.1.3)配置文件
03-21
Docker(Hadoop_3.3.1+HBase_2.4.16+Zookeeper_3.7.1+Hive_3.1.3 )配置文件 搭建集群环境
Hadoop集群搭建及测试
qq_43461159的博客
03-21 4613
Hadoop集群搭建以及测试，Hadoop分发脚本，群起/停脚本。
hadoop-2.7.2伪分布模式安装教程
codeman_cdb的专栏
03-26 2479
hadoop2.7.2伪分布模式安装教程   安装环境：Ubuntu14.04- server   1.  创建hadoop用户 2. 安装ssh，配置ssh无密码登录 3. 安装Java环境 4. 安装hadoop-2.7.2 5. 配置伪分布模式 6. 启动hadoop守护进程 7. 运行hadoop伪分布式实例
Hadoop（一）伪分布
chuiyingzhen0043的博客
03-01 121
1.在win7电脑上安装VMware,然后在VMware中安装centos。（过程略） 2.关闭防火墙 其中指令： service iptables stop 关闭防火墙 service iptables status 查看防火墙状态 chkconfig --list | gre...
linux 伪分布式jps进程,第四讲：hadoop伪分布式部署并查看hdfs
weixin_34911236的博客
04-30 727
伪分布式：namenode和datanode都安装在本机上。操作流程如下：1、确保安装好jdk2、确保安装好hadoop，这里演示的用的是hadoop2.9.23、配置hadoop-env.sh、core-site.xml、hdfs-site.xml4、格式化hdfs5、启动namenode、启动datanode6、查看java进程，查看hdfs网页界面**********************...
搭建Hadoop的伪分布
03-29
搭建Hadoop的伪分布模式需要以下几个步骤： 1. 安装Java环境 Hadoop是基于Java开发的，因此需要先安装Java环境。可以从Oracle官网下载Java开发工具包（JDK）并安装。 2. 配置SSH Hadoop在运行时需要和其他节点...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值