centos下搭建单机和伪分布式hadoop环境-(1)写在前面

由于公司需求,所以最近一个月都在自学hadoop和spark的相关知识,因此,学习的第一步就是搭建开发环境,这里先详细介绍下hadoop开发环境的搭建。


写在前面:

由于本人是hadoop和spark的初学者,博文中写的不恰当或不正确的地方,望各位读者多多提意见,再次谢谢大家!(ps:csdn的上传图片较慢,偶尔会上传失败,因此,搭建hadoop和spark环境相关的博客就不黏贴图片了,但本人会尽可能的详细说明开发环境的搭建过程)

本文要详细介绍hadoop开发环境的搭建,在介绍之前先来区分下:单机和伪分布式的区别?

单机模式(非分布式模式):就是在一台单机上运行hadoop程序,不存在分布式文件系统,只是简单的读写本地的文件系统。只能用来执行现有的程序(通常为编译好的jar包)。

伪分布式模式:该模式也是在一台单机上运行hadoop程序,和单机模式不同的地方在于,在该单机上会创建多个进程来虚拟多个节点来模拟分布式中的各类节点,这样构造的环境和多台机器的执行程序的结果一样,只是一台机器充当了多台机器的作用。(分布式其实就是多台机器充当不同的节点来充当计算or存储的角色,让数据的处理更快捷!)


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值