十六、Hadoop1.0伪集群安装(上)

最新推荐文章于 2022-01-13 08:33:17 发布
最新推荐文章于 2022-01-13 08:33:17 发布
阅读量427 收藏
点赞数
分类专栏： 高并发系统解决套路杂谈
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huwenfeng_2011/article/details/52064622
版权
本文档详细介绍了在Hadoop1.0环境下，如何进行伪集群的安装，包括准备工作，如挂载ISO镜像文件设置yum，JDK的安装，以及SSH免密码登陆的配置，为分布式计算打下基础。
摘要由CSDN通过智能技术生成
准备工作

机器分布：

Master:

Ip 192.169.1.245 hostname: mtest

 

Salve

Ip 192.169.1.251 hostname:stest1

 

挂载ISO镜像文件做yum

1、创建文件目录


2、修改yum配置文件


3、禁用CentOS-Base.repo文件


4、备份CentOS-Media.repo文件


5、修改CentOS-Media.repo文件


6、上传ISO文件到mnt目录下

挂载文件


查看是否挂载成功：df -h




JDK安装

1、Jdk-7u60-linux-x64.tar.gz

 

2、解压

tar -xzvf jdk-7u60-linux-x64.tar.gz

 

3、移动安装目录

mv ./jdk1.7.0_60/ /usr/

 

4、配置环境变量vi /etc/profile

#java

export JAVA_HOME=/usr/jdk1.7.0_60/

最低0.47元/天 解锁文章
莫然
关注
专栏目录
linux的sshd启动失败
TingyaBak的专栏
11-30 2469
估计是被攻击了，过个假期ssh就连接不上了，远程连接提示 network refused。只能跑到机房看个究竟，首先用大家的修改方式：Linux下SSH默认22端口的修改方法如下: NO 1：01假如要改SSH的默认端口（22），那么你只要修改：/etc/ssh/sshd_config中Port 22，这里把22改成自己要设的端口就行了，不过千万别设和现已有的端口相
配置ssh信任
weixin_34149796的博客
07-16 210
ssh，即Secure Shell，它是把所有传输的数据都进行了加密。它有两个版本，即1.x和2.x，其中只有Open SSh是免费的。从客户端来看，ssh有两种级别的安全验证，一是口令验证（只要你知道账户和密码，就能登录，并且所传输的数据都是加密的），二是密匙验证（自己为自己创建一对密匙，然后把公用密匙放到服务器上；如果你连接服务器的时候，客户端首先发送一个请求，里面包括公...
ssh登录提示RSA Host key认证失败的解决方法
热门推荐
守着阳光守着你的专栏
07-11 3万+
【问题描述】 今天用ssh命令登录一台此前连接过的服务器，失败，出现下面的错误提示 【问题分析】 从提示看，很明显，是RSA key不匹配。 根据提示查看本机/home/user/.ssh/目录下，查看有如下3只文件： id_rsa id_rsa.pub known_hosts 从文件名及查看文件内容可以看出： 1，前两个是用ssh-key
修复sshd启动错误
风轻云断的博客
01-19 2333
报错如下 Could not load host key: /etc/ssh/ssh_host_rsa_key Could not load host key: /etc/ssh/ssh_host_ecdsa_key Could not load host key: /etc/ssh/ssh_host_ed25519_key 当OpenSSH服务器第一次安装到Linux系统时，SSH主机密钥应...
【Linux】积累笔记
weixin_34174422的博客
03-28 227
■　　关于查看系统的一些版本信息　 　　查看系统的发行版本可以用 cat /etc/issue 或者 cat /etc/redhat-release (Centos上) 　　查看系统的内核版本以及系统位数 uname -a #或者 cat /proc/version   ■　　rpm -qa查看所有通过rpm安装的包   ■　　export [...]　...
SSH生成自定义名称密钥，登陆失败解决办法
weixin_42122840的博客
01-18 1719
SSH免密登陆失败 检查方法 1.检查是否开启并配置好sshd/ssh服务； 2.生成私钥名称修改为id_rsa/id_dsa, 一般采用默认名称，重命名后需要修改私钥名称为默认名称； 2.可以用ssh登陆本地主机(ssh localhost)，以检查配置是否正确。 说明 1.可能是使用ssh生成的私钥对服务器进行解密时，系统默认使用id_rsa/id_dsa名称的私钥进行加密通讯。 ...
hadoop1.0\2.0学习笔记及
04-17
这包括配置Hadoop的运行环境，如安装Java环境，设置Hadoop的环境变量，配置Hadoop的配置文件如core-site.xml、hdfs-site.xml和mapred-site.xml等。同时，理解Hadoop的伪分布式和完全分布式模式也是必备的知识点。 ...
hadoop伪分布式集群搭建
雷恩Layne
03-21 1344
本文步骤较多，请细心查看。 基础设施 基础设施环境如下： jdk 1.7+（提前设置好环境变量） ssh自己和自己之间进行免密登陆，如在layne1上执行ssh layne1 时间同步 设置本机ip 设置主机名 可参考Linux切换运行级别、关闭防火墙、禁用selinux、关闭sshd、时间同步、修改时区、拍摄快照、克隆操作、修改语言环境。 另外，不得不提Linux系统远程执行和远程登陆的区别： 远程执行：不需要用户交互，而是用户直接给出一个命令，直接在远程执行，不会加载 /etc/profile.
hadoop单服务集群搭建.docx
最新发布
07-24
- 设置 MapReduce 程序调度到集群上运行。 ```xml <name>mapreduce.framework.name <value>yarn ``` #### 三、环境启动测试 1. **测试文件系统** - 在首次启动时，需要格式化 NameNode。 ```bash ...
Hadoop详解(一)——大数据和Hadoop的简介、Hadoop伪分布式的安装步骤
08-31 3952
Hadoop是什么？ 官方解释是： What Is Apache Hadoop? The Apache™ Hadoop® project develops open-source software for reliable, scalable, distributed computing. Hadoop是一个开源，可靠，可扩展的分布式计算软件。 Hadoop用于解决以下问题： 海量数据的存储(HDFS) 海量数据的分析(MapReduce) 资源管理调度(YARN)
sshd 无法启用的问题 Could not load host key: /etc/ssh/ssh_host_rsa_key Could not load host key: /etc/ssh/ss
wjw7869的专栏
03-01 1万+
原文链接： http://blog.csdn.net/lynn_kong/article/details/9112009 1、问题现象 版本：Grizzly master分支代码2013.06.17 部署：三个节点（Controller/Compute + Network + Compute） 使用的镜像：precise-server-cloudimg-i
记一次centos无法启动ssh服务的处理
future_xiaowu的博客
04-16 1969
正在准备学习ES的使用和部署，安装虚拟机后发现fileZilla无法连接虚拟机，ssh登陆时提示“ssh: connect to host *** port 22: Connection refused”，照网上方法排除发现几种处理措施： 优先查看ssh服务是否正常运行 ，随后查看linux防火墙是否关闭，若为否，则关闭防火墙，最后再考虑看端口号吧 1 、查看ssh服务 ps -e | g...
centos 下启用sshd服务
dengbenji的专栏
01-23 1004
centos 下启用sshd服务 ssh localhost 错误信息为：ssh: connect to host localhost port 22: Connection refused 这种错误很主要的一个原因是sshd服务没有启动，先启动sshd服务后就没有问题了 1、查卡服务是否启用 ps -ef | grep ssh 2、如果没有启用 则要安装 yum in...
Generating SSH Keys
AlienTech for better life!~
12-13 1451
If you have decided not to use the recommended HTTPS method, we can use SSH keys to establish a secure connection between your computer and GitHub. The steps below will walk you through generating a
Generating SSH2 ECDSA host key:[FAILED]
King config
01-13 1481
问题 ssh 启动时无法创建秘钥证书 解决方法 手动创建 ssh-keygen -q -t rsa -b 2048 -f /etc/ssh/ssh_host_rsa_key -N '' ssh-keygen -q -t ecdsa -f /etc/ssh/ssh_host_ecdsa_key -N '' ssh-keygen -t dsa -f /etc/ssh/ssh_host_ed25519_key -N '' ...
服务管理——ssh
DBA@Robin
09-08 3705
SSH 为 Secure Shell 的缩写，由 IETF 的网络工作小组（NetworkWorking Group）所制定；SSH 为建立在应用层和传输层基础上的安全协议。本文讲解ssh相关知识、ssh修改端口、ssh实现只允许内网登录，不允许外网登录、ssh登录不需要密码实现、ssh不允许root用户登录、ssh指定用户或者组登录、ssh等效性、xinetd和ssh结合使用。
centos升级ssh
weixin_30408165的博客
03-28 192
服务器漏洞扫描，提示很多ssh漏洞，原因是因为centos6.5的ssh版本太低，需要升级。 升级步骤： 1、备份ssh目录 mv /etc/ssh /etc/ssh-bak或 cp -rf /etc/ssh /etc/ssh-bak 2、下载ssh最新版，我下载的是openssh-7.6p1.tar.gz http://ftp.openbsd.org/pub/OpenBSD/O...
redhat ssh编译安装mysql_RedHat hadoop ssh配置安装
weixin_33594621的博客
02-21 104
1、Hadoop集群各节点配置192.168.232.142 master192.168.232.144 node2192.168.232.146 secondarynamenode192.168.232.148 node12、在master节点生成登陆密钥#添加hadoop用户[root@master1 opt]# groupadd hadoop[root@master1 opt]# usera...
Hadoop 2.7.1伪分布式集群安装教程：步骤详解
本篇文档详细介绍了如何在VMware Workstation上安装Hadoop 2.7.1的伪分布式集群环境。首先，文档强调了安装步骤的顺序性和安全性，确保每个环节都对后续配置起到关键作用。 1. VMware Tools工具安装：文档首先指导...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值