免密码登录以及它对于HDFS的意义

免密码登录与HDFS的关系

 在常规情况下,登录一台机器的时候,我们需要在连接该机器时输入相应的用户名以及密码,但是在HDFS分布式文件系统中,常常需要通过一个指令操控多台机器,比如指令“start-all.sh”,再要一个个输入用户名和密码显然不够人性化。
 这就是免密码登录的意义所在。
 当下最常见的免密码登录方式是使用SSH公钥,公钥可以这么理解:相当于把自己钥匙借给了他人,而钥匙本来就没有鉴别使用者的功能,所以说在一定程度上,这一把钥匙是公用的。

密钥的获取

生成密钥的命令:
# ssh-keygen -t dsa -P ’ ’ -f ~/.ssh/id_dsa
所生成的密钥保存在
~.ssh/ 目录下

在这里需要说一下,在~.ssh/目录下有三个文件:id_dsa id_dsa.pub和known_hosts三个文件,第一个是私钥,第二个是公钥

密钥的使用

打开公钥文件:id_dsa.pub打开,可以得到一大串看不懂的文字,把这个文件复制粘贴到你想要免密码登录的节点。

粘贴密钥
 在你想要免密码登录的节点上cd .ssh/下找到authorized_keys文件(如果没有就用touch命令创建一个)
 用authorized_keys文件追加重定向到原结点的公钥文件id dsa.pub拷贝过来的文件
在这里插入图片描述
 完成

HDFS(Hadoop Distributed File System)是Apache Hadoop生态系统中的一部分,是一个分布式文件系统,用于存储和管理大规模数据集。HDFS旨在运行在低成本硬件上,并具有高容错性、高可扩展性和高吞吐量等优点。Python是一种流行的编程语言,可以用于操作HDFS系统文件。 Python操作HDFS系统文件的背景: 随着大数据技术的发展,越来越多的企业和组织开始使用Hadoop和HDFS来存储和管理大规模数据集。而Python作为一种广泛使用的编程语言,对于许多数据科学家和工程师来说是必不可少的工具。因此,Python操作HDFS系统文件的需求也越来越大。 Python操作HDFS系统文件的研究意义: 1. 提高工作效率:使用Python操作HDFS系统文件可以帮助数据科学家和工程师更快地处理和管理大规模数据集,提高工作效率。 2. 扩展应用场景:Python的广泛应用和HDFS的高可扩展性使得Python操作HDFS系统文件的应用场景更加广泛,可以应用于各种类型的数据处理和分析。 3. 降低技术门槛:使用Python操作HDFS系统文件可以降低技术门槛,使得更多的人可以轻松地处理和管理大规模数据集。 4. 促进技术创新:Python操作HDFS系统文件的应用可以促进技术创新,鼓励开发人员开发更多的工具和库来简化数据处理和管理。 总之,Python操作HDFS系统文件是一个有意义的研究方向,可以帮助我们更好地处理和管理大规模数据集,促进数据科学和工程的发展。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值