大数据
文章平均质量分 87
大数据相关技术栈
urban_37
凡事百分百努力去做,而后才有资格评判自己是否喜欢
展开
-
HDFS常用的shell命令
HDFS1.什么是HDFS?HDFS全名为Hadoop Distributed File System,是一个分布式的文件系统,通过目录树来定位文件,是众多文件系统中的一种。2.HDFS使用场景?HDFS使用场景:适合一次写入,多次读出的场景,且不支持文件的修改。3.HDFS的优点3.1. 高容错性(1)数据自动保存多个副本,通过增加副本的形式,提高容错性(2)某一个副本丢失以后,它会自动恢复3.2. 适合处理大数据(1)数据规模:能处理GB,TB甚至PB级别的数据(2)文件规模:能够原创 2021-03-22 22:34:41 · 307 阅读 · 0 评论 -
新手搭建hadoop2.x集群并群起集群,并设置节点间SSH免密登录
新手搭建hadoop2.x集群并群起集群,并设置节点间SSH免密登录1.前提首先由于hadoop至少需要3台服务器,所以我们需要准备三台虚拟机,由于每个节点(虚拟机)很多的配置文件要去配置,而且差异不大,这个时候我们需要一种同步工具,我们期望能做到在一台节点修改之后,能同步到其它节点1.1.rsync命令rsync的作用:如果文件发生改变,可以同步不同的节点中,而且只同步发生了改变的部分rsync的语法:rsync -rvl 本地目录 账号@hostname:目录在rsync的基原创 2021-03-20 00:28:02 · 332 阅读 · 3 评论