![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 75
CodeMartain
有阳光 却感觉冷
展开
-
自学大数据第七天~Hadoop集群的部署与使用
我们来分析一下啊,由于要储存海量数据,DataNode的数量肯定要很多,如何找到这些海量数据就需要NameNode,所以,NameNode所在的机器要有很高的可靠性,而DataNode所在的机器由于备份机制的存在,所以没有那么高要求;对于小集群,NameNode跟JobTracker是可以运行在一个机器上的,但是随着集群中数据的增加,NameNode跟JobTracker是要运行在不同机器上的;其里面有很多元数据,为了提高数据的访问速度,这些数据都是直接保存在内存中;两个4核或8核CPU。原创 2023-03-12 19:55:44 · 318 阅读 · 0 评论 -
自学大数据第六天~HDFS命令(一)
我们在HDFS系统中删除文件,其实就像是在win/linux中,文件先被放进回收站;如果在 Hadoop Shell 运行这个命令,会提示功能还没实现。根据反馈结果,rmr在最新版本中已被废弃,推荐使用 -rm -r。查看文件内容跟~tail–>文件最后1KB内容。moveToLocal命令失败了。这风格更像是linux中的命令了。还可以下载多个文件合并到下载。先用不同命令上传到hdfs中。原创 2023-03-11 19:17:51 · 3127 阅读 · 1 评论 -
自学大数据第5天~hadoop集群搭建(二)
写入该文件,每行一个,默认localhost(即把本机(namenode也作为数据节点),所以我们在伪分布式是没有配置该文件;此处提示该命令被废弃了(这个跟hadoop版本有关,按照提示,使用mapred --daemon start 代替上述命令。/usr/local文件权限不能随便改,于是我在local下建了一个 临时文件夹,传输完成后,将文件夹移来;的,冗余通常为3,也就是说,一份数据有三分副本,所以存1G的数据需要3G的容量;于是修改文件所属为hadoop,授予文件700权限,还是不可以;原创 2023-03-08 21:48:11 · 1021 阅读 · 0 评论 -
自学大数据第四天~hadoop集群的搭建(一)
当hadoop采用分布式模式部署和运行时,存储采用分布式文件系统HDFS,此时HDFS名称节点和数据节点位于不同的机器上;数据就可以分布到多个节点,不同的数据节点上的数据计算可以并行执行了,这时候MR才能发挥其本该有的作用;之后登录虚拟机就很容易辨认出当前是处于Master节点上进行操作,不会和Slave节点产生混淆。由于本节点启动时默认没有启动网卡,所以就不关闭了,为了便于区分节点,我们还需要修改各个节点的主机名。其他的节点自己测试一下就可以,这里不再展示。修改之后的具体配置如下。原创 2023-03-05 12:08:59 · 410 阅读 · 0 评论 -
大数据之hadoop启动失败问题集锦
启动时会提示形如 “DBLab-XMU: starting namenode, logging to /usr/local/hadoop/logs/hadoop-hadoop-namenode-DBLab-XMU.out”,其中 DBLab-XMU 对应你的机器名,但其实启动日志信息是记录在 /usr/local/hadoop/logs/hadoop-hadoop-namenode-DBLab-XMU.log 中,所以应该查看这个后缀为 .log 的文件;原创 2023-03-04 17:52:26 · 1863 阅读 · 0 评论 -
自学大数据第三天~终于轮到hadoop了
前面那几天是在找大数据的门,其实也是在搞一些linux的基本命令,现在终于轮到hadoop了。原创 2023-03-04 17:47:36 · 1733 阅读 · 0 评论 -
自学大数据第二天
这不得不让我去看看hadoop-env.sh中 到底配置了什么。下面启动NameNode 守护进程 和DataNode守护进程。启动失败了,报错了----ssh本地连接被拒绝,正在查找原因S。可以看到文件中有 NameNode和DataNode。启动之前先看一下 sbin文件夹下的内容。start-dfs.sh文件中的内容。1,设置java环境的。原创 2023-02-26 20:35:14 · 109 阅读 · 0 评论 -
【大数据学习问题记录】ssh 免密码登录(设置后仍需输密码的原因及解决方法)
当nameNode通过ssh连接到datanode时,datanode就会生成一个随机数并用namenode的公钥对随机数进行加密并发送给nameNode, namenode收到加密数值后,用私钥解密,并将解密数回传给datanode,datanode确认无误后就允许namenode进行连接了;Namenode作为客户端,要实现无密码公钥认证,连接到datanode上时需要在namenode上生成一个密钥对,包括一个公钥和一个私钥,而后将公钥复制到datanode上;链接本地~仍然需要密码。原创 2023-03-02 22:56:59 · 1609 阅读 · 3 评论