Hadoop
LydiaaLi
This too shall pass.
展开
-
20210322 HDFS
HDFS特点适合一次读入 多次写出优点高容错性:数据自动保存多个副本,通过增加副本的形式,提高容错性某个副本丢失以后,可以自动恢复适合处理大数据数据规模文件规模可以构建在廉价机器上,多副本机制,提高可行性缺点不适合低延时的数据访问无法高效的对大量小文件进行存储存储大量小文件会占用NameNode大量内存来存储文件目录和块信息,NameNode内存是有限的小文件存储寻址时间会超过读取时间不支持并发写入、文件随机修改一个文件只能有一个 写,不允许多个线程同时写仅支原创 2021-03-22 11:14:15 · 160 阅读 · 0 评论 -
Hadoop常用端口号及配置文件
端口号Hadoop 3.xHDFS NameNode 内部通常端口号:8020/9000/9820HDFS NameNode 对用户的查询端口:9870Yarn 查看任务的运行情况:8088历史服务器:90080Hadoop 2.xHDFS NameNode 内部通常端口号:8020/9000HDFS NameNode 对用户的查询端口:50070Yarn 查看任务的运行情况:8088历史服务器:19888常用的配置文件3.xcore-site.xmlyarn-site.xml原创 2021-03-21 20:46:16 · 1278 阅读 · 0 评论