qq_27607437的博客

原创 大数据基础回顾1

每日小结 今年马上工作三年了，17年毕业到现在，正好复习下学到的大数据知识，如果有什么错误请指正。 hdfs管理机制 当文件被上传到hdfs上时，客户端会询问namenode元数据，namenode合理分配，将文件以块（通常为128M) 的形式分配到不同的数据节点上，也就是datanode，以及分配副本，namenode存储着数据文件的元信息，比如哪个块，在哪个datanode上。 hdfs数据更...