- 博客(4)
- 收藏
- 关注
RSS订阅原创 2020-09-14
第1章 MapReduce概述1.1 MapReduce定义MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。1.2 MapReduce优缺点1.2.1 优点1）MapReduce易于编程它简单的实现一些接口，就可以完成一个分布式程序，这个分布式程序可以分布到大量廉价的PC机器上运行。也就是说.
2020-09-17 11:33:34
361
原创 2020-09-04
1.配置五个配置文件1.配置core-site-xml<!--指定namenode的地址--><property><name>fs-defaultFS</name><value>hdfs://haddop102:9820</value></property><!--指定hadoop的存储路径。--><property><name>hadoop.tmp.d
2020-09-04 18:36:30
171
原创 2020-09-03
绪论1.Hadoop组成Hadoop组成 hadoop1.0组成MapReduce+HDFS+Common Hadoop3.0组成MapReduce+Yarn+HDFS+Common1.1HDFS架构概述 NameNode:存储文件的元数据，文件名、目录、以及属性等。以下简称（NN） 在集群中nn只有一个节点，所以nn是很重要的。如果nn的丢失会造成数据的无法找到指定的 文件。 DataNode：在本地文件系统的存储位置，在集群的每台服务器上都有，备份数据。每台服务器上存储...
2020-09-04 00:36:58
428
原创 2020-08-30
linux从入门到精通 1.新建虚拟机 2.选择自定义安装 1.3 默认即可,不需要做任何修改，直接下一步 1.4 选择稍后安装操作系统，然后下一步 虚拟机命名，可随意取， 安装位置最好选择固态硬盘(有固态的情况..)，快的飞起 按照物理机CPU实际情况，选择处理器配置, 处理器数量*每个处理器内存数量要小于等于物理机CPU的数量，否则报错. 查看物理机CPU数...
2020-08-30 18:06:19
127
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人