- 博客(5)
- 收藏
- 关注
原创 HDFS读写流程
读:写:客户端与NameNode建立通信,请求上传,NameNode检查目标文件和父级目录是否存在NameNode返回是否可以上传客户端请求上传第一个blockNameNode检查元数据池,根据副本配置等返回可用DataNode信息如A B C客户端请求与A建立连接,A接受请求后会调用B,B接受后会调用C,将整个管道(pipeline建立完成,在逐级返回到client)客户端开始向...
2019-11-05 09:16:28
108
原创 Hadoop基础概念
Hadoop模块组成:HDFS: 用于储存(可靠的,高吞量的分布式文件系统)MapReduce: 用于计算(分布式的离线并行计算框架)YARN: 用于资源调度(作业调度与集群资源管理框架)Common: 支持其他模块的工具模块文件系统核心模块:NameNode:集群当中的主节点,用于管理集群中的各种元数据DataNode...
2019-11-01 10:50:26
116
原创 大数据基础
基本项目流程: 数据生产 → 数据采集 → 数据存储 → 数据预处理 → 数据计算 → 结果数据存储 → 结果数据展现基本特征大容量(海量化)即数据巨大从TB跃升PB多样化数据类型繁多,结构化,半结构化,非结构化快速数据增长速率快,计算处理速度也快,时效性要求高真实性数据的准确性和可信赖性,既数据的质量数据价值密度低低成本创造高价值大数据应...
2019-10-31 11:33:33
169
原创 菜鸟入门虚拟机硬盘挂载,超详细
添加磁盘2.右键选择添加硬盘,一直下一步采用推荐设置即可3.输入 lslk -f 查看是否成功,如果是在开机状态下设置的一定要重启系统才可以生效4.使用fdisk 对新添加的磁盘进行分区(通常新添加的硬盘都在/dev目录下)从这里开始进行添加分区动作如果有输入错误的,貌似是不可以删除的,CTRL+c 退出重新来一遍即可5.设置好分区后,对新建的分区进行格式化6挂载到目录有两种...
2019-10-18 09:51:43
866
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人