qq_44238187的博客

原创 HDFS读写流程

读:写:客户端与NameNode建立通信,请求上传,NameNode检查目标文件和父级目录是否存在NameNode返回是否可以上传客户端请求上传第一个blockNameNode检查元数据池,根据副本配置等返回可用DataNode信息如A B C客户端请求与A建立连接,A接受请求后会调用B,B接受后会调用C,将整个管道(pipeline建立完成,在逐级返回到client)客户端开始向...

原创 Hadoop基础概念

Hadoop模块组成:HDFS: 用于储存(可靠的,高吞量的分布式文件系统)MapReduce: 用于计算(分布式的离线并行计算框架)YARN: 用于资源调度(作业调度与集群资源管理框架)Common: 支持其他模块的工具模块文件系统核心模块：NameNode:集群当中的主节点,用于管理集群中的各种元数据DataNode...

原创 大数据基础

基本项目流程： 数据生产 → 数据采集 → 数据存储 → 数据预处理 → 数据计算 → 结果数据存储 → 结果数据展现基本特征大容量（海量化）即数据巨大从TB跃升PB多样化数据类型繁多，结构化，半结构化，非结构化快速数据增长速率快，计算处理速度也快，时效性要求高真实性数据的准确性和可信赖性，既数据的质量数据价值密度低低成本创造高价值大数据应...

原创 菜鸟入门虚拟机硬盘挂载，超详细

添加磁盘2.右键选择添加硬盘，一直下一步采用推荐设置即可3.输入 lslk -f 查看是否成功，如果是在开机状态下设置的一定要重启系统才可以生效4.使用fdisk 对新添加的磁盘进行分区（通常新添加的硬盘都在/dev目录下）从这里开始进行添加分区动作如果有输入错误的，貌似是不可以删除的，CTRL+c 退出重新来一遍即可5.设置好分区后，对新建的分区进行格式化6挂载到目录有两种...

原创 sort命令