![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 65
青春程序不迷路
科技改变生活
展开
-
大数据岗位必备知识点总结
大数据知识技能总结原创 2022-07-03 18:27:32 · 618 阅读 · 0 评论 -
安装Airflow
主要介绍了在Windows 10 WSL环境下安装Airflow的过程,希望可以帮到你!!!原创 2022-03-04 14:27:43 · 1281 阅读 · 0 评论 -
HDFS的读写流程
HDFS的读写流程一HDFS的写的流程1.client发起文件上传的请求,通过RPC与NameNode 建立通讯,NameNode 检查目标文件是否已经存在,父目录是否存在,返回是否可以上传2.client 请求第一个block 该传输到哪些DataNode服务器上3.NameNode根据配置文件中指定的备份数量以及副本放置的策略进行文件分配,返回可用的DataNode的地址, 比如A,B,C4.client 请求3台DataNode 的一台A上传数据,A收到请求会继续调用B,然后B调用C ,将整原创 2021-05-28 14:19:27 · 147 阅读 · 0 评论 -
分布式和集群的区别
分布式和集群的区别分布式和集群,这两个概念确认容易被人搞混。而且分布式和集群,这两者,经常是我中有你,你中有我。分布式系统大家从网络上看到的学术定义简单来说就是一套由一组计算机协同工作,让用户感觉像是一个统一的整体的系统。但是,由于这个定义定的过于简练,很多初入门的人会毫无感知的潜意识就会混淆了分布式系统的概念。什么意思?我这里问下,当我们用 keepalived 做高可用集群的时候,我们是在搞分布式系统吗?当我们并发不够,搞了一堆机器做负载均衡,我们是在搞分布式系统吗?当你心里默默回答是,或者原创 2021-05-26 15:54:49 · 136 阅读 · 0 评论 -
大数据的生态现状
大数据的生态现状一大数据的概念*数据*数据是可以获取和存储的信息,直观而言,表达某种客观事实的数值是最容易被人们识别的数据(因为那是“数”)。但实际上,人类的一切语言文字、图形图画、音像记录,所有感官可以察觉的事物,只要能被记下来,能够查询到,就都是数据(data)。相关的计算单位1Byte = 8bit 1K(千)= 1024Byte 1MB(兆)=1024K 1G(吉) = 1024M1T(太)=1024G 1P(拍)=1024T 1E(艾)=1024P 1Z(泽)=102原创 2021-05-26 15:23:33 · 125 阅读 · 0 评论