![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 59
动机至善
编程的三大境界:
1、初能望文生义、死记硬背,可小成(实现功能);
2、进能变通运用、举一反三,有一得(优化功能);
3、终能深入浅出、知行合一,方大就(凡事自动化)。
展开
-
Hadoop-hdfs入门-01
概述: hdfs:Hadoop Distributed File System(文件系统) 和其他文件系统最大的区别,更好的支持分布式计算。 1、hdfs的存储模型: 1、文件线性按 字节 切割成块(block)存储,具有offset和唯一标识id 2、文件与文件的block大小可以不一样 3、一个文件的除了最后一个block,其他的block大小一致 4、block的大小根据硬件的I/O特性做对应的调整 5、block分散存储在不同的集群节点上,具有location 6、Block具有.原创 2021-03-12 00:03:19 · 102 阅读 · 0 评论 -
大数据入门01
【需求驱动】 所有的学习从需求开始,学习任何知识要想事半功倍,一定要先搞清楚它存在的意义和价值 为什么要学习大数据?单机的瓶颈是什么? 单机的瓶颈:IO、内存 始于Java面向对象的思维,一直到微服务倡导的高内聚低耦合,为了让资源得到合理的使用,每个独立的小服务我们都会单独部署,服务器的配置会根据该服务的业务量去做相应的升级和降级。一般小公司单机的配置都不会太高,这就导致如果某个需求产生了大量的数据,我们需要对这些数据做及时的甚至是实时的处理,单机的瓶颈瞬间暴露,各种卡【IO】和内存泄...原创 2021-03-11 23:39:37 · 86 阅读 · 3 评论