![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 90
大数据
Ybb_studyRecord
这个作者很懒,什么都没留下…
展开
-
Spark-和java的区别,语法和高级特性学习
SCALA on JVM 一定有一个编译编译器 / 编译器 =>思考一个问题:scala代码和java不一样(编译器做了很多事情)原创 2022-11-14 22:51:32 · 581 阅读 · 0 评论 -
大数据-hadoop MapReduce
数据已一条记录为单位经过map方法映射成KV,相同的key为一组,这一组数据调用一次reduce方法,在方法内迭代计算着一组数据。K,v的实现:由map映射实现的~~!依赖一种数据格式:key:val。原创 2022-10-24 23:02:23 · 578 阅读 · 0 评论 -
大数据-hadoop HA
这些namenode之间是联合的,也就是说,他们之间相互独立且不需要互相协调,各自分工,管理自己的区域。每个datanode要向集群中所有的namenode注册,且周期性地向所有namenode发送心跳和块报告,并执行来自所有namenode的命令。Federation一个典型的例子就是上面提到的NameNode内存过高问题,我们完全可以将上面部分大的文件目录移到另外一个NameNode上做管理.更重要的一点在于,这些NameNode是共享集群中所有的DataNode的,它们还是在同一个集群内的。原创 2022-10-09 22:17:54 · 251 阅读 · 0 评论 -
大数据-hadoop入门与部署
有一个非常大的文本文件,里面有很多很多的行,只有两行一样,它们出现在未知的位置,需要查找到它们。NN :第一次开机的时候,只写一次FI ,假设8点,到9点的时候,EL 记录的是8~9的日志。语义:下载一个文件其实是获取文件的所有的block元数据,那么子集获取某些block应该成立。只需要将8-9点的日志,更新到8点的FI中,FI的数据就会变成9点。那么: FI 时点是怎么滚动更新的!3.内存就得到了关机前的全量数据!单机,而且可用的内存很少,也就几十兆。FI:9点+ 9点到10点的增量的EL。原创 2022-10-09 21:56:16 · 386 阅读 · 0 评论 -
大屏实时计算深度剖析(Flink 入门 技术体系剖析 实战 数据处理设计方案 核心技术点)
大屏实时计算深度剖析大屏实时计算深度剖析1. 实时计算应用场景1.1 智能推荐1.2 实时数仓大屏实时计算深度剖析1. 实时计算应用场景1.1 智能推荐什么是智能推荐?定义: 根据用户行为习惯所提供的数据, 系统提供策略模型,自动推荐符合用户行为的信息。例举:比如根据用户对商品的点击数据(时间周期,点击频次), 推荐类似的商品;根据用户的评价与满意度, 推荐合适的品牌;根据用户的使用习惯与点击行为,推荐类似的资讯。应用案例:小红书推荐系统实时流处理Flink处理(新一代大数据原创 2021-09-02 15:58:00 · 1005 阅读 · 0 评论 -
Ceph分布式存储(架构 配置与使用 原理 性能调优)
Ceph分布式存储Ceph分布式存储1. Ceph概述1.1 背景1.2 介绍1.3 特点1.4 分布式存储系统横纵对比2. Ceph架构设计2.1 Ceph整体设计2.2 逻辑架构2.3 Ceph 专业术语3. Ceph集群部署配置3.1 部署结构3.2 系统配置3.3 免密码SSH登陆3.4 集群搭建配置Ceph分布式存储1. Ceph概述1.1 背景Ceph是一个去中心化的分布式存储系统, 提供较好的性能、可靠性和可扩展性。Ceph项目最早起源于Sage就读博士期间的工作(最早的成果于2004原创 2021-08-18 13:23:20 · 3593 阅读 · 2 评论 -
Apache Durid 数据存储(Hadoop概述 安装 HDFS概述 数据存储遇到的问题)
Apache Durid 数据存储Apache Durid 数据存储1. 分布式技术1.1 为什么需要分布式1.1.1 计算问题1.1.2 存储问题1.2 分布式系统概述1.3 分布式实现方案1.3.1 分布式系统1.3.2 集群(Cluster)1.3.3 负载均衡(Load Balancer)1.3.4 弹性(伸缩性)1.3.5 故障转移2. Hadoop概述2.1 Hadoop介绍2.2 Hadoop特性优点2.3 Hadoop架构2.4 架构模型介绍2.5 Hadoop 3.0新特性2.5.1 通用原创 2021-08-21 22:03:23 · 358 阅读 · 0 评论