xiaofj100-CSDN博客

原创 Hadoop vs Spark

Spark和Hadoop比较

2024-09-04 17:00:17 1278 1

1）NameNode（nn）：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等。2）NodeManager(nm)：单个节点上的资源管理、处理来自 ResourceManager 的命令、处理来自 ApplicationMaster 的命令；2、JobTracker：监控资源、调度作业，监控所有的TT和Job的健康，一旦发现失败，就会将任务转移到其他节点。3）Hadoop YARN：作业调度与集群资源管理的框架；

2024-09-04 16:34:03 859

原创大数据技术生态体系

大数据生态技术体系

2024-09-03 15:39:00 701

原创 spark入门

Spark是一种快速、通用、可扩展的大数据分析引擎，其核心优势在于内存计算和高效的数据处理能力。Spark是在Hadoop基础上的改进，是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；

2024-09-03 15:09:42 1265

原创 zookeeper是啥？在kafka中有什么作用

ZooKeeper最初由雅虎研究院开发，用于解决大型分布式系统中的协调问题，特别是为了避免分布式单点故障。它被设计成一个简单易用的接口集，封装了复杂的分布式一致性协议。这使得开发者可以更专注于业务逻辑，而不是底层的协调和同步问题。zooKeeper 是用于维护配置信息，命名，提供分布式同步和提供组服务的集中式服务。所有这些类型的服务都以某种形式被分布式应用程序使用。每次实施它们时，都会进行很多工作来修复不可避免的 bug 和竞争条件。

2024-09-03 14:09:01 809

原创 kafka是什么？

副本是在分区层级下的，即每个分区可配置多个副本实现高可用。一个topic对应多个分区，分区物理分布在broker集群上，每个分区有一个leader分区和0或多个follower分区，其中leader分区可以读写，follower分区只定期拉去leader分区的内容做备份，leader分区挂了follow分区顶上。以图中为例：假定一个主题有3个分区0，1，2，分布在3个broker上，不同生产者都可以往同一topic中发消息，然后消息分别放入不同分区存储；一个有序不变的消息序列，每个主题下可以有多个分区。

2024-08-30 19:56:47 448

原创 CTF\AWD\CFS概念澄清

几个热门网络竞赛模式概念澄清

2024-08-29 16:00:03 922

原创 PTE笔记：文件上传与文件包含

PHP文件包含漏洞的产生原因是在通过PHP的函数引入文件时，由于传入的文件名没有经过合理的校验，从而操作了预想之外的文件，就可能导致意外的文件泄露甚至恶意的代码注入。2）黑名单过滤，不允许上传php、xx等，这时候，上传一个图片码，用bp抓包，在repeater中修改后缀为php3、php4、php5、phtml等；1）白名单过滤，只允许上传xx，这时候就做一个图片码，将图片码上传上去，用bp抓包，在repeater中修改后缀，然后发送，再去浏览器查看。针对../过滤-->双写..././-->..\。

2024-06-13 17:59:16 1083