- 博客(424)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 【Hadoop面试题2025】
Hadoop的NameNode负责管理所有文件和目录的元数据，如果存在大量小文件，会导致NameNode存储的元数据量急剧增加，最终可能导致内存不足，影响整个集群的稳定性。例如，使用文件的最后访问时间，周期性检查是否存在超过N个月未访问的冷文件，并采取清理或迁移策略。：系统中存在一些过时的数据，可能是某个时间段的备份文件，或者已经过期的日志文件、报表数据等，这些文件可能不会再被频繁访问。对于大数据处理框架，可以通过设置不同的存储层级，保证频繁访问的数据和冷数据的分离，避免冷数据影响热数据的处理效率。
2025-01-18 20:57:41
1001
原创 【大数据2025】MapReduce
-**起源与发展**：是2004年10月谷歌发表的MAPREDUCE论文的开源实现，最初用于大规模网页数据并行处理，现成为Hadoop核心子项目之一，是面向批处理的分布式计算框架。-**基本原理**：分为map和reduce两个阶段。map阶段将计算任务分发到数据节点并行运算，各节点得出部分结果；reduce阶段汇总部分结果得到最终结果，体现分而治之与并行运算思想，遵循计算跟着数据走、移动计算而非数据的原则。
2025-01-18 20:32:34
869
原创 【大数据2025】Yarn 总结
Yarn是分布式通用资源管理系统，处于通用计算和数据存储中间位置。解决了MapReduce的问题，使资源调度更精细且通用性增强，可调度多种计算框架作业到HDFS运行，同时对MapReduce单点故障率高的问题也有相应解决措施（后续内容应会提及具体架构优化方式）。架构组成：高可用架构由多台主节点构成，其中一台主节点处于active管理状态，其余为standby热备状态。状态决策机制：主节点间状态由zookeeper管控。
2025-01-18 19:52:10
926
原创 【大数据2025】Hadoop 万字讲解
定义：为满足海量数据存储与计算的技术或架构。4V特征数据规模巨大（Volume）：如达到10PB、50PB等海量规模。数据生成和处理速度快（Velocity）：如鞋厂2017年每天数据增量100TB，且需快速处理。数据多样性（Variety）：涵盖结构化、非结构化和半结构化数据，互联网时代后两者占比更高。价值（Value）：海量数据挖掘价值高，与人工智能结合潜力大，但价值密度低，因数据量庞大稀释了价值。满足这四个特征的场景即为大数据场景，也称大数据的4V特性。
2025-01-18 18:33:40
1004
原创 【k8s面试题2025】3、练气中期
一、可能的报错原因端口冲突原因当你为 Service 定义自定义端口时，可能会出现该端口与集群内其他服务使用的端口冲突的情况。这可能是因为选择了一个已经被其他 Service 或节点上的其他进程占用的端口号。例如，你在一个 Service 中设置端口为 8080，而另一个 Service 或者节点上的某个服务已经在使用 8080 端口进行通信，这样就会导致冲突。解决方法首先，使用检查集群中现有的服务端口，确保选择的自定义端口未被使用。可以使用或ss -tuln。
2025-01-16 22:55:09
1350
原创 【k8s面试题2025】2、练气初期
当需要在节点上运行一些特殊的监控工具或者管理工具容器时，静态Pod是一个很好的选择。例如，一个用于收集节点硬件信息的监控容器，将其作为静态Pod运行可以保证它在节点上持续运行，并且可以通过自定义的配置文件来灵活调整其运行参数。
2025-01-16 22:38:18
1193
原创 k8s 的网络问题进行检查和诊断
通过以上步骤，可以从多个方面对 k8s 的网络问题进行检查和诊断，根据具体的检查结果，可以进一步深入分析和解决问题，确保 k8s 集群的网络正常运行。不同的网络问题可能需要不同的解决方法，可能涉及网络组件的重新配置、调整网络策略、修复 DNS 服务或修复网络接口等操作。
2025-01-16 13:34:14
1495
原创 k8s 集群组件
请注意，不同的 Kubernetes 版本和部署环境可能会有一些细微的差异，但上述核心组件及其功能基本相同。同时，在生产环境中，可能会有额外的组件或插件，如网络插件（Calico、Flannel 等）、存储插件（Ceph、NFS 等），它们也需要进行状态检查和维护，以保证集群的整体性能和功能。可以快速查看一些关键组件的状态，对于出现问题的组件，可以根据相应的日志和配置文件进行深入排查和解决，以确保集群的稳定性和可靠性。在 Kubernetes（k8s）中，以下是一些重要的集群组件，可以通过。
2025-01-16 13:17:14
1150
原创 工作八年以来，最大的感悟有哪些？
上班获取收入的同时，别太在意他人言行，注重保养身体、关怀家人，切勿将工作负面情绪带回家，牢记工作是为了更好地生活，防止本末倒置。对于伤害自己的人，有机会就反击，没机会则隐忍。不仅要把自己打造成超级个体，还要挖掘其他有潜力的超级个体，形成利益共同体，确保自己在职场中有稳固的立足之地，不轻易被淘汰。无论项目成功或失败，结束后都要为自己复盘，着重总结自身可优化之处，将自身收获置于首位，而非着眼于对公司的重要性。内心要尊重事实，明白风口上的事物虽能短暂辉煌，但也有跌落的风险，避免盲目跟风，以免摔得惨痛。
2025-01-14 21:18:41
1015
原创 马克思对资本主义的剖析与当代回响
当代工人与资本主义的复杂关系- **工人经济状况的变化**：二战后，教育和服务业扩张使部分工人家庭经济改善，一些工人通过投资成为资本拥有者，如美国和英国部分家庭持有股票，这使阶级界限不再清晰。- **国家与意识形态的影响**：当代国家在资本主义社会中的作用更积极，通过提供福利等措施缓解危机、缓冲工人抵抗，但仍维持着经济不平等。同时，意识形态使工人在一定程度上接受现状，但这并不能掩盖资本主义的本质问题，下期视频将进一步分析工人满足现状背后的原因。
2025-01-12 14:24:30
1336
原创 【微服务】面试 8、分布式任务调度
主流工具：在分布式任务调度技术中，XXL - Job 是目前较为主流的工具。应用场景：在 Java 后台项目中，任务调度技术应用广泛。以 XXL - Job 为例，它主要解决了以下四个常见问题：集群任务重复执行：相比 Spring Task 在集群环境下可能出现多个实例执行同一任务的冲突情况，XXL - Job 能有效避免此类问题。Cron 表达式管理：Spring Task 将 Cron 表达式定义在代码中，而 XXL - Job 可在页面上定义，管理和修改更灵活便捷。定时任务失败处理。
2025-01-12 14:14:12
1861
原创 【微服务】面试 7、幂等性
首先解释幂等性概念，接着说明新增或修改操作可能引发幂等问题。对于新增数据，可根据表中是否有唯一索引选择使用数据库唯一索引，若没有则可采用分布式锁或 token 加 redis 方案，其中 token 加 redis 方案性能相对较高，并详细描述其流程。：适用于解决新增操作的幂等性问题，但要求表中有相应的唯一索引。
2025-01-12 14:00:40
1695
原创 【微服务】面试题 6、分布式事务
- 因微服务项目涉及远程调用可能引发分布式事务问题，需解决。- 主流解决方案有阿里 Seata 框架（含 XA、AT、TCC 模式）和 MQ。
2025-01-12 13:46:05
1636
原创 【微服务】面试题 5、分布式系统理论：CAP 与 BASE 详解
1998 年由加州大学科学家埃里克·布鲁尔提出，分布式系统存在一致性（Consistency）、可用性（Availability）、分区容错性（Partition tolerance）三个指标，且不能同时满足，此为 CAP 定理。
2025-01-12 12:24:59
1563
原创 【微服务】面试 4、限流
在没有 Nginx 或网关的情况下，可采用自定义连接器限流，但在一般微服务项目中，通常会有 Nginx 或网关，所以在面试中重点应阐述 Nginx 和网关的限流方式。
2025-01-12 12:13:59
2125
原创 【微服务】面试 3、 服务监控 SkyWalking
清晰呈现服务间调用关系，包括与数据库（如 MySQL、Redis）的调用关系，并且会将不健康的服务标红，方便直观了解服务架构健康状况和服务间的依赖关系，即使在服务数量较多的情况下也能清晰展示。
2025-01-12 11:35:48
1837
原创 【微服务】面试 2、服务雪崩
主要内容：以服务 d 为例，其包含修改和保存两个接口，若保存接口出现问题（如抛异常），服务 a 调用该接口时可加入降级逻辑。降级逻辑可提示用户“网络有问题，请稍后再试”，此时保存功能暂时不可用。核心概念：在接口出现问题时，通过自定义逻辑使部分服务功能暂时不可用，以保障服务稳定性。关键知识点：服务降级的触发条件（接口异常）、降级逻辑的设置方式（如提示信息）以及对服务功能的影响（部分功能不可用）。主要内容：由hystrix组件提供，有关闭、打开、半开三个状态，默认关闭，可在引导类上加注解开启。
2025-01-12 11:21:40
2213
原创 【微服务】面试 2、负载均衡
轮询（Round Robin）：按顺序依次调用服务实例，如有两个实例，先调用 8081，下次则调用 8082，依此类推。权重选择：依据服务器的响应时间确定权重，响应时间越长权重越小，被选中概率越低。随机测量：随机挑选一个可用服务器进行调用。最小连接数（Best Available）：忽略短路服务器，选择并发数较低（即空闲较多）的服务器。例如有两台服务器，连接数分别为 100 和 50，会选择连接数为 50 的服务器。重试机制（Retry）
2025-01-12 11:05:38
1766
原创 【微服务】面试 1、概述和服务发现
微服务面试题课程内容架构Spring Cloud 部分服务注册：重点讲解（Nacos）和（Eureka），这是微服务架构中实现服务发现与注册的关键组件，确保服务间能够相互定位与通信。负载均衡：涵盖 ribbon 的负载均衡策略及自定义负载均衡方法。ribbon 可依据不同规则将请求合理分配到多个服务实例，如轮询、随机等策略，自定义负载均衡则能根据特定业务需求灵活调整分配方式。熔断和降级：在微服务系统面临高并发或部分服务故障时，熔断机制可及时切断故障服务调用链路，防止故障蔓延；降级策略则通过暂
2025-01-12 10:55:53
2170
原创 Kafka消息队列出现消息堆积如何解决
Kafka消息队列出现消息堆积，通常是由于消息生产速度远大于消费速度，可能由消费者处理能力不足、网络问题、Kafka配置不合理等原因导致。
2025-01-11 23:13:28
1673
原创 Redis解决热key问题
当Redis遇到热key问题时，即某个或某些key被频繁访问，可能导致单个Redis节点负载过高，影响整个系统性能。
2025-01-11 21:22:27
1664
原创 【面试题】简单聊一下什么是云原生、什么是k8s、容器，容器与虚机相比优势
【面试题】简单聊一下什么是云原生、什么是k8s、容器，容器与虚机相比优势
2025-01-11 09:58:36
1871
原创 【面试】程序员 简历
简历注意事项涵盖结构、职业技能和项目描述三个方面，每个方面都有其关键要点需遵循。下节课将讲解项目寻找与学习以增加项目经验的相关内容。
2025-01-11 09:35:39
1681
原创 【面试题】技术场景 7、定位系统瓶颈
基本信息：阿里巴巴开源的 Java 诊断工具，深受开发者喜爱。功能定位类从哪个站包加载及相关异常原因，确定某些类的错误。排查代码未执行原因（如分支、git 问题）。实现线上 debug。处理线上用户数据问题。监控系统运行及 dbm 实时状态。生成火焰图。
2025-01-10 23:01:53
1349
原创 【面试题】技术场景 4、负责项目时遇到的棘手问题及解决方法
问题为在负责项目时遇到的棘手问题及解决方法，主要考察开发经验与技术水平，回答不佳会影响面试印象。提供四个回答方向，准备其中一个方向即可。此面试题高频出现，需提前准备，选择一个方向深入准备能体现技术水平。主要内容：电商项目用户登录功能，从初始逻辑集中导致维护困难，到引入工厂与策略模式解决问题。核心概念：工厂设计模式用于创建对象，策略模式将算法逻辑封装。关键知识点：理解两种设计模式作用，明白如何结合使用提高代码扩展性与维护性。总结设计模式可优化代码结构，解决业务变更时代码频繁修改问题。
2025-01-10 22:22:11
2017
原创 【面试题】技术场景 3、上传数据安全性
对称加密原理：文件加密和解密使用相同的密钥，利用市面上对称加密算法提供的密钥对原始数据进行加密，生成密文传输到后台，后台再用相同密钥解密获取原始数据，加密方和解密方需事先知晓该密钥。优点：加密速度快、效率高。缺点：若加密算法和密钥被他人知晓，可能被破解，不适合保存敏感信息。非对称加密原理：有公开密钥和私有密钥两把密钥，通常公开密钥负责加密，私有密钥负责解密，反之亦可。优点：相较于对称加密，安全性更高。缺点：加密和解密速度较慢。
2025-01-10 22:09:45
1262
原创 【面试题】技术场景 2、权限认证 RBAC
权限认证在后台管理系统中难度较大且至关重要，常见的实现方式是 RBAC 权限模型。RBAC 即基于角色的访问控制，主要包含用户、角色和权限三个基础部分。在实际开发中，实现权限认证常借助权限框架。目前流行的有阿帕奇的 Shiro 和 Spring Security，其中 Spring Security 应用最为广泛。
2025-01-10 13:59:13
1498
原创 【面试题】技术场景 1、单点登录
首先解释单点登录概念（SSO），即用户登录一次可访问多个信任系统。接着介绍自己项目中是否涉及单点登录，若参与微服务开发大概率涉及；若未涉及，需阐述实现思路，如提及常见实现方案及原理，重点说明 JWT 方式中网关校验 token、登录服务生成 token 及浏览器存储 token 等关键步骤。
2025-01-10 13:50:31
1475
原创 【设计模式】工厂方法
简单工厂：并非严格设计模式，是编程习惯。所有产品共用一个工厂，新增产品需改代码，违反开闭原则，但编程思路可借鉴。工厂方法设计模式：为每个产品提供专门工厂生产，遵循开闭原则，在项目中应用广泛。抽象工厂设计模式：适用于多维度产品配合生产，但在企业开发中使用较少。
2025-01-10 13:41:28
2232
原创 【架构设计】新闻推送系统设计
用户表：包含 id、电子邮件、出生日期、信用信息等，id 作为主线 UID。推文表：有 id、关联用户的外键、文本内容以及用于区分推文类型（如常规推文、转发）的枚举。关注者表：通过两个外键分别记录关注者和被关注者的 id，以明确用户间的关注关系。提要表：与用户和推文相关联，一个用户可拥有多个提要，每个提要包含多条推文，通过外键建立关联，此数据模型虽简单但功能强大，是系统设计的良好起点。
2025-01-09 21:01:34
1929
原创 【Python3】异步操作 redis
aioredis 在高版本已经不支持了， 不要用代码示例测试接口这将会在 Redis 中存入键为 my_key，值为 my_value 的数据。这将返回 Redis 中 my_key 对应的值，应该是 my_value。
2025-01-08 20:01:23
1466
原创 【微服务】8、分布式事务 ( XA 和 AT )
四件事概述：注册分支事务、记录数据快照、执行业务SQL并提交事务、报告事务状态。与XA模式相比，AT模式在修改数据前生成快照且立即提交事务，提升性能。
2025-01-08 13:08:20
1753
原创 记录一次面试中被问到的问题 (HR面)
总之，作为程序员，在面试中要展现出对技术的热情和专业，以及自己在技术方面的实力和潜力，同时通过合理的表达让面试官感受到你是一个积极进取、能够融入团队且具有良好职业素养的人。我熟练掌握[擅长编程语言]，深入理解其核心概念和高级特性，在数据结构和算法方面也有大量实践，能迅速设计最优算法解决复杂业务逻辑。参与过多种类型项目，如[列举项目类型]，负责过[项目主要职责]，解决过[技术难题]，提升了项目性能。四是注重代码质量与团队协作。我总是积极学习新技术，如[新技术名称]，能快速融入新知识体系，为团队带来创新思路。
2025-01-07 14:23:23
2476
远程软件,手机termux,扩展屏等
2024-10-14
开源的编程字体Menlo,Monaco,Mononoki,Ubuntu, source-code-pro
2024-02-05
C++学习资料, linux基本命令,
2023-12-06
画图/C环境/php/ssh远程连接
2023-11-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人