- 博客(43)
- 收藏
- 关注
RSS订阅原创 SQL题：未完成率较高的50%用户近三个月答卷情况
这是一道牛客网上SQL进阶图库中的一道困难题目，个人花了近两个小时才通过所有用例。之所以想记录下来是因为这道题算是一个很考验基本功的题目，也不乏一些SQL中的技巧。
2024-06-20 10:21:52
311
转载 raft算法与paxos算法相比有什么优势，使用场景有什么差异？
同时Raft协议中日志的commit（提交）也是连续的，一条日志被提交，代表这条日志之前所有的日志都已被提交，一条日志可以被提交，代表之前所有的日志都可以被提交。可以举个列子，A,B,C三台机器，C是Leader，term是3，A告诉C它们最后一个日志的序列号都是4，term都是3，那么C就知道A肯定有序列号为1,2,3,4的日志，而且和C中的序列号为1,2,3,4的日志一样，这是raft协议日志的连续性所强调的，好了那么Leader知道日志1，2，3，4已经被多数派（A,C)拥有了，可以提交了。
2024-04-09 10:37:16
59
原创 hadoop中hdfs的fsimage文件与edits文件
本文简要介绍了hadoop中hdfs的fsimage和edits文件的用途，并结合了实际用途进行描述
2024-04-08 20:45:49
576
原创 Flink报错：SplitFetcher thread 0 received unexpected exception while polling the records
针对报错的解决方案进行汇总，并展示我的解决方案
2024-03-27 17:12:44
929
原创 NoMatchingMethodException No matching method for class org.apache.hadoop.hive.ql.udf.UDFToString
本文主要通过一个错误提醒读者，要注意表结构与select语句各字段的一一对应
2024-03-05 16:47:45
550
原创 mv: 无法获取“/opt/module/hadoop/logs/hadoop-atguigu-nodemanager-hadoop102.out.1“ 的文件状态(stat): 没有那个文件或目录
hadoop文件配置的小问题
2023-11-04 12:12:11
1627
原创 Flink中保存点(Savepoint)和检查点(Checkpoint)的区别
本文汇总了flink中保存点和检查点之间的区别和联系，并提供相应配置代码
2023-11-04 11:27:44
153
原创 Hadoop入门之什么是YARN
如上图所示，HDFS处于YARN之外，为YARN提供应用程序所需要的数据，而YARN中可以部署很多应用，包括MapReduce HBase Spark等。通俗来讲YARN就是一个集群管理器，它可以统筹多台服务器上的资源，根据业务需要向特定应用分配资源（资源是指处理器和内存等）。Resource manager是大总管，掌管一切资源，如果有任务提交，Resource manager就会为任务分配资源。NodeManager是小总管，主要负责该节点内所有容器的生命周期的管理，监视资源和跟踪节点健康。
2023-09-24 19:54:09
59
1
原创 Linux系统中的环境变量加载顺序
因此不管是login shell还是non-login shell，启动时都会加载/etc/profile.d/*.sh中的环境变量。这两种shell的主要区别在于，它们启动时会加载不同的配置文件，login shell启动时会加载/etc/profile，而/etc/bashrc会进入到/etc/profile.d/目录下，并寻找*.sh中的环境变量。但是只有login shell会加载/etc/profile 和~/.bash_profile。
2023-09-24 10:26:53
142
1
原创 什么是注意力机制
针对刚入门深度学习，对于注意力机制不是很理解，或者希望直接了解注意力机制的同学。本文从一个现实的例子入手，形象的讲解了注意力机制的基本原理。
2023-01-31 10:58:56
161
原创 pytorch中Variable和Tensor的区别
本文简要介绍了Variable和Tensor的区别。对Variable中的常用接口和使用方法进行了介绍并附上代码。
2023-01-31 10:46:22
486
原创 如何使用Pycharm连接服务器中的anaconda环境
本文帮助读者在pycharm中配置anaconda远程连接，这样方便读者在远程服务器上训练深度学习模型
2022-11-15 10:08:14
8231
2
原创 Spark系统架构（Standalone模式）
本文简单介绍了Spark框架在Standalone模式下结构，并描述各个部分的作用及特点。文章结尾同MapReduce进行了比较
2022-10-31 10:16:15
1075
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人