- 博客(15)
- 收藏
- 关注
RSS订阅
原创 广义表Head和Tail的运用-----Tail(Head(Tail(((a,b),(c,d)))))-----数据结构
先科普一下广义表Head和Tail的作用对于 非空广义表 来说，它的表头（即Head）既可能是单元素又可能是广义表。例如：Head（ （a,b,c） ）= a ;Head（（（a）,（b）））=（a）;但其表尾（即Tail）一定是一个广义表，也就是说，广义表利用Tail提取后也一定还是一个广义表。这么说有点像废话，其实不然，这里面就隐藏着一个初学者很容易踩到的陷阱。例如：Tail...
2020-05-02 13:48:27
23373
14
原创 [深度学习]图片相似度计算
"""从指定路径的图像中提取特征"""# 加载图像，调整大小为224x224，VGG16模型要求的输入大小# 将PIL图像转换为numpy数组，并添加一个维度表示批大小# 预处理图像# 通过模型获取图像的特征# 扁平化特征使其成为一维数组# 归一化特征向量以比较它们的相似性。
2024-02-23 16:51:33
2265
2
原创 [HADOOP]数据倾斜的避免和处理
如果某个键特别频繁，它可能会导致一个Reducer负载过重。可以自定义Partitioner来分散这种热点键。如果你知道某些键出现频率很高，你可以在写入数据时为这些键添加随机前缀（salting），以均匀分配。假设你有大量数据聚集在某些键上，通过对数据进行采样，我们可以确定如何更好地划分数据。在MapReduce的setup阶段读取采样数据，并根据这些数据来确定分区逻辑。有时候简单的增加Reducers的数量也能缓解数据倾斜。当一个键异常大时，可以将该键拆分成多个子键。
2023-12-25 11:03:13
1176
原创 [CLickhouse] 学习小计
在 ClickHouse 中，主键用于优化数据读取，如果表没有主键，那么在执行查询时可能需要全表扫描，这可能会影响查询性能。但有些情况下可能不需要主键，例如，如果我们的表是一个临时表或者数据量非常小。在这些情况下，使用 ORDER BY tuple() 可以避免定义不必要的主键。因为在 ClickHouse 中，ORDER BY tuple() 是用来定义表的主键的。tuple() 函数创建了一个空的元组，这意味着表没有主键，即使用 ORDER BY tuple() 可以避免定义不必要的主键。
2023-11-22 10:21:38
871
原创 利用Spring的@Cacheable和@CacheEvict注解来实现缓存
在每次调用该方法时，先从缓存中查找是否存在该userId对应的缓存值，如果存在直接返回缓存值，否则执行查询操作并将结果放入缓存中。在updateUserName方法中，使用了@CacheEvict注解，并指定了value为"users"，key为方法参数userId的值，表示在更新用户信息时需要清除该用户的缓存。在每次调用该方法时，先从缓存中查找是否存在该key对应的value，如果存在直接返回缓存值，否则执行方法并将结果放入缓存中。根据具体情况，可以设置缓存的失效时间或者手动清除缓存。
2023-04-19 11:07:00
661
原创 impala：指定分区、指定部分参数，在impala中插入数据
在这个示例中，my_table是要插入数据的表名，col1和col2是要插入值的列，date_col是用于分区的列，并且其值为'2023-04-08'。最后，'value1'和'value2'是要插入到col1和col2中的实际值。请注意，在执行此操作之前，需要首先创建包含分区的表，并在分区列上运行MSCK REPAIR TABLE命令来添加该分区到表中。在Impala中，可以使用INSERT INTO语句插入一行数据并指定部分参数和分区位置。例如，以下是一个示例。
2023-04-10 13:49:01
1372
原创 [Hadoop3.x] HDFS动态扩容/节点上线
先推荐一下Hadoop入门全过程：（共15节，非常细，我也是跟着这个配置好hadoop的）https://blog.csdn.net/m0_46413065/article/details/114667174?spm=1001.2014.3001.5501---------作者是Leokadia Rothschild---------为了避免不同的人在hadoop集群搭建上分配任务的差异，我在这里先列出我的分配表首先在VM上克隆一个虚拟机选择克隆下一页下一页选择“创建完整克隆”
2021-08-01 00:48:25
1155
2
原创 Java的五个基本注解
Java的五个基本注解@Override@Deprecated@SuppressWarnings@SafeVarargs@FunctionalInterface五个基本注解的用法：1. @Override 的作用：告诉编译者应该检查该方法，保证该类的父类中含有一个被该方法重写的方法，否则将编译错误。@Override 的用法class A{ public void info() { System.out.print("A的info()方法"); }}class B
2021-02-03 15:26:47
534
1
原创 求最小生成树的Prim算法（数据结构）C语言实现
导论：1.在连通图中，边若带有权值，则其生成树各边也均带有权值，将生成树各边的权值称为生成树的权。2.最小生成树：图的生成树最后权值最小的生成树。3.应用：可用连通图来表示n个城市及其之间可能设置的通行路线。其中，网的顶点表示城市，边表示通行路线，权值表示该路线的造价。想要总造价最低，求最小生成树即可。栗子：求该图的最小生成树：（从0开始）（1） 先找含有顶点0的最小权值边，此时需要考虑的带权边有3条：（0,1）、（0,2）、（0,3），最小权值边为（0,2）；画出（0,2）；（2）
2020-06-23 12:08:04
3089
原创 前缀码的本质（哈夫曼树）---数据结构
首先回顾一下通信编码背景与基础知识。在日常通信中，将ABCD分别 以00-01-10-11来编码，是比较原始的方法。然而，我们总是希望传递的电文总长尽可能短。于是，我们设计ABCD的编码分别为0-00-1-01，这样虽简短，但却无法实行，原因是产生了二义性。比如0000可为AAB，BB等。若要设计 不等长的编码，则必须保证一个字符的编码不是另一个字符的前缀，这种称为前缀码。解决方法：通过构造哈夫曼树即可形成通行上使用的二进制不等长码。（如下图）这样便可以一举两得：编码不会产生二义性，即虽然
2020-05-11 22:12:37
6232
原创 病人看病（数据结构）
设计一个程序，反映病人到医院看病、排队看医生的过程。 提示：病人排队看医生采用先到先看的方式，所以要用到一个队列。由于病人人数具有较大的不确定性，这里采用一个带头结点的单链表作为队列的存储结构。为了简单，病人通过其姓名来唯一标识。-------------------------以上是题目---------------------------------------编译结果如图代码：#include<stdio.h>#include<stdlib.h>#defi
2020-05-11 18:00:48
2378
原创 不用循环地按下标顺序输出数组的值（C语言）
有一长度为n的整数数组T，要求“不用循环”按下标顺序输出数组元素的值代码：#include<stdio.h>void print(int a[],int n){ static int i=0; if(i==n-1) { printf(" %d",a[i]); return; } else { printf(" %d",a[i]); i++; print...
2020-05-02 14:40:48
1848
原创 每k个节点反转链表（单链表）--数据结构--C语言算法
给你一个链表，每 k 个节点一组进行翻转，请你返回翻转后的链表。k 是一个正整数，它的值小于或等于链表的长度。如果节点总数不是 k 的整数倍，那么请将最后剩余的节点保持原有顺序。示例：给你这个链表：1->2->3->4->5当 k = 2 时，应当返回: 2->1->4->3->5当 k = 3 时，应当返回: 3->2->1-&...
2020-04-23 15:50:14
1473
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人