- 博客(185)
- 收藏
- 关注
RSS订阅原创 pyspark groupby
两者结果可能不同，具体取决于数据列中是否包含。假设我们有以下 DataFrame。某一列只会统计该列的非空值，而。在 PySpark 中，对于。在一般情况下是不一样的。
2024-08-06 11:39:35
316
原创 pointwise pairwise
https://blog.csdn.net/liudianzhi8880/article/details/116034345
2024-07-29 11:50:45
431
原创 pointwise pairwise
https://blog.csdn.net/liudianzhi8880/article/details/116034345
2024-07-16 19:05:10
79
原创 浅析Estimator、model_fn与EstimatorSpec
Estimator是高层接口，用于管理和运行模型。model_fn是用户定义的函数，用于构建模型的计算图并返回。定义了模型在不同模式下的行为，由model_fn返回，并由Estimator使用。
2024-07-02 17:30:24
878
原创 [论文阅读] ZeRo
zero主要用于数据并行对于大模型来说，内存主要用来保存模型状态，主要有半精度训练：模型某层的w，和层的输入输出，都使用fp16例如，Wx = y ，这三者都是fp16但是有一个问题，fp16通常精度不够，加着加着就炸了，或者，太小的情况一直加都是0。这个情况在累积权重（不断把梯度的东西加进来）的时候会出现，所以如果权重也是fp16的话，可能加半天都加不动。所以权重更新使用fp32，也即是权重还有一个fp32的copy，作梯度更新的时候使用fp32，然后转成fp16，再参与前向后向计算。
2024-06-04 15:48:09
388
原创 centos7 切换gcc9 并配置ccache
centos 自带 gcc 版本太老，希望升级首先安装新的gcc，g++等为了永久切换到GCC 9，你可以将相关的命令添加到你的shell启动脚本中。这里以bash为例，如果你使用其他shell（例如zsh），可以相应地调整。
2024-05-30 17:50:00
365
原创 centos7 安装高版本 clang11
tools/clang/build/通过这些步骤，您可以在目录中构建LLVM和Clang，而不会干扰源代码目录。这种方法使得管理和切换不同的构建配置变得更加容易。
2024-05-30 17:30:52
403
原创 KNN算法 比较
在最后一轮（第9-10行）中，对每个silo执行明文范围查询(plaintext range query)PRQFi（circle（p，thres）），我们使用secure set union来获得最终结果。Alg.2采用W（W>1）个循环来计算第4-8行中的最终结果，并且每个循环决定k/W个最近邻居（k/W NN）。在每次迭代中，第3行中的thres设置为（l+u）/2。在第3-5行中，我们使用半径ri表示到查询位置lq的第k个最近距离，使用areai表示到中心lq的半径为ri的圆的面积。
2024-05-28 10:55:22
764
原创 Secure Operation
此时，tset3 = {1, 2, 3, 4, 5, 6, 7}，它等于 set1, set2 和 set3 的并集。在正式开始安全求和操作之前，每对数据拥有者 Si 和 Sj (i < j) 需要事先秘密协商一个随机数 sci,j。接下来，每个数据拥有者根据公式 perturb 自己的值：（加上比自己大的id的协商值，减去比自己小的协商值）通过这种方式，算法在保证数据隐私的前提下，成功地计算出了多个数据拥有者的集合并集。通过这种方式，算法在保证数据隐私的前提下，成功地计算出了多个数据拥有者的值的和。
2024-05-28 10:50:18
554
原创 【论文阅读】High-Dimensional Approximate Nearest Neighbor Search: with Reliable and Efficient DCO
如第1节所述，DCO大量参与许多AKNN算法。这些算法通过计算o的距离并将距离与r进行比较，自然地对对象o和距离r进行DCO。我们将这种传统方法称为FDScanning，因为它使用o的所有维度来计算距离。显然，FDScanning具有O（D）的时间复杂性。接下来，我们回顾了现有的AKNN算法，并从理论和经验上验证了DCO在这些算法中的关键作用。
2024-05-21 18:00:37
661
原创 GPS 与 UTM 坐标转换
例如 porto 某处经纬度 为 (-8.618643, 41.141412)，输入相应的经纬度，则查询到UTM Zone为29T，29表示此处属于第29条经度带，T表示纬度带为T带（这个一般没用，29才是重要信息）东距和北距用于描述地理笛卡尔坐标系里的任意点的坐标。东距描述X坐标，北距描述Y坐标。这一对直角坐标通常在大地基准面上测量得到，单位是米。任意位置的坐标都可以用一对笛卡尔坐标表示。根据惯例，东距在前，北距在后。然后我们在网站中查询29N,(北半球为N)（南半球为S）UTM 带 快速查询。
2024-03-01 18:52:13
700
原创 t2vec code
请注意，具体的组织结构可能取决于你的数据和代码的具体实现。你可以使用h5py或其他HDF5文件阅读工具来查看生成的HDF5文件的详细结构。这是基于时间戳的假设，具体的时间间隔可能需要根据你的数据集的特点进行调整。函数创建了一个HDF5文件，并将处理后的数据存储到文件中。是一个可选参数，表示数据的存储路径，默认为 “/home/zzq/project/t2vec/data”。如果存在参数文件，则从文件中读取参数，否则创建参数并保存到文件中。对象，用于表示一个空间区域，包含了区域的地理信息和一些超参数。
2024-01-12 02:29:24
1001
原创 如何提高RAG增强的准确性
在一个典型的RAG应用开发中，必要的步骤为文档加载，文档拆分，向量化，向量存储。然后基于向量存储进行相似性查询，或基于向量距离的查询。这类查询就叫检索，LangChain所提供的对应组件就是检索器。但这种方式在查询语句发生微小变化时可能就会带来不同的结果。LangChain则提供了一系列更高级的检索实现，帮助开发者解决这类问题，或提高检索质量。今天我们介绍第4种，MultiVector Retriever（多向量检索器）。
2023-12-18 02:58:10
352
原创 LLM tip
langchain+文档+openai embedding+openai 3.5 turbo 快速搭建一个本地知识问答系统，视频也尝试了本地模型进行embedding，效果比较差。视频附上相关的ipynb的代码。
2023-12-17 20:27:26
110
原创 llm with vector db
通过集成相关知识，不仅大大提高了语言模型的性能，而且在实现可比性能的同时，还大大降低了对模型大小的要求。我们提出的知识注入模型的性能超过了GPT-3.5-turbo和最先进的知识注入方法SKILL，在MetaQA上的精确匹配分数提高了1.5倍以上。此外，我们发布了两个精心策划的数据集，以加速专业领域的知识注入研究：a）AeroQA，一个新的基准数据集，专为航空领域的多跳问答而设计；我们的研究有助于推进特定领域的语言理解领域，并展示了知识注入技术在提高语言模型在问答中的性能方面的潜力。
2023-11-19 03:13:06
199
原创 Quantile Loss
基本上，在这种情况下，量值损失对低估预测的惩罚是高估预测的 4 倍。因此，拟合模型平均在大约 80% 的情况下会高估结果，在 20% 的情况下会低估结果。让我们计算两种情况下的量化损失。为了更好地理解其背后的逻辑，假设我们的目标是预测 80 分位数，因此将 α = 0.8 的值插入公式中。事实上，这句话等同于预测误差在 75% 的情况下必须为负，而在另外 25% 的情况下必须为正。定量qₐ是一个值，它将一组给定的数字进行划分，其中 α * 100%的数字小于该值，(1-α) * 100%的数字大于该值。
2023-11-03 10:42:09
185
原创 Mgeo：multi-modalgeographic language model pre-training
ed是地理对象的唯一标识符，es区分道路和ROI，em描述不同地理对象之间的位置关系。MGM与广泛使用的掩码语言建模（MLM）[5]一样，MGM 的目的是预测掩码地理特征，即 OSM ID、几何类型、替代矩形的各边、关系类型和相对位置。地理编码器将地理位置 l 作为输入，将 GC 作为一种新的模态映射到密集表征中，其中包含周围地理对象的特征 {o1, o2, ., on }。我们设计了两个任务来训练地理编码器，并在以后的使用中固定下来，即屏蔽地理建模（MGM）和地理对比学习（GCL）。
2023-10-31 18:27:02
920
原创 Trajectory Data Collection with Local Differential Privacy（论文翻译）
NYC由从Foursquare数据集[43]中提取的纽约市的入住轨迹组成，而从Gowalla数据集[12]中提取的CHI和CLE分别由芝加哥和克利夫兰的入住轨迹构成。它通过使用本研究中提出的机制中使用的相同效用函数，即−dist（·），来扰动轨迹中的每个点。对于ε′，ε′4用于确定区域。由于区域大小在确定轨迹区域中起着更重要的作用，ε′4的四分之一用于扰动轨迹锚，而其他四分之三用于扰动半径。由于方向对轨迹的扰动有较大的影响，3ε′4的四分之三被均匀划分以扰动方向，而另四分之一被均匀划分来扰动点。
2023-10-18 00:47:05
179
原创 解决error: subprocess-exited-with-error
【代码】解决error: subprocess-exited-with-error。
2023-07-10 14:24:55
812
原创 【无标题】
情感计算是人工智能的一个分支。计算与情感有关、产生于情感或影响情感[1]。情感自动识别是情感计算的一个研究领域。这一领域的研究正在迅速发展，这要归功于可负担得起的捕捉大脑信号的设备的可用性，这些设备可以作为解码情绪和脑电图（EEG）变化之间关系的系统的输入。这些设备被称为基于脑电的脑机接口（BCIs）。这项工作回顾了使用脑电信号和脑机接口进行情绪识别的进展，以（1）识别算法使用和技术的趋势，（2）检测必须克服的潜在错误以获得更好的结果，以及（3）识别该领域可能存在的知识差距。
2023-06-06 18:09:26
578
原创 code of ridesharing
订单提交到系统时间、起点node的id、终点node的id、要求多少座位。司机个数 、capacity 、、变换的系数。司机所在位置、capacity。两个节点之间的weight。
2023-05-15 21:55:10
147
原创 【论文阅读】The Simpler The Better: An Indexing Approach for Shared-Route Planning Queries
近年来，拼车服务作为一种方便、经济、可持续的交通方式在全球范围内广受欢迎。这些服务中的一个基本挑战是规划乘客之间的共享路线（即出发地和目的地的顺序），以使平台的总收入最大化。尽管许多方法可以解决这个问题，但无论是实证研究（例如，总收入比我们的方法低31%以上）还是理论研究（例如任意糟糕或不切实际的理论保证），它们的有效性都远未达到最佳。在本文中，我们研究了拼车服务中的共享路线规划查询，并重点设计了具有良好近似保证的高效算法。
2023-05-10 19:42:41
249
1
原创 Could not find a version that satisfies the requirement解决办法
请一定不要挂着梯子用国内源。
2023-05-09 20:50:10
1389
2
原创 support函数
p* 表示任何值 v1 映射到它自己的支持集的概率，q* 表示任何其他值映射到 v1 的支持集的概率。纯协议要求任何值v1映射到其自己的支持集的概率对于所有值都是相同的。我们用p*来表示这种概率。为了满足ε-LDP，我们必须有 q* > 0，因为不同的值必须可以映射到 v1 的支持集。对除了v1的其他值扰动后，让其能统计回v1的概率为q*对v1进行扰动后，让其能统计回v1的概率为p*
2023-04-08 20:25:45
144
原创 本地差分隐私
随着d变大，DE 对 d 的依赖性是不可接受的，随后的方法消除了这种依赖性。local hashing方法让每个用户选择一个散列函数来对他们的输入进行编码，然后将散列函数与通过直接编码 [15] 编码的散列输入一起发回。在这里，哈希的域被选择为 g，它是 ε 的函数，通常比 d 小得多。也就是说，用户 i 选择一个（通用）哈希函数 ℎ。映射 [d] → [g]。接下来，用户对散列值 ℎ。) 应用直接编码，并将此输出与 ℎ。
2023-04-08 02:04:13
630
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人