- 博客(69)
- 收藏
- 关注
原创 Recall/Coarse Ranking/Fine Ranking
一、召回(Recall)召回是推荐系统的第一个环节,主要根据用户的部分特征(如历史行为、兴趣偏好等),从海量的物品库中快速找回一小部分用户潜在感兴趣的物品。召回环节强调快速和低延迟,因为需要处理的数据量极大。召回的结果通常是一个较大的候选集,包含多个可能符合用户兴趣的物品。召回的目标是从千万级甚至亿级的候选中召回几千个物品,这些物品会作为后续排序阶段的输入。二、粗排(Coarse Ranking)粗排位于召回和精排之间,是对召回结果的一个初步筛选和排序。
2024-10-22 22:40:15 674
原创 npm npx 慢?
请注意,根据历史信息,淘宝npm镜像原地址https://registry.npm.taobao.org在2022年6月30日后已不再可用,因此应使用新地址https://registry.npmmirror.com/。解决npx速度慢的问题,可以通过更换npm源为国内镜像源、清除npm缓存、使用cnpm、以及检查本地网络等方法。清除npm缓存:清除npm缓存有时候可以解决一些由于缓存引起的问题。使用cnpm:cnpm是npm的一个国内镜像,使用它可以加快下载速度。
2024-09-01 21:41:42 441
原创 Python and Finance
Pandas广泛应用于数据科学、数据分析、金融建模等领域,是数据分析和机器学习项目中不可或缺的工具。HDF5是一种用于存储和组织大量数据的文件格式,它支持数据的压缩、索引和复杂的查询,非常适合科学计算、数据分析和机器学习等领域。NumPy数组是高效的,因为它们存储在内存中的连续块中,并且NumPy内部对数组操作进行了优化,这使得它成为Python中执行数值计算的首选库。SciPy(Scientific Python)是一个开源的、基于Python的科学计算库,它提供了广泛的数学、科学和工程计算功能。
2024-08-31 12:17:10 1616
原创 Extended Line Description in Halcon and OpenCV
In HALCON, the term XLD refers to “Extended Line Description.” XLDs are used to represent precise geometrical features, such as lines, contours, ellipses, and polygons, at a subpixel level for high-precision tasks. XLDs are especially useful in industrial
2024-08-30 20:47:20 1074
原创 What are some of halcon‘s best algorithms that opencv doesn‘t implement
HALCON, a highly optimized machine vision library, offers a range of advanced algorithms that OpenCV either doesn’t implement or handles differently. Some of the key strengths of HALCON compared to OpenCV include:
2024-08-30 20:06:55 1555
原创 Incremental Text-to-Speech
ITTS(Incremental Text-to-Speech,增量式文本到语音)模型是一种在文本到语音(TTS)转换中逐步生成语音的技术。这种技术的主要优势在于其理论上可以实现纯正的流式(streaming)处理,即边接收文本边生成语音,从而减小了延迟(latency)。然而,ITTS模型的研究相对较少,部分原因是其生成的语音质量通常无法与整句合成的效果相媲美。尽管如此,随着技术的发展,ITTS模型在实时语音合成、交互式语音系统等场景中展现出了巨大的潜力。
2024-08-30 15:46:33 411
原创 Group Theory
The definition of a Group:Set of elementsOperation: *Closed under *InversesIdentity: eAssociativeMotivation for the definition of a groupSerious PostscriptCommutative groups are called Commutative Groups or Abelian GroupsThe definition of a S
2024-08-30 15:31:28 269
原创 Rust: Reading and Writing Files
我们需要某种方法从文件系统中实际获取数据,以便处理它,并在完成后将其写回来std::fs::read_to_string返回Result<String, std::io::Error>。如果函数成功,它将生成一个String。如果失败,它会产生std::io::Error,这是表示I/O问题的标准库类型。
2024-08-27 22:33:50 648
原创 Rust: Filesystems and Command-Line Tools
例如,bat命令提供了一个支持语法高亮显示的cat替代方案,它内置了对分页工具的支持,而且hyperfine可以自动对任何可以通过命令或管道运行的东西进行基准测试。作为一种现代、安全和快速的系统编程语言,它为程序员提供了一个工具箱,他们可以使用它来组装精美的命令行界面,这些界面可以复制或扩展现有工具的功能。对于我们的程序,我们还需要另外两个crate:用于在终端中创建彩色输出的text- colorizer和用于实际搜索和替换功能的regex。Rust已经在命令行工具的世界中找到了一个重要的位置。
2024-08-27 13:12:57 1243
原创 Python lambda
这些函数可以接受任何数量的参数,但只能有一个表达式。由于函数是匿名的,因此它们不能直接通过常规的函数名调用方式(例如 my_function())来调用,而是通常作为参数传递给高阶函数(即接受函数作为参数或返回函数的函数),例如 filter(), map(), 或在定义简单函数对象时使用。尽管 lambda 函数提供了方便的方式来编写简短的单行函数,但它们的使用应当适度。arguments 是传递给函数的参数,可以有一个或多个,甚至也可以没有(创建一个不接受任何参数的 lambda 函数)。
2024-08-27 10:56:31 172
原创 Rust : zero-cost abstraction
特征是一种定义跨类型共享行为的方法,但使用特征不会引入运行时开销。side: f64,即使这使用了高级特征抽象,Rust 编译器也会优化代码,内联方法并确保与直接在具体类型上调用方法相比没有额外的成本。
2024-08-27 10:48:44 1071
原创 OpenCV Lesson 4 : Operations with images
【代码】OpenCV Lesson4: Operations with images。
2024-08-24 11:00:47 848
原创 OpenCV Lesson 3 : Mask operations on matrices
矩阵上的掩码运算矩阵上的掩模运算非常简单。这个想法是我们根据掩模矩阵(也称为内核)重新计算图像中每个像素的值。该掩码保存的值将调整相邻像素(和当前像素)对新像素值的影响程度。从数学的角度来看,我们使用指定的值进行加权平均值。让我们考虑图像对比度增强方法的问题。
2024-08-24 10:26:33 905
原创 OpenCV Lesson 2: 如何使用OpenCV扫描图像、查找表和时间测量
尽管如此,重要的是要注意,可以使用 cv::Mat::at 函数完成相同的操作(具有相同的运行速度)。最快的方法是 LUT 函数。与发布模式下的有效方法相比,使用此方法的唯一区别是,对于图像的每个元素,您将获得一个新的行指针,用于我们使用 C 运算符 [] 获取列元素。我们的测试用例程序(以及下面的代码示例)将执行以下操作:读入作为命令行参数传递的图像(可以是彩色或灰度),并使用给定的命令行参数整数值应用缩减。因此,对于较大的图像,明智的做法是预先计算所有可能的值,并在分配期间使用查找表进行分配。
2024-08-23 15:12:47 558
原创 OpenCV Lesson 1 : Recognize Mat
因此,OpenCV 2.0 引入了一个新的 C++ 接口,它提供了一种新的做事方式,这意味着您不需要摆弄内存管理,从而使您的代码简洁(编写更少,实现更多)。因此,除非您的目标是嵌入式平台,否则使用旧方法是没有意义的(除非您是一个受虐狂程序员并且您要求关于Mat,您首先需要了解的是,您不再需要手动分配其内存并在不需要时立即释放它。Mat 基本上是一个具有两个数据部分的类:矩阵头(包含矩阵大小、使用的方法等信息)用于存储,存储矩阵的地址等等)和指向包含像素值的矩阵的指针(根据选择的存储方法采用任何维数)。
2024-08-23 14:15:31 1383
原创 Mathematics
Mathematics is a vast and diverse field with numerous branches, each developing its own concepts, techniques, and methods. Below is an overview of the major branches of mathematics, along with the key ideas in each and their general trajectory or evolution
2024-08-22 08:42:57 638
原创 OpenCV(开源计算机视觉库)
目标跟踪:MeanShift、CamShift、KLT 和基于 DNN 的跟踪器(例如 GOTURN)。物体检测模型:使用 DNN 模块的 SSD、YOLO、Faster R-CNN。机器学习算法:SVM、k-NN、决策树、随机森林、KMeans 聚类等。边缘检测:Sobel、Scharr、拉普拉斯和 Canny 边缘检测。基本结构:Mat、Scalar、Point、Size、Rect 等。关键点检测:SIFT、SURF、ORB、BRIEF、FAST 等。
2024-08-20 12:51:33 1151
原创 Constraint System
约束系统(Constraint System)在零知识证明(ZKP)中扮演着至关重要的角色,用于表示和验证某个陈述或计算过程是否满足特定的条件。约束系统是一种数学框架,用于将复杂的计算或陈述转化为一系列必须满足的约束条件。这些约束条件通常与线性代数、多项式等数学概念紧密相连,使得验证过程可以在不泄露具体输入信息的情况下进行。一、约束系统的基本概念。
2024-08-13 20:28:52 538
原创 Pairing-Based Cryptography
Pairing-Based Cryptography(配对密码学)是一种基于双线性配对(bilinear pairing)的密码学方法,它在密码协议和安全服务中具有广泛的应用。
2024-08-13 20:27:31 539
原创 提高特征质量
特定于领域的特征:使用领域知识来创建特征。归一化/标准化:将特征缩放到相似的范围,特别是在使用对特征大小敏感的模型(例如线性模型)时。创建交互特征:组合现有特征以创建捕获交互的新特征。XGBoost 的特征重要性:训练初始 XGBoost 模型后,使用特征重要性分数删除不重要的特征。特征交互:以可能捕获复杂关系的方式组合特征,例如,将两个特征相乘或创建比率。删除低方差特征:数据集中变化不大的特征可能对模型没有帮助,可以删除。递归特征消除 (RFE):使用 RFE 迭代删除最少的特征重要特征。
2024-08-11 22:54:52 377
原创 Light Gradient Boosting Machine
原理:LightGBM采用了梯度提升技术,结合了多种优化策略,如直方图算法、带深度限制的Leaf-wise生长策略、单边梯度采样(GOSS)、互斥特征绑定(EFB)等,以提高训练速度和模型性能。模型训练:在训练集上使用LightGBM进行模型训练时,需要指定模型的参数(如学习率、树的数量、树的深度等),并通过交叉验证等方法进行参数调优以获得更好的模型性能。模型评估:在测试集上对训练好的模型进行评估时,可以使用常见的评估指标(如准确率、召回率、F1-score等)来评估模型的性能。
2024-08-11 22:44:22 548
原创 eXtreme Gradient Boosting
原理:XGBoost通过对梯度提升算法的改进,求解损失函数极值时使用了牛顿法,将损失函数泰勒展开到二阶,并在损失函数中加入了正则化项。应用:XGBoost的应用场景非常广泛,包括但不限于金融风控(如信用评分、欺诈检测)、广告点击率预测、推荐系统、医疗诊断、图像识别、自然语言处理、能源管理、交通运输和游戏开发等领域。XGBoost(eXtreme Gradient Boosting)是一个优化的分布式梯度提升库,旨在实现高效、灵活和便携的机器学习算法。这些参数包括学习率、树的最大深度、节点分裂的最小损失等。
2024-08-11 22:42:20 453
原创 Feature selection
Feature selection is an important step in building an effective machine learning model. Here are some common methods for selecting features:
2024-08-10 16:18:57 299
原创 Random Forest
随机森林是一种基于决策树集成的强大预测模型,它通过结合多个决策树的预测结果来提高整体的预测准确性和鲁棒性。样本抽样:从原始训练数据中随机抽取多个样本子集,每个子集的大小通常与原始数据集相同,但样本的选取是随机的,且允许重复抽样(bootstrap sampling)。特征选择:在每个决策树的训练过程中,从所有特征中随机选择一部分特征作为候选特征,然后从这些候选特征中选择最优的特征进行分裂。决策树:随机森林中的每个个体学习器都是决策树,这些决策树在训练时具有随机性,包括样本的选择和特征的选择。
2024-08-10 15:43:56 367
原创 Gradient Boosting
Gradient Boosting,即梯度提升算法,是一种集成学习方法,它通过迭代地训练弱学习器(如决策树)来构建一个强学习器,以提高预测性能。Gradient Boosting算法借鉴了梯度下降法的思想,其基本原理是根据当前模型损失函数的负梯度信息来训练新加入的弱学习器,然后将训练好的弱学习器以累加的形式结合到现有模型中。可解释性:相比于一些黑盒模型,Gradient Boosting相对容易解释和理解,可以通过查看每个弱学习器的权重和特征重要性来了解模型的决策过程。学习率一般取小于1的正数。
2024-08-10 15:43:09 801
原创 区块链平台的图灵完备性
图灵完备是指在可计算性理论里,如果一系列操作数据的规则(如指令集、编程语言、细胞自动机)可以用来模拟单带图灵机,那么它就是图灵完备的。简而言之,图灵完备的系统能够解决所有可计算的问题。综上所述,比特币不是图灵完备的,这是由其脚本系统的设计和功能限制所决定的。虽然这种设计限制了比特币在复杂应用方面的能力,但也增强了其系统的安全性。相比之下,以太坊等图灵完备的区块链平台在智能合约的适应性上更强,但同时也面临着更高的安全风险。
2024-08-06 15:57:57 588
原创 Bitcoin ,Ethereum and Solana
比特币(Bitcoin,简称BTC)是一种基于区块链技术的去中心化数字货币,由中本聪(Satoshi Nakamoto)在2008年提出,并于2009年正式推出。
2024-08-06 15:05:26 1831 1
原创 太阳中心温度估计
rdP−r2GMrρrwhere Pr, and ρrμmHρκBTwhere κBHρκBPμmHPc×1016Pαρc×105kgm3μκB×10−23JKmH×10−27k:TρcκBPcμmH1.5×105kgm31.38×10−23JK2.5×10。
2024-08-06 14:24:35 633
原创 卷积神经网络(CNN)简单原理与简单代码实现
这段代码首先定义了数据预处理步骤,然后定义了一个简单的CNN模型,该模型包含两个卷积层、两个池化层和一个全连接层。需要注意的是,测试模型的代码部分在这里被省略了,但通常包括关闭梯度计算、遍历测试集、计算模型输出与真实标签之间的损失或准确率等步骤。卷积操作是使用一个或多个可学习的滤波器(或称卷积核)在输入数据上滑动,计算滤波器与输入数据对应区域的点积,生成特征图(Feature Map)。局部连接:卷积层中的每个神经元仅与输入数据的一个局部区域相连,这有助于捕捉图像的局部特征。
2024-08-05 18:14:11 831
原创 深度学习-模型剪枝和权重共享有什么区别和联系
模型剪枝:模型剪枝是一种通过移除模型中“不必要”的权重或神经元来减少模型参数数量的技术。这些“不必要”的权重或神经元通常对模型的预测性能贡献较小。剪枝技术可以分为细粒度剪枝、粗粒度剪枝和结构化剪枝等,旨在通过减少模型的大小和计算量来提高模型的效率和速度。权重共享:权重共享是指在神经网络的不同位置或不同层次上使用相同的权重参数。这种技术通常应用于卷积神经网络(CNN)中,通过共享权重参数来减少模型的总参数数量。
2024-08-05 17:52:17 894
原创 深度学习-模型剪枝
模型剪枝是一种模型压缩技术,它通过移除神经网络中的“不必要”权重或偏差(weight/bias),减少模型的大小和计算量,从而提高模型的效率和速度。剪枝的主要目的是在保持模型性能的前提下,降低模型的复杂度和资源消耗。
2024-08-05 16:32:23 925
原创 MIT-离散数学笔记-Axiom
Def: An axiom is a proposition that is assumed to be true.The key in math is to identify what your assumptions are. so people can see them. And the idea is that when you do a proof, anybody who agrees with your assumptions or your axioms can follow you pro
2024-08-02 12:36:49 1087
原创 MIT-离散数学笔记
'p is a prime number ’ is a predicate(断言)在数学中,数学证明是通过一组公理的一系列逻辑演绎来验证一个命题。
2024-08-02 08:48:07 1143
python+tkinter, gui, 计算器实现
2024-07-30
B3-Web3-Fundamentals.pdf
2024-07-30
Computer Vision: Algorithms and Applications 2nd Edition Richard
2024-07-30
实时的鲁棒的模板匹配算法
2024-07-30
Arduino技术手册
2024-07-30
机器学习,概率论,人工智能
2024-07-30
A Dome of Many-Coloured Glass
2024-07-30
SAT英语语法讲义. Identifying Sentence Errors
2024-07-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人