AlphaFinance
拥有15余年算法、数据处理、软件开发和AI应用经验。熟悉Hadoop、Pyspark、GCP等大数据技术和云计算,具备全周期软件开发和MLOps实践经验。精通机器学习、深度学习算法,有强化学习研究背景。熟悉图像处理方法,能开发目标检测和人脸识别系统。擅长NLP应用开发,有Rasa、LLaMA等框架使用经验。能独立开发高精度量化交易模型。具备Java大型系统开发经验,熟悉多线程和并发容器。擅长Python、C#等编程语言,熟悉数据库应用。了解微服务、架构设计等领域。具备高质量文档编写能力,熟悉Markdown语法。具有良好的代码品味和问题解决能力,擅长团队合作与沟通。热衷于学习前沿技术。
展开
-
Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena阅读笔记
MT-Bench 和 Chatbot Arena 是两个用于评估 LLM 聊天助手的新基准,分别侧重于多回合对话的质量和真实用户偏好。这两个基准的设计初衷是弥补现有基准在评估聊天助手人类偏好方面的不足,提供更准确和全面的评估方法。MMLU:重点评估模型在多任务、多领域的知识和理解能力。HELM:提供一个多维度的评估框架,全面评估模型的性能和实际应用中的各种表现。这两个基准各有侧重,MMLU 更关注模型的知识广度和准确性,而 HELM 则提供了一个全面的评估框架,涵盖了模型在实际应用中的多方面表现。原创 2024-06-09 10:39:41 · 373 阅读 · 0 评论 -
几个人脸库对于面部动作识别的功能比较
OpenFace 是一个高级的面部行为分析工具,它能够识别和分析多种面部动作单位(Facial Action Coding System, FACS),这些动作单位是根据面部肌肉活动定义的。DeepFace可以识别的情绪包括Happy,Neutral,Surprise,Sad,Angry,Fear,Disgust。经粗略研究,insightface只能识别面部特征点的位置,根据这些位置不能直接推出一个人是否在睡觉。另外,OpenFace有凝视跟踪的功能,也许可以根据这个功能判断学生听课的注意力。原创 2024-05-15 15:17:05 · 94 阅读 · 0 评论 -
onnx模型
ONNX(Open Neural Network Exchange)是一个开放格式,用于表示深度学习模型。ONNX 的主要优势在于它提供了一个跨平台、跨框架的标准,使得不同的深度学习框架(如 PyTorch、TensorFlow、Microsoft Cognitive Toolkit 等)能够互操作。因此,ONNX 可以被用在多种设备和环境中,包括:服务器和云平台:ONNX 模型可以在云服务器上运行,利用强大的计算资源进行大规模数据处理和复杂模型推理。原创 2024-01-05 15:37:03 · 941 阅读 · 0 评论 -
yolo v7能识别的类别
人自行车汽车摩托车飞机公共汽车火车卡车船交通信号灯消防栓停车标志停车收费计时器长椅鸟猫狗马绵羊牛大象熊斑马长颈鹿背包雨伞手提包领带手提箱飞盘滑雪板雪板运动球风筝棒球棒棒球手套滑板冲浪板网球拍瓶子酒杯杯子叉子刀子勺子碗香蕉苹果三明治橙子西兰花胡萝卜热狗披萨甜甜圈蛋糕椅子长沙发。原创 2024-01-04 11:19:45 · 474 阅读 · 1 评论 -
yolo v7支持的设备
将一个深度学习模型(在这里是YOLOv7,一个目标检测模型)从PyTorch导出到不同的格式,以便在不同平台上进行推理(inference)。另一种PyTorch 转 TensorRT的方法,包括使用 trtexec 命令。PyTorch 转 ONNX,然后使用NMS(非极大值抑制)进行推理。PyTorch 转 CoreML(适用于 macOS/iOS)PyTorch 转 TensorRT,同样使用NMS。原创 2024-01-03 16:47:12 · 1012 阅读 · 0 评论 -
pytorch安装注意事项
首先查看自己机器的版本号然后进入页面https://pytorch.org/原创 2024-01-03 13:45:23 · 464 阅读 · 0 评论 -
Tensorflow+Cuda+Cudnn配置
下载完毕后将文件拷到X:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\对应目录下,拷完以后不需要重启系统也不需要重启Pycharm就可以正常使用。检查cuda版本的方法和Win11相同。安装完测试前可能需要source ~/.bashrc,执行这个命令也许不需要切换目录。很可能需要重启Pycharn才能生效。一定要确保主目录computer/home/usr下的.bashrc文件中包含。以上语句并不会自动地被写到.bashrc文件里。安装时注意需要联网。原创 2023-08-09 17:11:11 · 519 阅读 · 0 评论 -
双显卡训练中的一个问题
双显卡环境下使用strategy_ = tf.distribute.get_strategy(),strategy_.num_replicas_in_sync的值为1,也可以训练,系统调用了几块显卡训练的?您的代码没有进行显卡设备的选择或配置,导致只使用了默认的一个显卡。您的代码逻辑中存在其他限制或错误,导致只能使用一块显卡进行训练。如果您需要在双 GPU 环境下进行训练,并且当前只使用了一块显卡,请根据您使用的框架和工具,参考其文档或示例代码,以正确配置和指定使用多块显卡进行训练。原创 2023-06-15 06:35:46 · 291 阅读 · 0 评论 -
FGM和AWP有什么区别
FGM (Fast Gradient Sign Method) and AWP (Adversarial Weight Perturbation) are two different techniques used in adversarial attacks and defenses in deep learning models.FGM (Fast Gradient Sign Method):FGM is a simple but effective method for generating adv原创 2023-06-07 07:58:32 · 302 阅读 · 0 评论 -
ICR - Identifying Age-Related Conditions解读
目标竞赛的目标是预测一个人是否患有三种医疗状况中的任何一种。你需要预测这个人是否患有三种医疗状况中的一种或多种(类别1),或者没有患有这三种医疗状况(类别0)。你将创建一个模型,该模型基于健康特征的测量进行训练。确定某人是否患有这些医疗状况需要进行长期而具有侵入性的过程,从患者那里收集信息。通过预测模型,我们可以通过收集与这些状况相关的关键特征来缩短这个过程,并保持患者的详细信息的私密性,然后对这些特征进行编码。你的工作将帮助研究人员发现某些特征的测量与潜在患者状况之间的关系。原创 2023-05-31 10:23:15 · 879 阅读 · 0 评论 -
kaggle的进阶系统
在Kaggle的进阶系统中,“Novice”(新手)、“Contributor”(贡献者)、“Expert”(专家)、“Master”(大师)和"Grandmaster"(特级大师)是不同的绩效层级,用于衡量和识别数据科学家在Kaggle平台上的技能水平和成就。这些绩效层级的晋升是基于参与者在各个领域中的成绩和贡献度,并且随着他们在Kaggle平台上的表现不断提升,可以逐步晋升到更高的层级。“Novice”(新手):这是最低的绩效层级,标识刚开始参与Kaggle竞赛或其他活动的数据科学家。原创 2023-05-26 10:31:45 · 619 阅读 · 0 评论 -
asl-fingerspelling比赛规则
由于系统错误、故障、不完整或混乱的计算机或其他电信传输故障、任何类型的硬件或软件故障,竞争实体不对竞争网站的任何故障或任何延迟、丢失、损坏、误导、不完整、难以辨认、无法交付或销毁的提交或参赛材料负责,网络连接丢失或不可用、印刷错误或系统/人为错误和故障、任何电话网络或线路、电缆连接、卫星传输、服务器或提供商或计算机设备的技术故障、互联网或竞赛网站的交通拥堵,或其任何组合,这些都可能限制参赛者的参赛能力。在遵守《竞赛规则》的前提下,如果有奖项,将根据提交的数据科学模型的优点,授予成绩最好的参与者。原创 2023-05-12 14:16:47 · 667 阅读 · 0 评论 -
2023 Kaggle AI Report评选标准
这篇文章包含了适当的参考文献(如学术文献、Kaggle Competition的文章等)[是/否]这篇文章提供了与感兴趣的主题相关的适当背景和背景。包含与特定主题相关的最重要的最新进展的讨论[是/否]提交的材料符合指导方针和指示。这篇文章提供了与感兴趣的主题相关的适当背景和背景。这篇文章不包含任何可能被认为不恰当的内容(例如抄袭、学术不端或不正确的陈述)[是/否]表格、图表和/或代码样本质量高(例如信息密集、易于理解和信息丰富)[是/否]背景背景提供了足够和可访问的信息,以非专家身份理解主要文章[是/否]原创 2023-05-12 12:09:07 · 202 阅读 · 0 评论 -
机器学习应用之凝结尾迹检测
通过这种分享,您被视为已将共享的代码授权使用一个开源倡议批准的许可证(请参见www.opensource.org),该许可证在任何情况下都不限制这种竞赛代码或基于这种竞赛代码的模型的商业使用。除非竞赛网站或上面的特定竞赛规则明确允许,在竞赛期间,您不得私下分享与竞赛数据相关或基于竞赛数据开发的源代码或可执行代码,或其他与竞赛相关的源代码或可执行代码(“竞赛代码”)。如果您的提交使用您不拥有但比赛赞助商可以不过度花费获取的通常商业可用软件来生成您的提交,您不会将前面一句话中的许可证授予该软件。原创 2023-05-11 06:02:48 · 173 阅读 · 0 评论 -
rllib常见问题汇总
开发基于RLlib的项目通常不需要直接fork Ray的GitHub仓库(https://github.com/ray-project/ray)。RLlib是Ray生态系统中的一个库,它构建在Ray的核心分布式运行时之上,提供了强化学习算法和相关工具的功能。通常情况下,您可以通过安装Ray和RLlib的Python包来开始开发基于RLlib的项目。这将安装Ray和RLlib的最新稳定版本。之后,您可以在项目中导入RLlib并开始使用其提供的功能。原创 2023-04-28 08:28:38 · 1009 阅读 · 0 评论 -
如何评价灾难性遗忘的问题是否解决?
解决灾难性遗忘问题的方法有很多,但目前还没有一种方法能完全解决这个问题。总之,尽管目前已有许多方法在一定程度上缓解灾难性遗忘问题,但仍需不断探索和发展新方法以更好地解决这一问题。问题复杂性:不同的问题和任务具有不同的复杂性,某些方法可能在某些问题上表现良好,但在其他问题上效果不佳。模型性能:解决灾难性遗忘问题的方法可能会带来一定程度的性能损失,需要评估这种损失是否可以接受。训练数据量:在数据量较少的情况下,解决灾难性遗忘问题可能更具挑战性。原创 2023-04-14 12:59:40 · 434 阅读 · 0 评论 -
什么是类不平衡方法
类不平衡是指分类问题中不同类别样本数量显著差异。这可能导致分类器在训练时过分关注多数类别,降低对少数类别的预测性能。为解决类不平衡问题,可采用重采样方法、损失函数调整和集成方法。重采样方法包括过采样和欠采样;损失函数调整则为不同类别赋予不同权重;集成方法如Bagging和Boosting可构建多个基本分类器并综合预测结果。具体方法选择需根据问题和数据集特点。原创 2023-04-14 12:34:02 · 90 阅读 · 0 评论 -
随机森林笔记
随机森林是一种集成模型,随机选择训练样本和特征,n_estimators是决策树数量。随着n_estimators降低,随机性增加,导致更多特征出现在分支中,提高了它们的重要度得分。特征重要度得分为正表示该特征对模型预测目标有正向影响,负表示有负向影响,零表示影响较小。特征重要度得分大小表示其对模型预测性能的影响程度。原创 2023-04-13 08:36:25 · 1817 阅读 · 2 评论 -
如何衡量每个特征的重要度?
特征重要度衡量不同特征对模型预测的影响,方法有Gini Importance、Permutation Importance、Shapley Values、Coefficients of Linear Models、Random Drop Importance等。强化学习中可用State visitation frequency、TD-error、Sensitivity analysis评价特征重要度。输入层特征重要度可用Deep Taylor Decomposition等。原创 2023-04-12 08:58:00 · 1419 阅读 · 0 评论 -
即使用验证集调超参数,可能还是会去看测试集的性能,如果测试集性能不好,还是要反复调验证集参数,那么不就相当于还是在用测试集调超参数?
如果在调整验证集上的超参数后,仍然反复检查测试集性能,并基于测试集性能进行调整,那么确实存在间接使用测试集调整超参数的风险。只有在确定了最佳超参数后,才使用测试集进行最终评估。这有助于减少反复调整超参数的需要。当调整超参数时,只关注验证集的性能。当您确定找到了最佳超参数后,再使用测试集进行最终性能评估。在调整超参数时,尽量减少查看测试集性能的次数。在模型训练和调优过程中,可以考虑使用正则化技术(如L1和L2正则化),以减少过拟合的风险。在模型训练和调优过程中,确保使用不同的随机种子,以减少过拟合的风险。原创 2023-04-10 19:11:53 · 270 阅读 · 1 评论 -
25000个样本叫数据量有限吗?
模型类型:一些模型(如深度学习模型)可能需要大量样本来达到良好的性能。然而,对于简单的模型(如线性回归、逻辑回归等),这个样本量可能足够。数据质量:如果数据质量较高,即数据中的噪声较少,25000个样本可能足够。然而,如果数据中存在许多噪声和异常值,可能需要更多的样本来获得稳定的模型性能。在某些情况下,25000个样本可能足够,而在其他情况下可能不足以获得良好的性能。问题复杂性:如果问题相对简单,25000个样本可能足够。然而,对于复杂问题,可能需要更多样本来捕捉不同的模式和关系。原创 2023-04-10 19:03:34 · 104 阅读 · 0 评论 -
能否用测试集调超参数?
您可以在训练集上训练模型,在验证集上调整超参数(如学习率、正则化参数等),然后在测试集上评估模型的最终性能。不建议使用测试集来调整超参数。测试集的目的是在模型训练和调优完成后,评估模型在未见过的数据上的泛化性能。为了公平地评估模型在未见过的数据上的性能,应该在独立的数据集(验证集)上进行调优。更准确的性能评估:使用验证集进行超参数调整可以确保测试集在评估过程中保持未知,从而更准确地估计模型在实际应用中的性能。因此,在模型训练和调参过程中,应遵循训练-验证-测试的原则,以获得更可靠的性能评估。原创 2023-04-10 18:59:33 · 879 阅读 · 0 评论 -
为什么有的人并不用验证集,只用训练集和测试集,他们不需要调超参数吗?
在这种情况下,他们可能会选择使用交叉验证(如k-折交叉验证)方法来调整超参数,而不是划分出一个单独的验证集。使用预设的超参数:有时候,他们可能会选择使用预设的超参数值(例如,根据经验或从其他研究中获得),而不是在当前数据集上进行调整。虽然在某些情况下可以省略验证集,但在大多数情况下,为了获得更可靠的性能评估和避免过拟合,建议使用训练集、验证集和测试集三者进行模型训练、调优和评估。使用默认的超参数:对于某些算法,库中的默认超参数值可能已经足够好,他们可能不需要进一步调整。原创 2023-04-10 18:54:42 · 3738 阅读 · 0 评论 -
Transformer中,self-attention模块中的past_key_value有什么作用?
在生成任务中,模型会逐个生成新的单词。通过使用 past_key_value,我们可以避免在每个时间步重新计算整个序列的键和值,而只需在前一时间步的基础上计算新单词的键和值。如果 past_key_value 不是 None,则将新的键和值状态与之前的键和值状态拼接在一起。这样,我们就可以利用以前的计算结果,在新的时间步上仅计算新单词的键和值。past_key_value是在Transformer中的self-attention模块用于处理序列数据时,记录之前时间步的键(key)和值(value)状态。原创 2023-04-09 21:55:02 · 3026 阅读 · 0 评论 -
记忆回放的实现逻辑是什么?
记忆回放的核心思想是在训练新数据时将一些先前学习过的样本与新数据混合,使模型能够回顾并巩固已学习的知识。这种方法不需要对模型本身进行任何调整,而只需要在训练过程中将旧数据和新数据结合起来。这种方法不需要对模型结构或训练过程进行复杂的调整。只需在训练时使用混合数据集,就可以在一定程度上缓解灾难性遗忘问题。原创 2023-04-09 16:55:26 · 131 阅读 · 0 评论 -
如何利用增量学习的方法来解决灾难性遗忘的问题?
增量学习通过逐步更新模型来学习新数据,以保留已有知识并减轻灾难性遗忘问题。策略包括:记忆回放,通过混合先前样本与新数据进行训练;增量训练,将新数据逐渐融入模型中;调整学习率以稳定旧知识保留;使用权重共享和迁移学习减轻多任务学习中的遗忘;调整模型结构以约束已学知识。这些策略有助于在训练过程中平衡新知识与旧知识的学习。原创 2023-04-09 13:12:23 · 1096 阅读 · 0 评论 -
如何解决灾难性遗忘和概念漂移这两个问题?
对于灾难性遗忘,解决方案通常包括增量学习、迁移学习、经验回放等。这些方法在许多场景下都能有效地缓解灾难性遗忘,从而使模型能够在学习新任务或新数据时保留先前学到的知识。然而,在某些复杂的场景中,如神经网络处理多任务学习,解决灾难性遗忘可能会比较困难。在概念漂移的情况下,解决方案通常包括概念漂移检测、在线学习、动态权重调整等。但在实际应用中,概念漂移可能会表现为不同的形式,如突然性变化、逐渐性变化等,使得解决概念漂移问题具有挑战性。总的来说,灾难性遗忘和概念漂移问题的解决难度取决于具体的应用场景和数据特点。原创 2023-04-09 13:10:15 · 534 阅读 · 3 评论 -
动态数据流问题中存在灾难性遗忘或者特征漂移这两个问题吗?
灾难性遗忘:当一个机器学习模型在学习新任务或新数据时,可能会导致先前学习的知识丢失,这称为灾难性遗忘。概念漂移:在动态数据流问题中,数据分布可能随着时间的推移而发生变化,这就是概念漂移。在动态数据流问题中,确实可能会遇到灾难性遗忘(catastrophic forgetting)和概念漂移(concept drift,也称为特征漂移)这两个问题。在处理动态数据流问题时,需要注意这两个问题,并采用相应的方法来应对它们,以确保机器学习模型能够在不断变化的数据环境中保持稳定的性能。原创 2023-04-09 13:11:04 · 299 阅读 · 0 评论 -
动态数据流的问题具体是什么?
动态数据流问题是指在数据流模型中,随着时间的推移,输入数据的分布和属性会发生变化,从而导致模型的性能和预测结果出现偏差的问题。纪录漂移:指输入数据的属性(如特征、标签)随时间发生变化的情况,这会导致模型在新的数据上的预测效果下降。数据漂移:指输入数据分布随时间发生变化的情况,这会导致模型在新的数据上的预测效果下降。环境漂移:指数据生成环境随时间发生变化的情况,这会导致模型的性能和预测结果出现偏差。噪声数据:指输入数据中包含噪声或错误数据的情况,这会干扰模型的训练和预测。原创 2023-04-09 03:30:32 · 282 阅读 · 0 评论 -
PyCharm may create multiple pycharm64.vmoptions files,这些文件的位置会是哪些地方?
如果是在CentOS中遇到bin目录下的pycharm64.vmoptions配置文件不起作用的情况,可以考虑去ja-netfilter-all目录下寻找pycharm.vmoptions文件并进行相应修改。原创 2023-04-06 10:40:11 · 273 阅读 · 0 评论 -
hadoop使用笔记
本文整理了下载地址、配置方法已经环境变量设置。原创 2022-09-06 15:08:20 · 414 阅读 · 0 评论 -
网络最后一层不同vs网络最后两层不同vs网络最后三层不同
网络最后一层不同: x = x.reshape(x.size(0), x.size(2), x.size(1)) self.hidden = self.init_hidden(x.size(0), device=self.device) x, self.hidden = self.lstm1(x, self.hidden) residual = nn.Identity()(x) x = nn.BatchNorm1d(num_fe原创 2021-12-20 17:32:18 · 202 阅读 · 0 评论 -
多目标的回归问题用一个模型训练好还是用多个模型训练好?
多目标的回归问题(MTR, Multiple Target Regression)Why use multi-output models instead of a combination of single-output models like regression?Models using single outputs take longer to train and are computationally expensiveThey optimize for the single target原创 2021-12-20 07:25:13 · 994 阅读 · 0 评论 -
如何在LSTM/RNN中加入Attention机制
Pytorch-LSTM+Attention文本分类https://blog.csdn.net/qq_34838643/article/details/110200332What is attention mechanism?https://towardsdatascience.com/what-is-attention-mechanism-can-i-have-your-attention-please-3333637f2eacAdding A Custom Attention Layer To原创 2021-12-19 16:41:27 · 2490 阅读 · 0 评论 -
残差网络学习笔记
https://towardsdatascience.com/residual-network-implementing-resnet-a7da63c7b278原创 2021-11-24 07:29:29 · 723 阅读 · 0 评论 -
Difference between 1 LSTM with num_layers = 2 and 2 LSTMs in pytorch
https://stackoverflow.com/questions/49224413/difference-between-1-lstm-with-num-layers-2-and-2-lstms-in-pytorch转载 2021-11-22 18:10:44 · 124 阅读 · 0 评论 -
特征选择笔记
Feature selection is essentially a part of data preprocessing which is considered to be the most time-consuming part of any machine learning pipeline.These techniques will help you to approach it in a more systematic way and machine learning friendly way.原创 2021-11-05 07:32:02 · 131 阅读 · 0 评论 -
pytorch测试loss的简易方法
import torchimport torch.nn as nnmodel = nn.Linear(10, 1)criterion = nn.BCEWithLogitsLoss()x = torch.randn(16, 10)y = torch.empty(16).random_(2) # (16, )out = model(x) # (16, 1)out = out.squeeze(dim=-1) # (16, )loss = criterion(out, y)print原创 2021-10-29 13:14:05 · 567 阅读 · 0 评论 -
pytorch如何将装有tensor的list转成高维tensor
https://stackoverflow.com/questions/55050717/converting-list-of-tensors-to-tensors-pytorch利用pad_sequence还可以将不同长度的tensor合并到一起:from torch.nn.utils.rnn import pad_sequencea = torch.ones(25, 300)b = torch.ones(22, 300)c = torch.ones(15, 300)pad_sequence(原创 2021-10-29 08:59:57 · 1535 阅读 · 1 评论 -
pandas常用功能梳理
一、Pandas基础nunique:显示有多少个唯一值ibes_recddet['etext'].nunique()90unique:显示所有的唯一值ibes_recddet['etext'].unique()array(['NEUTRAL', 'BUY', 'OVERWEIGHT', 'HOLD', 'EQUALWT/ATTRACTIVE', 'OVERWT/IN-LINE', 'OUTPERFORM', 'POSITIVE', 'SPECULATIVE BUY',原创 2021-10-13 14:13:10 · 102 阅读 · 0 评论