- 博客(307)
- 收藏
- 关注
RSS订阅原创 Optiver股票大赛Top2开源！
基于时间序列的对抗验证，我们发现非常多的特征随着时间的变化影响很大，例如order_count和total_volume这些，所以我们将其转化为在某个时间点的rank进行处理，与此同时，使用np.log1p对大的skew大的值进行处理。而本次比赛，也不例外，从赛后和前五的选手交流以及目前第二名选手的开源的来看，几乎全部都涉及到了时间信息的逆向特征工程。逆向的思路是：在本次竞赛中，因为竞赛数据是经过匿名化的，但是我们可以使用tick size来恢复在匿名之前的真实价格；模型处和开源的是类似的，
2024-10-01 23:31:26
386
原创 用于高频交易预测的最优输出LSTM
本文总结了OPTM-LSTM单元在高频交易（HFT）预测任务中的优势，包括其在多个数据集上实现的低预测误差和快速适应市场变化的能力，并指出了研究的局限性，如股票样本数量和交易时间范围的限制，同时提出了未来研究的方向，例如将OPTM-LSTM应用于其他在线预测任务，以及进一步优化模型以处理更广泛的市场数据和交易场景。此外，文章讨论了构建实时在线机器学习实验协议的挑战，不仅仅是工程目标（即LOB的中间价格预测），还包括开发适合基于较少训练周期的短期训练的动态调整的NN。的快速变化，这直接影响股票价格。
2024-10-01 23:27:26
947
原创 RD-Agent Windows安装教程
接下来如果直接运行官方代码的话会遇到各种报错，主要是docker安装时的网络问题以及程序并行的问题。所以在运行之前，首先从星球获取修改后的Dockerfile，替换官方的rdagent\scenarios\qlib\docker\Dockerfile，接下来就可使用rd-agent自动搭建模型。这是运行两轮的结果，可以看到，通过LLMs构建的模型能够自动适配qlib并且输出结果，而且随着轮数增加，模型效果也会不断提升。目前还不支持其他LLMs的API， 等后面有时间我们再增加对于其他大模型的支持。
2024-10-01 23:20:52
550
原创 利用LLMs自动寻找量化投资策略
框架分为三个主要部分：种子Alpha工厂、多智能体决策制定和权重优化方法。初始阶段使用大型语言模型（LLM）过滤和分类多模态文档，构建种子Alpha工厂。LLM处理大量和多样化数据集的能力确保了种子alpha集合全面且强大，按照金融alpha挖掘研究建立的独立alpha类别进行分类。第二阶段，框架采用多模态多智能体决策过程。这种多智能体方法允许结合不同的风险视角，增强策略在不同市场条件下的适应性和鲁棒性。最终阶段涉及使用深度学习方法的权重优化方法，评估每个种子alpha的性能，并构建整体策略。
2024-10-01 22:53:17
876
原创 隐马尔可夫模型在股市预测中的应用
股市因其复杂多变的特性，预测未来股价一直是一个挑战。然而，运用高级方法可以显著提高股价预测的准确性。隐马尔可夫模型（Hidden Markov Models，HMMs）是一种统计模型，能够模拟部分可观测系统的行为，因此非常适合基于历史数据建模股价。本文训练并测试了一个隐马尔可夫模型，目的是基于开盘价和前一天的价格预测股票收盘价。模型的性能通过两个指标进行评估：平均绝对百分比误差（Mean Average Prediction Error，MAPE）和方向预测精度（Directional。
2024-10-01 22:37:19
999
原创 想要了解真正的量化？这些常见的量化名词！让你一句话秒懂……
阿尔法策略基于CAPM模型。另译为“生存者偏差”、“存活者偏差”、“沉默的数据”等等，是指只能看到经过某种筛选而产生的结果，而没有意识到筛选的过程，因此忽略了被筛选掉的关键信息。下行风险是投资有可能出现的最坏的情况，也是投资者可能需要承担的损失。按照CAPM模型的规定，Beta系数是用以度量一项资产系统风险的指数，是用来衡量一种证券或一个投资组合相对总体市场的波动性的一种风险评估工具。不过对于刚学量化的小白来说，好不容易混进了一个比较有质量的群里，却发现大家聊的内容有的看都看不懂，只好在一个一个名词去搜。
2024-10-01 19:52:53
769
原创 AAMAS 24 | 基于深度强化学习的多智能体和自适应框架用于动态组合风险管理
本文提出了一个名为MASA的多智能体和自适应框架，利用深度强化学习技术，通过两个合作的智能体（一个基于TD3算法的RL智能体和一个基于约束求解器的智能体）以及一个市场观察者智能体，动态平衡投资组合的总体回报和潜在风险。本文总结了MASA框架在处理高度动荡金融市场环境中的投资组合管理问题方面的显著性能，并指出了未来研究的可能方向，包括探索不同的基于元启发式的优化器作为求解器智能体、尝试各种智能方法作为市场观察者智能体，以及将MASA模型应用于资源分配、规划或灾难恢复等风险管理至关重要的领域。
2024-09-28 22:37:43
1068
原创 Time-MoE : 时间序列领域的亿级规模混合专家基础模型
随着深度学习技术的发展，大规模预训练模型在自然语言处理和计算机视觉领域取得了显著进展，但在时间序列预测领域，这些模型的规模和运算成本仍然限制了其在实际应用中的效能。尽管这些模型前景广阔，但与特定领域的模型相比，它们的规模通常较小，任务解决能力有限，这限制了它们在实际应用中的预测精度与计算预算之间的平衡。本文介绍的TIME-MOE模型，通过利用专家混合的稀疏设计，提高了计算效率，同时在多个基准测试中实现了显著的预测精度提升。尽管这些模型在各自的领域内取得了有竞争力的性能，但它们通常是任务特定的，并且在。
2024-09-28 22:25:10
983
原创 netflix是什么样的企业文化
netflix是什么样的企业文化Netflix的企业文化以其“自由与责任”而闻名，这种文化理念在业界被广泛誉为管理的“黄金法则”。《奈飞文化手册》自2009年面世以来，便迅速成为全球企业管理的典范，吸引了超过1500万次的在线阅读与下载。Netflix的文化强调以人才密度实现最高绩效，对员工实行情境管理而不是控制。人才密度：Netflix相信优秀的同事能够相互激励，共同成长，并且工作表现具有感染力。：公司鼓励员工以积极的态度提供坦诚的反馈，这种沟通方式有助于建立信任和理解。管控。
2024-09-23 04:23:38
913
原创 阿德里安·欧拉博士Dr Adrian Euler 杜伦大学商学院 英国
Adrian 的学历包括金融学博士学位（考文垂）、管理与领导力 CMIC（CMI）、高等教育 PGC（考文垂）、半导体科学与技术硕士和 DISc（帝国理工学院）、物理学荣誉学士和 ARCS（帝国理工学院和皇家科学院）。阿德里安·欧拉博士是杜伦大学商学院金融学副教授（教学）兼 EconFin BoE UG 主席，是一位金融理论家和实践者，在行业和高等教育实践（教学、学术、创新、管理和领导）方面拥有丰富的经验。数值配方/计算金融（VBA/VB/Matlab/C/C++/Python/Java/C#）
2024-09-17 22:09:17
646
原创 比特币核心集成/阶段树
我们收到的拉取请求比我们在短时间内审查和测试的请求要多。请耐心等待并通过测试其他人的拉取请求来提供帮助，并记住这是一个安全至关重要的项目，任何错误都可能让人们损失很多钱。CI（持续集成）系统确保每个拉取请求都是针对 Windows、Linux 和 macOS 构建的，并且自动运行单元/健全性测试。：我们不接受以 GitHub 拉取请求形式进行的翻译更改，因为 Transifex 的下一次拉取请求会自动再次覆盖它们。更改应该由编写代码的开发人员以外的其他人进行测试。，并为旧代码提交新的单元测试。
2024-09-17 21:59:13
559
原创 arwu学术排名
Total Score1Harvard University2Stanford University3Massachusetts Institute of Technology (MIT)4University of Cambridge5University of California, Berkeley6University of Oxford7Princeton University8California Institute of Technology8Columbia University10Univ
2024-09-09 10:15:37
128
原创 大投资模型 arxiv 量化论文
传统的量化投资研究面临着回报递减以及劳动力和时间成本上升的问题。为了克服这些挑战，我们引入了大型投资模型（LIM），这是一种新颖的研究范式，旨在大规模提高绩效和效率。LIM 采用端到端学习和通用建模来创建上游基础模型，能够从跨越多个交易所、工具和频率的各种金融数据中自主学习综合信号模式。这些“全局模式”随后被转移到下游策略建模，优化特定任务的性能。我们详细介绍了 LIM 的系统架构设计，解决了该方法固有的技术挑战，并概述了未来研究的潜在方向。
2024-08-25 02:08:22
679
原创 HATS：分层图注意力神经网络用于股票预测
此外，还讨论了注意力机制在图神经网络中的应用，这种机制可以为不同邻居节点的信息分配不同的权重，以选择性地聚合特征，这对于后续的节点分类和图分类任务至关重要。基本面分析师通过深入研究公司的财务状况和盈利能力来评估其证券的内在价值，而技术分析师则专注于分析股票价格的时间序列数据，寻找可盈利的模式，这两种方法都对股市预测有着重要的影响。作者指出，利用图结构数据和关系数据的潜力尚未被充分挖掘，并提出了HATS模型，这是一个创新的层次化图注意力网络，旨在通过更智能地聚合不同类型关系的信息来提高股市预测的准确性。
2024-08-11 17:41:12
1098
原创 股票预测：一种基于新闻特征抽取和循环神经网络的方法
股票预测：一种基于新闻特征抽取和循环神经网络的方法* 张泽亚，陈维政，闫宏飞 北京大学计算机科学与技术系，北京，100871 E-mail: zeyazhang26@gmail.com 摘 要：本文提出了一种预测股票涨跌的方法。在特征抽取方面，除了股价信息，我们还提取了与股票相 关的新闻特征。我们先依据经验选取了一些能代表新闻利好和利空性质的种子单词，然后基于最优化方法 计算出所有单词的利好极性。之后通过单词的利好极性构造出新闻的特征。模型方面，考虑到价格的时序 性以及新闻影响的持续性，我们提出了一种循环神
2024-07-16 23:40:08
507
原创 是通货紧缩和通货膨胀的特点与优劣比较表：
请把通货紧缩和通货膨胀的特点与优劣用表格表达出来GPT-4oPoe当然，以下是通货紧缩和通货膨胀的特点与优劣比较表：希望这个表格能清晰地展示通货紧缩和通货膨胀的特点及其优劣。
2024-07-16 23:31:10
498
原创 QuantML-Qlib Model | ICLR 24: 基于独立Patch的时序预测模型
此外，本章还对比了不同的时间序列预训练方法，并提出了PITS方法，它通过独立地嵌入时间序列块，而不是依赖于块之间的依赖关系，从而提供了一种新颖的视角来改进时间序列的表示学习。然后将我们的代码拷贝进examples/benchmarks，目前quantml-qlib在qlib的基础上已经支持40多个模型，包括线性模型，树模型，MLP类，CNN类，RNN类，GNN类，Transformer类以及KAN等，各类SOTA模型会不断更新。与传统的掩码建模任务不同，块重建任务不是预测被掩蔽的块，而是自编码未掩蔽的块。
2024-07-15 00:14:16
894
原创 ProbTS：时间序列预测的统一评测框架
在 ProbTS 框架下的研究结果显示：首先，在长程及短程预测中，长程点预测的方法因定制化的神经架构在长程场景中表现出色，但在短程案例和复杂数据分布中表现不佳，并且因为缺乏对预测不确定性的量化评估，导致其与概率模型相比在应对复杂数据分布情况下存在显著的性能差距。研究员们通过 ProbTS 工具，不仅对预测研究的关键方法论差异进行了探讨，还对各类时间序列预测的经典模型和基础模型进行了评测，揭示了现有时间序列预测研究中存在的问题，以及各模型的优劣势所在，进而对该领域未来的研究方向进行了梳理。
2024-07-15 00:12:15
1023
原创 COLING 2024 | AlphaFin：基于LLM的股票预测大模型，显著提高预测能力
在这项工作中，研究者正式定义了财务分析的任务，并提出用 AlphaFin 数据集来增强大型语言模型（LLMs）的能力，并在其基础上对 StockGPT 进行了微调。研究者在提出的 AlphaFin 数据集上进行了广泛的实验，以及一些补充实验，如消融研究、GPT4 与人类偏好评估以及案例研究，以揭示 Stock-Chain 在所有基线方法中的卓越表现，并展示了其在财务分析任务中的有效性。然而，ML&DL 算法的性能有限，只能提供不确定的结果，并且无法处理复杂的文本数据。部分，即股票趋势预测和相应的金融问答。
2024-07-14 23:51:43
1677
原创 分数布朗运动的分数阶大规模中立型随机时滞系统的指数稳定性
数学在金融的许多领域都发挥着重要的作用。特别是，它提出了在所有金融领域广泛使用的理论和工具。此外，由于分数布朗运动(fBm)和相关随机系统的长记忆特性，人们用分数布朗运动来模拟股票价格和金融中的其他现象。本文给出了分数阶大规模中立型随机时滞系统的指数稳定性。基于分数阶微积分(FC)、Rn随机空间和Banach不动点理论，给出了解存在的充分条件和指数稳定性结果。在本研究中，我们通过应用局部假设来处理所考虑系统的非线性项。最后，为验证理论结果，进行了数值模拟。关键词:资产定价动态风险；指数稳定性；
2024-07-14 23:40:24
942
原创 基于加密货币市场的趋势择时策略表现研究
技术分析手段，尤其是趋势择时策略，在传统资本市场中已被广泛使用，但在加密货币市场中的应用和效果尚未得到充分研究。- MACD策略在所有三种加密货币中均能获得正的超额收益，尤其是MACD柱状图策略在以太坊和瑞波币中表现突出。- 趋势择时策略在加密货币市场中具有显著的预测能力，能够为投资者带来比买入并持有策略更高的超额收益和夏普比率。- 研究表明，加密货币市场可能存在无效性，但随着市场成熟和监管加强，市场有效性在增强。文章的结构清晰，研究方法严谨，为理解加密货币市场中的交易策略提供了宝贵的见解。
2024-07-10 13:48:05
455
原创 Reader：一键将URL转换为LLM内容格式输入的神器！
Reader，由 Jina AI 精心打造的创新开源工具，专注于提升大型语言模型（LLMs）的输入品质。这款工具不仅免费、稳定，还具备强大的可扩展性，堪称 Jina AI 核心产品中的佼佼者。
2024-07-10 09:35:15
577
原创 首个开源、原生多模态生成大模型：变色龙Anole一键生成 「煎鸡蛋」图文菜谱
17个月的漫长等待，大家共同见证了以文本为核心的LLaVa的崛起，目睹了基于Diffusion的Dalle的惊艳，却始终未能一睹那个能够完美融合文字与图像的模型真容。通过创新的局部微调方法，只调整不到40m参数，在短时间内（8 个 A100 GPU 上大约 30 分钟），便成功激发出Chameleon的图像生成能力，使研究人员和开发者能够充分利用并基于Chameleon的架构进行后续的多模态AI研究工作。近年来，多模态AI技术取得了显著进展，Meta AI推出的Chameleon模型便是其中的代表。
2024-07-10 09:33:28
1130
原创 dpo相对于rlhf的优化，或两者之间的异同
DPO (Direct Preference Optimization) 和 RLHF (Reinforcement Learning from Human Feedback) 在处理人类偏好优化方面采用了不同的方法。DPO 确实不需要训练奖励模型，而 RLHF 是需要训练奖励模型的。总的来说，DPO为RLHF提供了一个简化和高效的替代方案，特别适合资源受限或需要快速实现的场景。总之，DPO 通过直接优化来简化了人类偏好的学习过程，而 RLHF 则通过显式的奖励建模和强化学习来实现这一目标。
2024-07-09 21:39:46
1024
原创 我们公司落地大模型的路径、方法和坑
代码和断言将其操作化。对于更 “高级” 的漂移检测，考虑对输入/输出对的嵌入进行聚类以检测语义漂移，例如用户讨论话题的变化，这可能表明他们正在探索模型之前未接触过的领域。因此，如果没有好的检索（和排名），我们冒着用分心的内容淹没模型的风险，甚至可能将完全不相关的信息填充到上下文窗口中。对于那些在 ML 领域工作了很长时间的人来说，你可能会想到 “人机协同” 的概念，但没那么快：HITL 机器学习是一种建立在人类专家确保 ML 模型的行为符合预测的基础上的范式。虽然相关，但我们在这里提出的是更微妙的东西。
2024-07-09 21:32:39
995
原创 中文大模型基准测评2024上半年报告
国内外大模型差距进一步缩小国内外大模型差距进一步缩小：OpenAI最新模型GPT-4o依然是全球表现最好的模型，但国内大模型已将差距缩小至5%以内。
2024-07-09 21:27:55
1665
原创 RAGFlow 正式进入 Agentic 时代
举例来说，我们希望引入查询意图来决定如何对话，并引入类似 Self-RAG 的机制，对检索结果打分和重写，这就需要用到 Agent 来实现 Agentic RAG，并且这种 Agent 是包含反思能力的编排系统，也就是说是一个包含“环”的图，而并非普通意义上的工作流。它们联合数据库一起，共同保证最终问答的效果。这种包含环的图编排系统，为 Agent 引入了反思机制，可以说，具备反思能力，是 Agent 走向智能的必备基础，反思可以引导对话探索意图，理解目标，从而做到对上下文的自适应，最终完成高质量的回答。
2024-07-09 21:22:33
1085
原创 Agent如何帮助大模型“增强记忆”？
记忆模块的应用虽然目前还处于探索阶段，但和其他模块简单的读写过程会不断让Agent存储其关键的事实、偏好和改进建议，从而能得到更好的表现、准确率和稳定性。记忆模块也是Agent学习以及经验的基础，在记忆之上，Agent不仅能够变得更加聪明，更能够具备“智慧”，如同长者一般解决“年轻”Agent难以解决的问题。希望未来，AI在通往AGI之路上，能够更多地研究记忆模块的各类妙用，探索其对模型能力的加持。
2024-07-09 21:14:35
974
原创 大模型lora微调中，rank参数代表什么，怎么选择合适的rank参数
rank参数在LoRA微调中决定了低秩矩阵的秩，是微调过程中非常重要的一个超参数。通过合理选择rank参数，我们可以在模型性能和资源消耗之间找到平衡，实现高效的模型微调。
2024-07-09 21:09:03
2598
原创 30多个医疗大模型汇总：扁鹊、孙思邈、神农、皇帝、仲景、华佗大模型.........
仲景中医大语言模型（CMLM-ZhongJing）由复旦大学和同济大学共同开发，借鉴人类记忆知识的过程，采用专业表格，借助大语言模型的语言表征能力，严格设置特定的prompt模板，使得模型基于中医妇科方药表格数据生成包括患者治疗故事、诊断分析、诊断治疗预期结果、处方功用、互动故事、患者治疗故事、叙事医学、舌脉象、诊疗方案制定、批判性思维、随访、处方、药物用量、个例研究、真实世界问题、病因病机等15个场景，以促进模型对中医方药数据及诊断思维逻辑的推理能力。，能够确保提供可靠的、具有科学依据的医疗建议和诊断；
2024-07-09 20:52:34
2631
原创 Skywork-MoE，1460亿MoE模型，采用MoE Upcycling技术
在对齐阶段，首先通过监督式微调（SFT）使用了100万样本进行训练，然后通过Curriculum Learning使用了40万高质量、难度更大的样本，最后通过直接偏好优化（DPO）整合了人类反馈。该模型从Skywork-13B模型的密集型checkpoint初始化，采用MoE Upcycling技术，性能接近70B密集模型，而推理成本仅为密集模型1/3。该项目通过一系列渐进式的丢弃操作来平衡不同的控制信号，可以在生成视频的同时，有效考虑姿态、输入图像和音频。2024年06月04日 18:27。
2024-07-09 20:03:30
631
原创 RoPE旋转位置编码从复数到欧拉公式
利用欧拉公式 eiθ=cos(θ)+isin(θ)，我们可以将二维平面上的旋转操作简化为复数乘法。这种表示方法不仅简洁，而且在计算上非常高效，广泛应用于计算机图形学、信号处理和机器学习等领域。通过将旋转表示为复数乘法，可以方便地实现旋转位置编码，从而提高算法的旋转不变性和鲁棒性。eiθ=
2024-07-08 21:10:19
275
原创 RoPE 旋转位置编码，详细解释（下）NLP 面试的女生彻底说明白了
这时候认知就要提高了，就好像古代人的活动范围很小，那自然认为地球是平的。知道后来可以航海，发现为什么船接近的时候为什么总是先看到船帆然后才看到船的身子，这个时候就开始思考了，地球有没有可能是圆的。，实在是有些脑壳疼。下面简单回顾一下上文的重点，后面复数域的解释会用到一些结论，详细的可以点击上面的文章观看。所以有时候看上去有些困惑，看完本文和下图的解释应该就明白了。只不过复数域中的内积不再是简单的相乘，而是要取共轭。然后 RoPE 的论文里公式的表示似乎没那么严谨，注意左边二维向量的实数域的表示，右边则是。
2024-07-08 20:21:55
781
原创 NLP 面试八股：“Transformers / LLM 的词表应该选多大?“ 学姐这么告诉我答案
然后作者还尝试了在 llama 的基础上扩大词表继续训练，扩大了词表后效果依然有提升。注意这里是完全从头训练的 GPT-3 Large 模型，模型的参数量为 760M。因为 vocabulary 变大后，Embedding 层变大，最后输出的。和 训练代码中 vocabulary 的数量不一样， readme 中为。Baichuan 在技术报告里给出的一些模型的压缩率如下。的影响, 训练的信息不会丢失，推理的时候泛化能力也更强。151643，但是实际上代码里写的是 152064。
2024-07-08 20:09:19
661
原创 在大模型代码生成领域中，FIM、Recode和Text2Code几个任务描述
在大模型代码生成领域中，FIM、Recode和Text2Code确实是几个重要的专业术语。每种技术都有其特定的应用场景和优势，选择哪种方法通常取决于具体的开发需求和项目目标。代码生成技术，主要用于在已有代码的中间填充缺失。Recode可能涉及使用AI模型来改进、优化。指将自然语言描述转换为可执行代码的过程。现有代码框架中添加新功能。为代码，使编程更加直观。周围代码风格和逻辑一致。
2024-07-08 18:13:23
698
原创 LLaMA Pro：具有块扩展的渐进式 LLaMA[论文翻译]增量预训练 扩展transformer块
LLaMA Pro：具有块扩展的渐进式 LLaMAhttps://arxiv.org/abs/2401.02415Chengyue Wu1,2 Yukang Gan2 Yixiao Ge2Zeyu Lu3 Jiahao Wang1 Ye Feng4 Ying Shan2 Ping Luo11The University of Hong Kong 2ARC Lab, Tencent PCG3Shanghai Jiao Tong University 4Beijin
2024-07-08 17:48:19
612
原创 大模型增量预训练新技巧-解决灾难性遗忘
该方法主要通过增加恒定块扩展模型层数，使模型在增量训练过程中仅训练新增层、冻结原始层，保持模型原有能力，防止模型出现灾难性遗忘现象。但有两点存疑：目前来说mistral要好于llama，为啥不用mistral进行实验不用恒定块，性能会差多少。
2024-07-08 17:32:04
1322
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人