自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(936)
  • 资源 (37)
  • 收藏
  • 关注

原创 mongo使用投影(projection)的作用

投影在MongoDB中是一个非常有用的功能,通过它你可以控制查询结果中返回的字段,从而减少数据传输量,提高查询效率,并简化数据处理逻辑。在使用mongo时大脑需要有这样的意识,即投影的存在;理论和使用方法都可以从GPT4获得;

2024-05-30 09:26:27 204

原创 深入理解Python的类,实例和type函数

为什么第一个是false,第二个是true呢。

2024-05-08 17:14:32 455

原创 apply、map与applymap的区别

结论:apply可以传入额外的参数。

2024-05-01 11:27:52 397

原创 RuntimeError: “LayerNormKernelImpl“ not implemented for ‘Half‘

另一方面,GPU,尤其是NVIDIA的一些较新的GPU,如支持Tensor Cores的V100、A100等,专门设计了硬件加速FP16运算,这使得它们在处理这种数据类型时非常高效。相对于GPU,CPU在处理FP16计算方面通常要缓慢得多,因为它们可能需要将这些数值转换回FP32来进行计算,然后再转换回FP16来存储。它通常用于深度学习模型,因为它可以减少模型的内存占用,并可能在支持FP16计算的GPU上加速模型的训练和推理。如果你希望在CPU上进行推理,通常需要将模型转换回FP32精度。

2024-04-25 11:22:46 325

原创 vim中粘贴代码片段出现每行新增缩进的解决方法-set paste

set paste准备复制一段代码到Linux服务器上的vim文件中,效果如下:

2024-04-25 09:16:07 329

原创 打开服务器端口的方法

【代码】打开服务器端口的方法。

2024-04-07 09:32:01 477

原创 pulsar存在大量消费未ack的原因

某产品灰度上线后,从pulsar服务端监控发现存在一种现象:消费但未ack的信息不断增加,直到3000左右就稳定下来了且消费速度为0,但不清楚这3000是怎么来的,因为代码是消费到立马ack的;

2024-04-01 13:03:05 468

原创 Temperature&Top-k&Top-p

在语言模型中使用温度(temperature)这个参数是为了控制文本生成过程中的随机性和可预测性。这个概念来自于统计力学中的温度概念,在那里它用来描述系统的熵(或随机性)水平。在语言模型中,输出概率分布上的温度参数用于调整选择下一个词的多样性。pwsoftmaxTlogp​利用温度参数,模型能够在生成预测的词时权衡探索(尝试新的、不太可能的词)和利用(选择最可能的词)之间的平衡。在实际应用中,根据语境和应用场景的要求,可以调节温度参数,以产生合适的输出文本。

2024-03-31 22:27:48 664

原创 深入探秘Python生成器:揭开神秘的面纱

想象一下,您掌握了一种魔法,在代码世界里,您可以轻松呼唤出一个整数。然而,事情并不总是看起来那样简单。表面上,这段代码看起来像是在进行一个简单的问候和返回神秘数字1的仪式。这个不是预期中的整数!而是一种被称为生成器的强大生物。那么,这是如何发生的呢?

2024-03-31 11:44:26 524

原创 (生成器)yield与(迭代器)generator

外部的 while True 循环将会导致无限循环,但不是因为 yield_test() 函数内部的逻辑,而是因为外部循环每次迭代都重新创建了一个新的生成器对象。可以忽略掉yield_test内部执行逻辑,从外部调用来看,while会一直执行yield_test方法,永远都不会有终止的时候。

2024-03-26 20:20:24 667

原创 当模型足够大时,Bias项不会有什么特别的作用

阅读OLMo论文时,发现有如下一段话:加上前面研究llama和mistral结构时好奇为什么都没有偏置项了。

2024-03-14 09:54:29 904

原创 python导入的缓存机制

logger文件main文件中调用会执行print语句输出: load logger然后执行子进程每个子进程都会有from app.internal.component.logger import logger但没有执行print语句,且Logger.info打印的日志也没有输出。

2024-03-13 20:49:48 545

原创 在/etc/hosts中为某个IP配置域名解析时,域名可以有不同的,而且域名必须配置成指定的,不能是任意的

在/etc/hosts中为某个IP配置域名解析时,域名可以有不同的,而且域名必须配置成指定的,不能是任意的?

2024-03-04 21:30:31 431

原创 镜像与容器的区别

容器是从镜像创建的运行实例。它等同于面向对象编程中由类实例化的对象。

2024-03-03 17:09:29 479

原创 容器中的FROM python:slim的作用

第一句是什么意思呢,是用来执行镜像的吗。

2024-03-03 14:29:22 716

原创 Repetition Improves Language Model Embeddings

问题定义:论文指出自回归大型语言模型(LLMs)在提取文本嵌入时存在一个限制,即早期标记的上下文化嵌入不能包含来自句子后部的信息。这可能导致在语义相似性估计上的失败。方法提出:为了解决这个问题,作者提出了一种名为“回声嵌入”的方法。这种方法通过在上下文中重复输入两次,并从第二次出现的文本中提取嵌入,从而使早期标记能够编码关于后续标记的信息。实验设计:作者在大规模文本嵌入基准(MTEB)上进行了实验,包括零样本和微调设置,以评估回声嵌入与传统嵌入方法的性能。

2024-02-29 17:40:18 975

原创 python中写monogo的uri参数里,为什么有多个IP,是连接多个服务器吗

为什么uri中会存在多个IP地址呢, 是连接多个服务器吗?

2024-02-27 21:23:48 575

原创 telnet与ping的区别

如果 telnet 客户端在 “Trying” 状态后没有其他输出,这通常表明它正在等待响应,如果超过一定时间没有收到响应,可能会出现超时错误。这种情况下,需要检查网络连接、目标主机状态、端口状态以及防火墙设置等,以确定为何无法建立连接。当使用 telnet 命令尝试连接到某个主机的特定端口时,如果你看到 “Trying” 消息,这意味着 telnet 客户端正在尝试建立到目标主机和端口的TCP连接。换句话说,它正在发送一个TCP连接请求,并等待目标主机响应。

2024-02-27 17:12:04 1199

原创 NoReturn与None的区别

在这个例子中,my_function 会抛出一个异常,所以它不会有返回值,不仅是不返回 None,而是根本就不会有任何返回过程,因为函数执行会在抛出异常时被中断。总的来说,None 是一个实际的值,而 NoReturn 是一个类型注解,用于描述函数的行为(即函数不会正常结束执行)

2024-02-27 17:03:43 381

原创 if __name__ == ‘__main__‘: main()为什么是最佳实践呢

可维护性和可测试性:从 main() 函数调用代码使得它更容易被测试,因为你可以从测试框架中直接调用 main() 函数。此外,如果程序变得更加复杂,使用 main() 函数可以更容易地维护和扩展代码。避免全局变量:在 main() 函数内声明的变量是局部的,避免了全局变量的使用,这减少了由于变量命名冲突或无意中改变了全局状态所引起的bug。性能优化:在某些情况下,将代码放入函数中可以提高性能。如果你直接将代码放在 if。’: 块中,那么这部分代码在被其他脚本导入时不会执行,也无法被重用。

2024-02-26 20:27:10 319

原创 k8s部署项目的优势

可伸缩性:Kubernetes 可以根据应用负载动态调整副本数。这意味着你的 Python 应用可以根据需求自动扩展或收缩,从而提供更高效的资源使用。自我修复:当一个服务实例失败时,Kubernetes 能够自动重启容器,替换故障的 Pods,或者重新调度到健康的节点上,以确保应用的持续可用性。负载均衡:Kubernetes Service 提供了内置的负载均衡器,可以自动分发网络流量到不同的应用副本,有助于提高应用的响应速度和可用性。

2024-02-02 16:44:10 1110

原创 uptrained的解释

如果 “uptrained” 出现在与机器学习或人工智能相关的上下文中,它可能是指 “进一步训练”、“增量训练” 或 “继续训练”。在这种情况下,它描述的可能是在一个已经训练好的模型基础上,使用新数据或额外的数据来继续训练以提高性能或适应新的任务。如果一个模型已经在一个数据集上训练过了,然后你使用额外的数据继续训练它,这个过程可能被称为 “uptraining”,相应的中文可以翻译为 “进一步训练” 或 “继续训练”。“uptrained” 这个词没有直接的中文翻译,因为它不是一个标准的英文单词。

2024-02-02 09:13:18 432

原创 Serializable与dataclasses结合的作用

Serializable 通常会提供诸如 to_dict(), from_dict(), to_json(), from_json() 等方法。这样做的好处是可以简化在不同系统或网络传输过程中的数据交换。Serializable 类提供了将数据类的实例转换为更容易进行JSON序列化的字典格式的方法,以及从该字典格式创建数据类实例的方法。在 Python 中,dataclass 是一个装饰器和一个函数,它们位于 dataclasses 模块中,自 Python 3.7 起作为标准库的一部分提供。

2024-02-01 15:01:02 424

原创 MongoDB技巧:轻松复制整个数据库内容

【代码】MongoDB技巧:轻松复制整个数据库内容。

2024-01-30 09:21:21 435

原创 isinstance(1, type) 为什么会输出false呢

isinstance() 函数是Python中用来检查一个对象是否是一个类的实例的内置函数。它接受两个参数:第一个参数是要检查的对象,第二个参数是类(或类的一个元组,表示任意一个类)。

2024-01-27 16:51:59 399

原创 linux中配置文件目录为什么用etc来命名

在现代的 Linux 和类 Unix 系统中,/etc 目录用于存放系统的全局配置文件。例如,你会在 /etc 目录下找到网络配置、系统服务启动脚本、用户账户信息、安装的软件的配置文件等。的缩写,最初意味着 “其他”,用来存放杂项或者不属于其他特定目录的文件。然而,随着时间的推移,/etc 目录的用途逐渐演变并专门化。,这是一个很好的例子,展示了技术术语和命名随着时间的演进而逐渐定型的过程。在早期的 Unix 系统中,/etc 目录的名称确实来源于单词。目录的名称起源于“其他”,但现在它已经成为了。

2024-01-26 11:46:08 646

原创 __name__是私有属性吗

在Python中,属性和方法名称前面带有双下划线(、__dict__等,它们并不是私有的,而是被称为"特殊方法"或"魔术方法"。

2024-01-26 11:17:16 364

原创 python中globals()的作用-反射很给力

在Python中,globals() 函数返回一个字典,表示当前全局符号表。这个符号表始终针对当前模块,包含了可以在程序的全局作用域内访问的所有变量和函数。

2024-01-26 11:00:52 459

原创 MongoDB数据定期缓存及自动更新到类属性的实现方法

由于业务需求,需要从mongodb中获取全量数据,但由于mongodb数据每天都会有更新,所以需要定时获取数据;一开始的方案如下:# 每个小时就从mongodb下载数据if 时间等于整点:下载mongodb数据;

2024-01-25 09:13:20 355

原创 pluggy的hooks调用一定要关键字参数

报错如下:TypeError: HookCaller.call() takes 1 positional argument but 2 were given在使用 pluggy 这样的插件管理库时,钩子(hooks)通常是通过关键字参数来传递数据的。这样做的好处是:增强了代码的可读性:调用函数时明确指定参数名,可以让代码更容易理解。提高了灵活性:如果钩子定义中的参数顺序发生变化,使用关键字参数调用就不会受到影响。可维护性:当钩子的参数列表在未来可能扩展时,现有的插件调用不需要修改,因为它们已经通过关键

2024-01-23 12:45:04 331

原创 print会默认调用__str__方法吗

打印Mongodb自己生成的id:输出:659faa6670433c2c86986861ObjectId(‘659faa6670433c2c86986861’)在 MongoDB 中,_id 字段通常是一个 ObjectId 类型的实例。当你在 Python 中打印一个 ObjectId 对象时,会自动调用该对象的 str() 方法,该方法返回对象的字符串表示形式。这就是为什么当你执行 print(res[‘_id’]) 时,你看到的是 ObjectId 的字符串形式,而不是 ObjectId 对象本

2024-01-22 22:46:05 371

原创 python好工具之自动重试tenacity

tenacity 是一个Python包,用于简化为代码添加重试逻辑的过程。它允许你在遇到异常时自动重试某个操作,并可以定制重试的策略,例如重试的次数、等待重试的时间间隔、何种异常触发重试等。这使得 tenacity 成为处理网络请求、远程资源访问或其他可能因暂时性问题失败的操作的有用工具。

2024-01-19 10:51:28 415

原创 python插件架构介绍

钩子规范是接口的声明,它定义了插件需要实现的方法和所需的参数。这些规范是插件开发者遵循的蓝图,确保了所有插件都有一致的接口。# 创建一个钩子规范管理器"""一个包含所有钩子规范的类。"""@hookspec"""一个简单的钩子规范,插件需要实现这个接口。"""pass。

2024-01-17 23:52:43 628

原创 An Experimental Design Framework for Label-Efficient Supervised Finetuning of Large Language Models

A: 这篇论文提出了一个实验设计框架,用于在有限的标注数据下提高大型语言模型(LLMs)的监督微调(SFT)效率。问题背景:SFT在指令数据集上对LLMs的零样本泛化能力至关重要,但随着指令数据集任务数量的增加,所需的高质量响应标注工作量变得非常昂贵。方法提出:为了减少SFT的标注成本并避免主动学习中的计算瓶颈,论文提出了使用实验设计技术来选择最有信息量的样本进行标注。实验设计通常最大化某种不确定性和/或多样性的概念。

2024-01-17 08:56:35 399

原创 论文系列之Applying Large Language Models API to Issue Classification Problem

这篇论文探讨了如何应用大型语言模型(LLMs)的API来自动分类软件工程中的issue报告,以优化资源分配并及时解决关键问题。研究者们开发了一个基于Generative Pre-trained Transformers(GPT)的方法,通过在较小的数据集上进行微调(fine-tuning),来提高issue分类的准确性和可靠性。他们使用了OpenAI的API和gpt-3.5-turbo模型,通过模拟对话的方式训练模型,将issue的标题和内容作为提示,期望模型能够返回正确的分类标签。

2024-01-11 12:24:57 535

原创 论文系列之-Mixtral of Experts

1. 提高模型性能:通过使用稀疏混合专家结构,Mixtral在多个基准测试中超越或匹配了现有的大型模型(如Llama 2 70B和GPT-3.5),尤其是在数学、代码生成和多语言理解任务上。2. 控制计算成本:尽管模型拥有47B参数,但在推理过程中每个token仅使用13B活跃参数。这种设计允许在小批量大小下实现更快的推理速度,并在大批量大小下实现更高的吞吐量。3. 减少偏见和提高情感平衡:通过指令微调(Instruct)模型,Mixtral在人类评估基准测试中展示了减少的偏见和更平衡的情感配置文件。

2024-01-10 12:47:01 1706

原创 大模型中训练出现的ignore_index的作用

label会送入交叉熵损失函数中进行计算损失值,那么该函数如何起作用呢?

2023-12-27 13:05:23 845

原创 GPT每预测一个token就要调用一次模型

不久以前我以为是调用一次。

2023-12-24 22:22:01 1829

原创 大模型系列之模型参数冻结

比如说仅训练embedding层参数

2023-12-24 09:33:00 792

原创 混合精度训练(MAP)

使用精度低于32位浮点数的数字格式有很多好处。首先,它们需要更少的内存,可以训练和部署更大的神经网络。其次,它们需要更少的内存带宽,这加快了数据传输操作。第三,数学运算在降低精度的情况下运行得更快,特别是在支持Tensor Core的gpu上。混合精确训练实现了所有这些好处,同时确保与完全精确训练相比,没有任务特定的准确性损失。它通过识别需要完全精度的步骤,并仅对这些步骤使用32位浮点数,而在其他地方使用16位浮点数来实现这一点。

2023-12-22 21:47:43 1000

化繁为简之Python代码

将文本中的繁体字均转化成简体字,语言为python,可供文本处理的数据科学家使用

2019-04-11

centos7.6所需gcc以及相应所有的包

为最新的centos系统提供安装gcc与相应的安装包,为离线安装节约大量的搜索与下载的时间

2019-03-17

Training deep network without learningrate coinbet

深度学习需要通过调节大量算法参数来获得最好的结果;其中就包括学习率的人为调节;该文档使用了coinbet算法,令学习率不需要再人为的设置

2018-11-14

stacked Denoise autoencoder learning useful representation

该论文主要论证了无监督学习sdae算法的有效性,该算法极大的降低了SVM分类算法的分类损失值;缩小与DBN差距,某些方面甚至超越DBN

2018-11-14

deep_stock_representation_deeplearning_cnn

该论文主要是将cnn神经网络应用于股票研究,并使用模块聚类算法建立投资组合并进行预测

2018-11-14

深度学习+tf

涉及深度学习各个领域,包括三大类框架CNN.RNN MLP;都是使用tensorflow实现的;还包括深度学习推荐算法;是一个学习tensorflow和深度学习实践的好文档

2018-11-14

深度学习的发展历程

讲述了神经网络第一代,第二代,第三代的发展历程;及如何解决一些重要难题和未来的需要处理的问题;

2018-11-05

使用自编码器与lstm预测金融时间序列

首先、wt(小波分析)过滤噪声 然后 saes(自编码器)提取强特征 最后用lstm进行学习训练

2018-04-18

长短期记忆时间序列预测金融市场

很好的描述了如何将人工智能之循环神经网络运用于金融之股票市场的预测,包括特征处理,标准化,结论,与传统机器学习的效果进行比较

2018-04-18

人工智能选股之Python实战

人工智能选股模型如何用python完成,即用python实现机器学习模型

2017-12-21

人工智能选股之随机森林模型

人工智能选股之随机森林模型主要讲解如何应用随机森林模型与股票交易市场;

2017-12-21

人工智能选股之朴素贝叶斯模型

人工智能选股之朴素贝叶斯模型主要讲解概率模型的股票交易市场中的应用,值得学习与借鉴

2017-12-21

人工智能选股之支持向量机模型

人工智能选股之支持向量机模型在股票交易市场的中应用,值得学习与借鉴

2017-12-21

人工智能选股之广义线性模型

本文主要讲解人工智能系列中广义线性模型在股票交易市场中的应用,值得借鉴与学习

2017-12-21

人工智能选股框架及经典算法简介

该文档对于人工智能的各类算法进行了简单的介绍,以及如何应用于股票交易市场

2017-12-21

基于机器学习的股票排名方法

传统的机器学习运用于选股的论文,对于量化研究爱好者可以借鉴与参考,

2017-12-21

BL模型行业配置

BL模型

2017-08-03

FAMA-FRENCH

FAMA-FRENCH

2017-08-03

Python_Machine_Learning_By_Example

Python_Machine_Learning_By_Example

2017-08-03

BayesiOptimization

贝叶斯优化

2017-08-03

Advanced_Algorithmic_Trading

python版的算法交易

2017-08-03

统计思维:程序员数学之概率统计

统计思维:程序员数学之概率统计,程序员用统计学研究问题可以参考的!

2015-12-16

R语言获取国内的股票数据

直接用getSymbols能方便的获取国外的,但不能方便的获取国内的,代码经过检验可以直接获取国内股票日线数据

2015-12-16

将CSV格式转换成xts,zoo时间序列格式

R语言自己从网上downloadR数据是时间序列格式,但读取到的CSV格式并不是时间序列格式,这个代码经过验证,在需要的可以试试

2015-12-16

Rbreak日内交易策略

这个网上有现成的,这个作用还是挺大的,但是需要手动改改才能运行!

2015-12-16

用R作配对策略组合绩效测试的简单案例

对于初学R,并且想进入金融行业的可以看看

2015-12-16

c#学校网络断网自动重连

每10秒就会检测网络连接是否正常,如果断开,就会发送POST数据。

2015-04-10

pku 2371 快速查找法very easy!

这是pku里面一个比较容易的一个题目!快速查找法qsort里面的利用是最重要的!

2009-12-22

黑客零起点网络手册.chm

黑客零起点网络手册,要成为黑客就得从这里学起!加油吧!

2009-05-29

linux系统---linux命令.rar

linux系统---linux命令快快来下载啊,不容错过!

2009-05-29

容斥原理理论和鸽巢原理

非常难的一个算法,好好努力吧!快快来下载啊!

2009-05-29

算法分析与基础---蛮力法

这是算法中的一个非常实用的算法;格式为ppt格式;大小为99kb;

2009-05-29

银行模拟系统---简单方便

该系统具备普通银行系统功能,例如建立账户,存款和取款,查询;

2009-05-29

关键字图书馆管理系统

这是一个通过建立关键字索引表来完成图书查询的一个系统;

2009-05-29

servlet2.4.pdf

java servlet specification

2009-05-29

ASCII超级方便的查询器

此是一个可以方便我们查询ASCII的程序!

2008-09-08

十大利用矩阵乘法解决的经典题目

十大经典矩阵算法,此文本是pdf格式!c++语言程序

2008-09-08

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除