- 博客(143)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 腾讯云AI代码助手编程挑战赛-FinChat
finchat是一款极具创新性的智能股票分析工具，依托国内顶尖大语言模型打造而成。它专为日常忙碌、无暇顾及金融市场，却又手握闲钱渴望投资的人群量身定制。通过打破信息壁垒，FinChat 帮助用户洞悉市场环境，为投资者提供科学的投资建议。
2025-01-07 15:40:37
975
原创 vllm部署模型推理后怎么释放或者关掉占用的gpu资源
这里要代码释放gpu资源就需要实现close函数去手动关闭了，官方vllm目前没有实现关闭的函数，且目前vllm版本为vllm==0.4.0.post1。如果需要关闭占用的gpu资源直接关掉这个python进程就可以了。调用直接用http请求。
2024-05-21 10:19:06
3063
原创 Qwen1.5-72B-Chat用vllm部署【踩坑记录经验贴】
坑：–model这里需要填你模型下载下来的位置。删了还是不足：pip install --no-cache-dir somepackage。坑：如果服务器开了防火墙记得开对应的端口。去到root目录下把cache清掉。如果没有可以用阿里云的pip镜像。如果自己有代理科学上网可以这样。或者使用python验证。这里返回true就可以。
2024-05-16 15:39:58
3825
1
原创 卸载重装nvidia驱动、cuda
检查CUDA是否卸载 执行find / -name ‘cuda’，如发现系统内CUDA相关文件，执行如下命令，卸载CUDA工具包，以cuda-11.7为例。上述步骤完成后，执行source ~/.bashrc使配置文件生效，若配置成功，会直接进入base环境，如下所示。如果没有进入base环境，执行conda --version查看Anaconda是否配置成功，若成功回显如下。注意安装cuda时，需要按”空格键“取消cuda driver的选择，避免之前安装的驱动被覆盖。步骤三：安装CUDA工具包。
2024-05-16 15:23:59
1470
原创 openai function call stream调用指南
对于function call，我们会调用两次openai接口，如果有function需要调用的情况下，如果没有就只会调用一次openai接口。
2024-03-25 10:33:17
1987
原创 overleaf编辑表格
begin{tabular}{|c|c|c|} 和 \end{tabular} 定义了一个 tabular 环境，该环境中的每个行都是由 & 分隔的单元格，每行结束时都使用 \。在这个例子中，\begin{table}[h] 和 \end{table} 定义了一个表格环境。最后，\caption{表格的标题} 添加了一个标题， \label{tab:my_label} 添加了一个标签，以便在文档的其他地方引用该表格。{|c|c|c|} 定义了列的对齐方式和垂直线的位置。\hline 插入一条水平线。
2023-05-30 16:03:06
6601
原创 怎么样才能在Python中确保对象只能一个被实例化
单例模式是一种设计模式，它限制了一个类只能有一个实例。当整个系统中需要一个协调各个部分的唯一对象时，这种设计模式就非常有用。例如，配置管理器、日志记录器或者数据库连接池等场景都可能需要单例模式来实现。
2023-04-25 19:22:55
1015
1
原创 强化学习论文解读之FinRL-Meta: Market Environments and Benchmarks for Data-Driven Financial Reinforcement Lear
FinRL-Meta是一个基于Python的金融强化学习框架，旨在帮助金融领域的研究人员和量化投资者利用数据驱动的方式来解决投资问题。本篇博客将介绍FinRL-Meta框架的设计思想、应用场景以及相关教程。该框架具有易用性、高效性和灵活性等优势，可应用于多种金融领域问题的解决，例如投资组合优化、股票预测和交易策略等。如果你是金融领域的研究人员、量化投资者或对金融机器学习感兴趣的开发者，那么本篇博客将为你提供有用的信息和实践指导。
2023-04-21 17:03:02
663
原创 强化学习论文解读之FinRL-Podracer: High Performance and Scalable Deep Reinforcement Learning for Quantitative
FinRL-Podracer是一种高性能、可扩展的深度强化学习框架，旨在帮助金融研究人员和量化交易员通过GPU云平台预测股票趋势。本篇博客将介绍FinRL-Podracer的特点和优势，并展示如何使用该框架构建深度强化学习模型来预测股票趋势。此外，本文还将探讨如何在金融领域使用MLOps（机器学习运维）来部署和管理模型。如果你是金融研究人员、量化交易员、机器学习从业者或对金融领域深度强化学习感兴趣的读者，那么本篇博客将为你提供有用的见解和实践指导。
2023-04-21 15:37:17
408
原创 强化学习论文解读之Explainable Deep Reinforcement Learning for Portfolio Management: An Empirical Approach
深度强化学习在组合管理中显示出了优异的性能，但这些模型的决策过程通常难以解释，限制了它们在实际应用中的应用。本博客将对一篇名为“可解释的深度强化学习在组合管理中的实证方法”的研究论文进行全面的概述。该论文提出了一种实证方法，用于解释深度强化学习模型在组合管理任务中的决策过程。通过将此方法应用于实际金融数据集，作者展示了该方法如何提供深度强化学习模型决策过程的洞察力。本博客将为对AI驱动的组合管理感兴趣的量化交易员、AI研究人员和金融专业人士提供有价值的信息。
2023-04-21 13:58:20
347
原创 强化学习论文解读之Deep Reinforcement Learning for Automated Stock Trading: An Ensemble Strategy-深度强化学习在自动股票交易
股票交易一直是高风险、高回报的领域，因此许多投资者都希望能够找到一种有效的自动化交易策略来获得更高的投资回报率。最近，一篇关于使用深度强化学习算法实现自动化股票交易策略的论文引起了广泛关注。本篇博客将介绍该论文的方法和实验结果，以幽默的例子讲解如何利用深度强化学习算法构建集成策略，并在股票交易中实现自动化交易。如果你是量化交易员或AI工作者，那么本篇博客将为你提供有用的思路和实践指导。
2023-04-20 10:15:00
587
原创 强化学习论文解读之FinRL: A Deep Reinforcement Learning Library for Automated Stock Trading in Quantitative
随着深度学习和强化学习的迅猛发展，自动化股票交易已成为许多量化交易员和金融工作者所关注的领域。为了帮助初学者更轻松地构建实用的DRL交易代理，FinRL库应运而生。FinRL是一种基于Python的深度强化学习库，专门用于解决量化金融问题。本篇博客将介绍FinRL库的原理和应用，并展示如何使用FinRL库轻松训练实用的DRL交易代理。如果你是量化交易员或AI工作者，那么本篇博客将为你提供有用的思路和实践指导。
2023-04-19 21:02:02
526
原创 强化学习论文解读之Practical Deep Reinforcement Learning Approach for Stock Trading-实用深度强化学习方法在股票交易中的应用
在现代金融市场中，股票交易被认为是高风险高回报的领域之一，许多投资者试图利用各种交易策略来获得更高的投资回报。而强化学习，作为一种先进的人工智能技术，已被广泛应用于股票交易中。本篇博客将介绍深度强化学习在股票交易策略优化中的实践应用。我们将深入探讨如何使用马尔可夫决策过程（MDP）和深度神经网络来构建优化的股票交易策略，从而提高投资回报率。如果你是研究生、量化交易员或AI工作者，那么本篇博客将为你提供有用的见解和实践指导。
2023-04-19 15:08:00
452
原创 解决使用Auto-GPT本地部署时无法连接Google的问题和无法连接openai的问题
在这篇博客文章中，我们将介绍如何解决使用本地部署时遇到的无法访问Google的问题。文章的目标受众为编程者和AI工作者。Command google returned: Error: [WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败。
2023-04-16 23:54:30
5245
14
原创 强化学习中DQN算法的相关超参数背后的意义
决定智能体学习环境时使用的策略网络结构，如多层感知机策略（MlpPolicy）或卷积神经网络策略（CnnPolicy）。0表示无输出，1表示信息消息（如使用的设备或包装器），2表示调试消息。: 软更新系数（“Polyak更新”，取值范围0到1），默认值为1表示硬更新。: 用于训练的环境。: 控制计算滚动统计数据时使用的窗口大小，影响评估模型性能时的平滑程度。: 决定存储过去经验的缓冲区大小，影响智能体从历史数据中学习的能力。: 控制未来奖励的折扣程度，影响智能体对即时和未来奖励的重视程度。
2023-04-14 15:38:21
4637
2
原创 强化学习中on_plicy和off_policy最大的区别
策略更新方法可以分为两类：On-policy（在线策略）和Off-policy（离线策略）。它们之间的主要区别在于如何使用经验（状态、动作、奖励和下一个状态）来更新智能体的策略。总之，On-policy和Off-policy方法之间的最大区别在于它们如何使用经验数据来更新策略。On-policy方法仅使用当前。
2023-04-13 16:18:07
1665
1
原创 dataworks自定义函数开发环境搭建
自定义函数开发环境搭建1.根据教程搭建好客户端odpscmdhttps://help.aliyun.com/document_detail/27971.html2.用idea安装MaxCompute Studiohttps://help.aliyun.com/document_detail/50892.html3.连接dataworks项目https://help.aliyun.com/document_detail/50855.html4.编写自定义函数https://help.aliyun.co
2022-07-01 16:33:53
936
原创 datax-osswriter代码解析
首先我们先查看一下osswriter插件的目录，有个具体的印象目录下面的doc文件就是osswriter的markdown文档，可以先阅读一下。然后在src/main目录下面有assembly文件夹和java文件夹，assembly里面是打包的xml可以不用管，主要看java文件夹里面的代码里面有个util文件下面的ossutil主要用于初始化oss的客户端constant文件主要用于记录一些固定的常量，比如刚刚上面初始化oss客户端的超时时间key文件主要用于记录一些oss重要的关键字OssWriterE
2022-06-02 17:47:15
809
1
原创 一文了解Clickhouse
Clickhouse调研ClickHouse是什么ClickHouse是一个存储计算一体的工具，其与spark，flink等大数据框架不同的在于它有自己的存储层，在数据压缩，存储上做了更多的优化，所以导致它在某些数据处理能力上比其他工具快上了不少，毕竟一般框架只是在计算层面上下功夫做优化。为什么选择ClickHouseClickHouse有非常多的特点，但这里我只选择我认为比较重要的说：灵活多变：分析场景下，随着业务变化要及时调整分析维度、挖掘方法，以尽快发现数据价值、更新业务指标。而数据仓库中
2022-05-05 12:03:37
3411
原创 从0到1构建数据仓库思路
从0到1构建数据仓库思路：0.建议先和运营构建业务数据矩阵如下表，是业务数据矩阵的表示方法，其中每一列是一个业务主题，每一行是一个数据主题。业务主题：我们可以将一个业务主题理解为运营的一条业务，或者说数据仓库仓库待建设的一个数据集市。数据主题：一般来讲，我们会侧重于将数据主题理解为行为数据主题，比如说登陆、点击、下载等行为主题。如果了解了什么是业务数据矩阵，那么它的作用就很容易被理解。简单来讲：能够帮助数据仓库架构师清晰地梳理整个数据体系。能够帮助决策者（各位老板）从宏观的角度了解数据
2022-04-28 14:09:27
1158
原创 修改datax，Java获取mongo，Document转换成json，遇到的类型问题，用JsonWriterSettings解决
java $numberlong 解决方法问题：我们存在mongo中带有数据类型，如图
2022-04-25 18:04:32
2292
2
原创 手把手教数据仓库建设dataworks（小白版）
阿里云数据仓库体系目前构建数据仓库的技术主要为开源框架，像Hadoop，hive，kafka，flink，spark等等，如果自己从0到1去搭建整个数据仓库工作量比较大，且对于性价比不高，故我们采用现成的阿里云提供的数据仓库，阿里云技术框架如下：阿里云产品介绍类比DataHub数据总线Kafka+dataxE-MapReduce开源大数据计算框架上面所说的从0到1用开源框架去搭建数据仓库，适用于已搭建了数据仓库的公司进行改造升级。MaxCompute阿里黑盒大
2022-04-15 22:38:24
6570
2
原创 大白话理解数据仓库建设
数据仓库理论是指导实践的基石，所以先过一遍理论可以为未来操作提供良好的基础。什么是数据仓库（what）构建面向分析的集成化数据环境，为企业提供决策支持。说白了就是存放很多按主题分类且不常变动数据的地方，这些数据主要有几个特征分别是面向主题，集成的，相对稳定的，反映历史变化的。数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数据来源于外部，并且开放给外部应用，这也是为什么叫“仓库”，而不叫“工厂”的原因，数据仓库是决策支持系统和联机分析应用数据源的结构化数据环境。为什么要用数据仓
2022-04-13 09:43:43
2112
原创 大胆一点，让Golang成为新一代科研的编程语言
大胆一点，让Golang成为新一代科研的编程语言前言路人甲：科研的编程语言不是Python，R，C这些吗，Golang是什么东西。路人乙：作者什么鬼，不会是个标题党吧。这可能是大多数点开这篇文章人的心声吧，但各位客观莫着急，我尽量用较短的语言从数据处理，性能对比等等方面来说明Golang为什么可以用于科研。Go是什么？Go语言是谷歌公司在2007年发布的静态编译型语言，其目的是为了取代c++，作为c的补充，关于这一点其实linux之父linus在2007年就说过c++是一个很糟糕的语言，主要原因
2022-04-04 22:52:12
2113
原创 Kafka分布式集群部署
Kafka分布式集群部署Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。1.下载Kafka并安装1）下载Apache版本的Kafka。2）下载Cloudera版本的Kafka。2.Kafka集群配置1）配置server.properties文件vi kafka_2.11-2.4.0#节点唯一标识broker
2022-04-03 00:27:07
581
原创 HBase分布式集群部署
HBase分布式集群部署必看配置千万条，网络第一条。配置不规范，bug改到吐。内外ip要分清，本机配置内ip，连接请用外ip1.准备HBase是一个高可靠、高性能、面向列、可伸缩的分布式存储系统，利用Hbase技术可在廉价PC Server上搭建 大规模结构化存储集群。HBase 是Google Bigtable 的开源实现，与Google Bigtable 利用GFS作为其文件存储系统类似， HBase 利用Hadoop HDFS 作为其文件存储系统；Google 运行MapReduce 来
2022-04-03 00:15:01
889
1
原创 高频算法题（面试前刷，持续更新）
面试高频算法704. 二分查找难度简单585收藏分享切换为英文接收动态反馈给定一个 n 个元素有序的（升序）整型数组 nums 和一个目标值 target ，写一个函数搜索 nums 中的 target，如果目标值存在返回下标，否则返回 -1。示例 1:输入: nums = [-1,0,3,5,9,12], target = 9输出: 4解释: 9 出现在 nums 中并且下标为 4示例 2:输入: nums = [-1,0,3,5,9,12], target = 2输出: -1解释
2022-04-02 23:57:11
1036
原创 大数据集群安装02之Hadoop配置
Hadoop配置必看配置千万条，网络第一条。配置不规范，bug改到吐。内外ip要分清，本机配置内ip，连接请用外ip1.下载上传插件rz【安装命令】：yum install -y lrzsz2.上传hadoop压缩包【上传命令】：## 上传压缩包rz## 压缩tar -zxvf [包名]3.配置hadoop(1)编辑.bashrc文件在所有节点的.bashrc文件中添加如下内容：(也可以在profile文件中添加)# jdkexport JAVA_HOME=/roo
2022-03-24 17:22:15
2701
原创 设计模式-单例模式（懒汉式，饿汉式）
设计模式1.单例模式在某个服务器程序中，该服务器的配置信息存放在一个文件中，这些配置数据由一个单例对象统一读取，然后服务进程中的其他对象再通过这个单例对象获取这些配置信息。这种方式简化了在复杂环境下的配置管理。单例的实现主要是通过以下两个步骤：将该类的构造方法定义为私有方法，这样其他处的代码就无法通过调用该类的构造方法来实例化该类的对象，只有通过该类提供的静态方法来得到该类的唯一实例；在该类内提供一个静态方法，当我们调用这个方法时，如果类持有的引用不为空就返回这个引用，如果类保持的引用为空就创
2022-03-24 17:21:14
761
原创 计算机基础常见八股问题集合（含计算机网络，操作系统，计算机组成，数据结构与算法，数据库）
计算机操作系统内核态和用户态的区别用户态可以执行cpu调用的非特权指令内核态可以执行特权指令和非特权指令用户态到内核态的切换是通过中断实现的内核态到用户态的切换是通过特权指令实现的什么是操作系统中断1.当发生中断时，cpu立即进入内核态2.当发生中断后，当前进程暂停运行，并由操作系统内核对中断进行处理3.对于不同的中断信号，会进行不同的处理4.中断分为内中断和外中断。进程控制块PCB是什么存放进程的管理和控制信息的数据结构称为进程控制块。它是进程管理和控制的最重要的数据结构，每一个进
2022-03-23 14:07:11
11023
1
原创 如何构建数字签名密钥？
数字签名为保证数据传输过程中的数据真实性，完整性和不可抵赖，我们需要对数据进行数字签名，在接收接口请求后进行签名校验。签名机制如下：采用MD5 产生签名摘要。待签名原文是各请求参数的值按照文档中自上而下的顺序组拼装成的字符串，不包括 sign 本身，如果字段值为空或者字段不存在则参数不参与拼装。sign=MD5(参数1+参数2+…+参数n+key)，其中key 为用户秘钥（可以为任意字符的md5转换，也可以是其它的）。base64 编码的字符集为 UTF-8。输出结果为 32 位大写字符串
2022-03-01 18:14:47
752
原创 从上亿条数据中过滤两百万条数据信息，你会怎么做？
【业务梳理】背景就是要从上亿条数据中过滤出被封禁的用户，如何处理补充在第5部会使用must和mustnot命令过滤数据到前端展示【实现方式】本地测试环境，自己搭建了本地的elasticsearch，elasticsearch-head-master和kibana进行本地开发测试，需要加的逻辑主要在向redis拿到任务后去业务数据库中补充相关字段比如被封禁的用户信息，主贴被删的信息等等，然后在运行时发现被封禁的用户信息量在两百万左右，大量的数据信息需要做优化。一开始主要是采用了将被封禁的用户信息先
2022-02-24 11:58:22
1497
原创 Mysql分页查询优化
前提都是uid是唯一的且单调增的1.利用pagenum来分页select * from uc_members where (safety=-1 or safety=-2) and uid > pagenum *10 limit1000;存在一个问题 pagenum 如何确定，使用select count(1) 进行统计然后在for循环传入pagenum实现分页效果，那在for循环中如果遇到新增的数据怎么办？难道for到最后一个在去select count(1) 一下，如果两个不一致就进行for
2022-02-23 18:10:07
579
原创 makedown过滤标签解决黑产内容通过＜＞规避词库检测的问题
makedown过滤标签解决黑产内容通过<>规避词库检测的问题【需求背景】用户发布的内容中包含富文本内容，包括a标签，img标签等，为了提升词库检测的准确性，目前在做词库检测之前，通过hutool的HtmlUtil.cleanHtmlTag将待检测文本进行过滤。但cleanHtmlTag未校验标签的合法性，会存在误操作，比如：会将所有"<“和”>"包裹的内容全部过滤，导致被黑产利用发布违规内容。例如：<英超比赛在哪押注{C><网-Ag886.cn-网&
2022-02-23 10:26:15
422
原创 布隆过滤器总结
布隆过滤器就是把数据通过hash函数计算出来标记在不同的位置然后查找的时候也是用hash函数算出值，去找一下1，4，7上的数据是不是1，不是1的话就不存在存入布隆过滤器的缺点就是不可以删除数据，但是与set不同在于可以加入重复的数据，因为其原理就是通过hash算法分散到不同的位置进行标记，重复只不过是重复了上述过程。布隆过滤器使用场景场景一：当前需要维护一个内存，去存储uid这个字段，可是这个字段数据量比较大可能有两百万左右，那么一个integer占用16个字节，hashset要16个字节，一共
2022-02-22 14:01:01
322
2
原创 关于MySQL的like模糊查询优化情况
mysql模糊查询优化使用explain进行分析sql运行状况Filtered表示返回结果的行数占需读取行数的百分比 Filtered列的值越大越好 Filtered列的值依赖于统计信息综上所述使用来看使用like进行模糊查询效率是最低的其filtered占比只有11.11，而其他方法都是100.所以尽量不要使用like查询。...
2022-02-22 10:37:30
722
原创 Java开发校招面经
面试你好，我叫xxx，目前本科在读大四，所学专业是软件工程，在校期间也有参与一些竞赛，像中国大学生计算机设计大赛，泰迪杯数据技能大赛等等，也拿到较好的名次。在大学期间主要的方向是Java，所以做的一些项目主要是通过springBoot进行构建开发的，我的项目经验主要来自于我和同学一起做的项目，像有一些项目经验来自竞赛，像实时交通大数据可视化项目，赛题方给出了一些手机信令数据，要求我们对数据就行清理，处理，挖掘，预测，提供可视化页面帮助智慧城市决策。我们的一个实现思路是通过模拟信令数据实时传入kafka，通
2022-02-01 18:24:33
1072
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人