u013177138的博客

原创 [conda]tf_agents和tensorflow-gpu安装傻瓜式教程

如果版本好皆显示正常，没有报错则认为安装成功了，但是如果报错，并提示是numpy的错误，则需要重新安装numpy。相继使用以下命令安装tensorflow-gpu和tf_agents，注意一定要打全版本号。移除环境：conda remove --name python37 --all。安装结束后输入python回合进入python编程界面，查看安装版本号。查看当前已经安装的环境：conda env list。3.进入到要使用的环境去使用pip安装应用。如果有GPU则显示如下图。是您想要创建的环境名称，

原创 爬取新闻，并使用自然语言技术进行分类

全网抓取国家政策，并使用自然语言技术进行分类

原创 ricequant股东人数数据获取方式

股东人数免费接口实现

原创 基于ricequant隐马尔科夫模型量化交易

看到我这篇文章，相信您已经是有一定的数学基础的，隐马尔科夫模型的介绍这里不做赘述。目录ricequant研究平台训练模型回测框架测试结果我们假设隐藏状态数量是6，即假设股市的状态有6种，虽然我们并不知道每种状态到底是什么，但是通过后面的图我们可以看出那种状态下市场是上涨的，哪种是震荡的，哪种是下跌的。可观测的特征状态我们选择了3个指标进行标示，进行预测的时候假设假设所有的特征向量的状态服从高斯分布，这样就可以使用 hmmlearn 这个包中的 GaussianHMM 进行预测了。下面我会逐步解释。首先导入必

原创 假设检验基础理论与应用场合

前言：对于数据分析师来说，统计学是必不可少的基础知识。不仅工作中会经常运用其概念，且也几乎是数据分析师工作的面试必考题(尤其是校招以及转行的朋友，当实战经验少的时侯会更关注基础功底是否扎实)。所以我准备开始以较简练的语言，辅以简单易懂案例，总结一些统计学核心的知识点。我们常用的ab实验，其背后的原理就是统计学中的假设检验，今天我们来详细说说假设检验。一、常用核心概念什么是假设检验：假设就是对从总体参数(均值、比例等)的具体数值所作的陈述，比如，我认为配方一比配方二的效果要好。而假设检验就是先对总体的参数提出

原创 【量化】相关系数进行配对交易

根据统计数据，对价差进行买卖，而不去做股票本身趋势的预测，是否能做到旱涝保收呢。下面是利用股票对之间的相关系数来进行配对交易的研究。1，首先想到利用统计套利，可能会想到两只股票的相关系数是否会让两只股票的走势有一种特定关系。同样数据大多都集中在一条直线上找到相关性高的股票对，我们要来研究它们之间的价差，因为这是我们策略套利的关键从图中看出，所以相关系数高，两者之间的价差不一定会围绕一个常数波动，价差会具有一定的变异性，即价差序列是非平稳的。我们来检验下价差的平稳性。进一步的我们来看看以均值加减一倍标

原创 Transformer多头注意力机制实现数字预测（pytorch）

transformer模型起初被提出于2017年google的《Attention ls All you Need》中。论文路径：[pdf]transformer完全抛弃了CNN，RNN模型结构。起初主要应用在自然语言处理中，后面逐渐应用到了计算机视觉中。仅仅通过注意力机制（self-attention）和前向神经网络（Feed Forward Neural Network），不需要使用序列对齐的循环架构就实现了较好的performance 。（1）摒弃了RNN的网络结构模式，其能够很好的并行运

原创 傅里叶变换音频加入噪声和去除噪声（python二维fft2,ifft2）

简介标准快速傅立叶变换 fft（a）[,n,axis,norm]） 计算一维离散傅立叶变换。 ifft（a）[,n,axis,norm]） 计算一维逆离散傅立叶变换。 fft2（a）[,s,axes,norm]） 计算二维离散傅里叶变换。 ifft2（a）[,s,axes,norm]） 计算二维逆离散...

原创 傅里叶变换FFT和IFFT在音频去噪的应用

FFTFFT是DFT的快速算法，可以将一个信号从时域变换到频域。有些信号在时域上是很难看出什么特征的，但是如果变换到频域之后，就很容易看出特征了。这就是很多信号分析采用FFT变换的原因。另外，FFT可以将一个信号的频谱提取出来，这在频谱分析方面也是经常用的。去掉FFT变换时，频谱中的直流分量直流分量：理论中，输入=0时，输出=0，没有什么直流分量的；直流分量是输入信号带入的。在模拟部分的电路中，元件输出会有直流漂移，即输出应该为零时，实际上是一个直流电压。通常数字信号去直流直

原创 基于ricequant的lstm时间序列股价预测（pytorch）

import pandas as pdimport matplotlib.pyplot as pltimport datetimeimport torchimport torch.nn as nnimport numpy as npfrom torch.utils.data import Dataset, DataLoader# 确定每月日期 2014-01-01~2016-01-01dates = get_trading_dates(start_date="2018-11-01", e.

原创 区块链的错误排查

概念：合约：合约又叫合同。指的是当事人双方基于自身意愿成立的有法律效力的法律行为，它是私法自治的主要表现。区块链的合约同理，就是促成交易的规则。topic，可以简单理解为消息队列，合约里面有很多个消息队列。发送方将消息发送到指定消息队列，例如topic1，然后接收方只有在topic1才能读到消息，不能在topic2读到消息。前端购买资产是什么？就是例如资产是白酒，那么白酒作为一个nft道具，可以命名为nft白酒，在市场销售。然后购买白酒肯定要用货币。货币在现实世界中可以是人民币，但是

原创 C++服务器搭建之完整lua生态

本文主要介绍一些C++通过lua调用的一些服务器生态reids，cjson，lualogging，protobuf，protoc_genc，libevent的一键安装一键安装包和与版本匹配的工具已经整理完毕:链接：https://pan.baidu.com/s/1WhwDrIWR4ruaVlhoX3zfxA提取码：rtt5下载下来lua_comple软件包可以看到首先阅读ReadMe文件，一定要看，可以给后面解决问题提供思路运行环境:linux系统将整个文件夹同步到li...

原创 C++服务器搭建之(protoc-gen-lua将pb生成lua)

所需文件安装包：python-2.7.2.msipython安装程序 Download Python | Python.orgLuaForWindows_v5.1.4-45.exelfw安装程序 http://code.google.com/p/luaforwindows/downloads/listprotobuf-2.4.1.zipPB源代码包...

原创 Word2Vec实现情感分析（bug修正）

python实现情感分析（Word2Vec）** 前几天跟着老师做了几个项目，老师写的时候劈里啪啦一顿敲，写了个啥咱也布吉岛，线下自己就瞎琢磨，终于实现了一个最简单的项目。输入文本，然后分析情感，判断出是好感还是反感。看最终结果：↓↓↓↓↓↓•加载数据，预处理数据就是正反两类，保存在neg.xls和pos.xls文件中，数据内容类似购物网站的评论，分别有一万多个好评和一万多个差评，通过对它们的处理，变成我们用来训练模型的特征和标记。首先导入几个python常见的库，tr..

转载 redis缓存穿透、缓存击穿、缓存雪崩区别和解决方案

设计一个缓存系统，不得不要考虑的问题就是：缓存穿透、缓存击穿与失效时的雪崩效应。前台请求，后台先从缓存中取数据，取到直接返回结果，取不到时从数据库中取，数据库取到更新缓存，并返回结果，数据库也没取到，那直接返回空结果。缓存穿透描述： 缓存穿透是指缓存和数据库中都没有的数据，而用户不断发起请求。由于缓存是不命中时被动写的，并且出于容错考虑，如果从存储层查不到数据则不写入缓存，这将导致这个不存在的数据每次请求都要到存储层去查询，失去了缓存的意义。在流量大时，可能DB就挂掉了，...

原创 (NLP自然语言处理)embedding层详解

全文总结：embedding层可以用来降维（数据压缩），抽取数据特征，也可以用来升维首先，我们有一个one-hot编码的概念。假设，我们中文，一共只有10个字。。。只是假设啊，那么我们用0-9就可以表示完比如，这十个字就是“我从哪里来，要到何处去”其分别对应“0-9”，如下：我 从 哪 里 来 要 到 何 处 去0 1 2 3 4 5 6 7 8 9那么，其实我们只用一个列表就能表示所有的对话如：我 从 哪...

原创 Nginx基础教程

什么是Nginx？Nginx (engine x) 是一个高性能的HTTP和反向代理web服务器，同时也提供了IMAP/POP3/SMTP服务。Nginx是由伊戈尔·赛索耶夫为俄罗斯访问量第二的Rambler.ru站点开发的，第一个公开版本0.1.0发布于2004年10月4日。2011年6月1日，nginx 1.0.4发布。其特点是占有内存少，并发能力强，事实上nginx的并发能力在同类型的网页服务器中表现较好，中国大陆使用nginx网站用户有：百度、京东、新浪、网易、腾讯、淘宝等。在全球活跃的网站

原创 Transformer自注意力机制发展历程(原理)

问题：处理机器翻译时，什么模型比较好？讨论该问题，从模型发展历程阶段1到阶段4展开，从阶段一的模型到阶段4，功能越来越强大，越完善。阶段1：RNN非常合适： |-->强项：单词先后顺序会影响句子的意义，擅长捕捉序列关系的它非常合适 |-->弱项：对于机器翻译来说，单词的对应关系并非一一对应（受限于结构RNN只能处理 N to N，1 to N，N to 1问题，对于N to M很是头疼） |-&gt...

转载 深度学习中的注意力机制

张俊林 （本文2017年发表于《程序员》杂志7月刊） （想更系统的学习深度学习知识？请参考：深度学习枕边书） 如果看图片有问题的同学可以到知乎看相同文章：深度学习中的注意力机制（2017版）最近两年，注意力模型（Attention Model）被广泛使用在自然语言处理、图像识别及语音识别等各种不同类型的深度学习任务中，是深度学习...

原创 自然语言数据标注方法（脚本）

本数据主要用于评估自然语言单词和程序语言API之间的相关性。每一个配对中包含一个单词和API，如果两者之间相关性判定为相关则标注为1，如果判定为不相关则标注为0。判断标准： 主要根据单词的含义和API包含的功能进行判断，如果API包含的功能涉及单词的含义，则可认为单词与API相关。例如，对于名词“bean”，如果API涉及对于bean的操作或者含有bean的属性等则认为二者相关；对于动词“exchange”，如果API的功能中包含对数据进行接收和发送的动作等，则认为二者相关。标注数据示例

原创 如何查阅论文是否是顶级期刊会议

计算机系统：OSDI OOP SLA UNIX SOSP ASPLOS ICSE NSDI ATC数据挖掘：ICDM SgKDD（这个不确定） web：WWW WSDM CIKM 数据库：SigMod ICDE PODS 人工智能和机器学习：ACL EMNLP NIPS ICML (AAAI IJCAI 人工智能这两个最厉害 顶级会议） 还有IEEE和ACM，这两个通用，啥都有非常重要的期刊目录:CCF推荐国际学术刊物目录-中...

原创 Git 基本操作命令汇总

git基础教程Git 基本操作Git 的工作就是创建和保存你项目的快照及与之后的快照进行对比。本章将对有关创建与提交你的项目快照的命令作介绍。获取与创建项目命令git init用 git init 在目录中创建新的 Git 仓库。 你可以在任何时候、任何目录中这么做，完全是本地化的。在目录中执行 git init，就可以创建一个 Git 仓库了。比如我们创建 runoob 项目：$ mkdir runoob$ cd runoob/$ git initInitializ

原创 mysql数据库收缩

使用过MySQL的同学，刚开始接触最多的莫过于MyISAM表引擎了，这种引擎的数据库会分别创建三个文件：表结构、表索引、表数据空间。我们可以将某个数据库目录直接迁移到其他数据库也可以正常工作。然而当你使用InnoDB的时候，一切都变了。InnoDB 默认会将所有的数据库InnoDB引擎的表数据存储在一个共享空间中：ibdata1，这样就感觉不爽，增删数据库的时候，ibdata1文件不会自动收缩，单个数据库的备份也将成为问题。通常只能将数据使用mysqldump 导出，然后再导入解决这个问题。在MyS

原创 gdb 查看变量和内存

在你调试程序时，当程序被停住时，你可以使用print命令（简写命令为p），或是同义命令inspect来查看当前程序的运行数据。print命令的格式是：printprint /是表达式，是你所调试的程序的语言的表达式（GDB可以调试多种编程语言），是输出的格式，比如，如果要把表达式按16进制的格式输出，那么就是/x。一、表达式print和许多GDB的命令一样，可以接受一个表达式，GDB会根据当前的程序运行的数据来计算这个表达式，既然是表达式，那么就可以是当前程序运行中的const常量、..

原创 Sql Server 检测死锁的SQL语句及死锁成因

首先创建一个标量值函数DigLock，用来递归检测SqlServer中的每一个会话是否存在加锁循环，如果该函数最终返回1则表示检测到了加锁循环（也就是说检测到了死锁），如果最终返回0则表示没有检测到加锁循环。1 CREATE FUNCTION [dbo].[DigLock] 2 (3 @spid int,4 @orginSpid int 5 )6 RETURNS bit 7 AS 8 BEGIN 9 declare @blockedSpid int=null;1011 sele.

原创 年轻人纵横职场高情商话术

年轻人学会这三句话，纵横职场无所畏惧！1 年前刚参加工作的年轻人，应该了解一下好领导相处的职场技巧。比如，领导找你，你就回“有事？”既简单又轻率。领导安排你活干，你就回“就这？”表达活很轻松，完全可以胜任。领导说你两句，你就回“你在教我做事？”通过幽默的表达， 避免自己处于尴尬的境地。掌握了这些技巧，领导自然会对你刮目相看。...

原创 基于Ricequant时间序列模型预测股价

#!/usr/bin/env python# coding: utf-8import pandas as pdimport numpy as npfrom sklearn.neural_network import MLPRegressorimport matplotlib.pyplot as plttau = 4# 确定每月日期 2014-01-01~2016-01-01dates = get_trading_dates(start_date="2019-11-01", end_da.

原创 R语言单因素分析案例

1单因素方差分析实例1：在R中， aov() 函数提供了方差分析表的计算：进行方差分析的步骤：a.用数据框的格式输入数据：如：lamp<-data.frame(X=c() ， A=factor() )b.调用aov() 函数计算方差分析：lamp.aov<-aov(X~A， data=lampc.用summary() 提取方差分析的信息summary(lamp.aov) (anova.tab(lamp.aov) )1单因素方差分析实例1X<-c(1600,1..

原创 动态规划全情况思路

原创 基于ricequant线性回归量化交易

研究平台代码import pandas as pdimport numpy as npfrom sklearn.linear_model import LinearRegression# 确定每月日期 2014-01-01~2016-01-01dates = get_trading_dates(start_date="2014-01-01", end_date="2016-01-01")# 每天日期---->每月月末# 每月最后一个交易日, 按月计算收益率month_date =

原创 基于ricequant神经网络量化交易

ricequant研究平台代码，用于进行训练模型的生成，训练文件保存import pandas as pdimport numpy as np# 导入BP模型from sklearn.neural_network import MLPClassifier# 导入训练集分割方法from sklearn.model_selection import train_test_split # 确定每月日期 2014-01-01~2016-01-01dates = get_trading_dat

原创 ricequant量化交易文件如何保存和读取

问题描述：笔者在量化交易投资研究中，保存了一个机器学习训练文件，发现在我的策略中进行读取该文件的时候，会报错找不到文件。研究平台示例，保存了笔者的一个神经网络训练文件import pickle# 保存模型with open('model.txt', 'wb') as f: pickle.dump(BP, f)文件已显示保存成功，并在研究平台目录下生成此文件这个时候，笔者 打算到我的策略中，读取研究平台保存的文件，使用如下代码读取# 读取模型with open('m

转载 MapReduce在yarn中的执行过程

在MapReduce工作原理简介中我简单的了解了MapReduce的工作原理，在这篇文章中，我们将要了解MapReduce的执行过程。我们知道从Hadoop2.X，采用的是yarn作为资源管理系统，我们将要了解MapReduce在yarn中的执行过程。同样，对于yarn，网上有很多大神的写的博客，这里我主要是结合自己的理解，对知识进行积累。1.概念名词简介 yarn是资源管理系统，采用的是Master/slave结构，不仅可以运行MapReduce应用，还可以运行Spark，Storm等应用，..

原创 SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame 解决方法

1、首先展示下遇到的问题截图2、然后跟着这个错误的报错信息，点开下面链接有兴趣研究可以点开https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning-a-view-versus-a-copy蹩脚英语看半天没看明白，转战为自己研究这个报警主要是在说，当你在采用这种链式赋值时，当你修改df_1时，df也可能随之变化3、简单代码复现问题import pandas as pdimpor

原创 处理Mybatis返回的结果集为Map类型

最有用到mybatis返回一个map结果集，然后就针对性的在网上找了一些相关大牛的总结：1.mybatis返回map结果集 - 红尘中人·杨哥 - 博客园2.MyBatis返回Map | 码农网 然后经过自己的测试终于可以应用实际业务中1、如果你确定返回的数据只有一条，你可以这样整xml中：<select id="searchncomedateByInvestID" resultMap="java.util.HashMap"> select t1.invest.

原创 pandas DataFrame的修改方法(值、列、索引)

对于DataFrame的修改操作其实有很多，不单单是某个部分的值的修改，还有一些索引的修改、列名的修改，类型修改等等。我们仅选取部分进行介绍。一、值的修改DataFrame的修改方法，其实前面介绍loc方法的时候介绍了一些。1、 loc方法修改loc方法实际上是定位某个位置的数据的，但是定位完以后就可以对此位置的数据进行修改，使用此方法可以对DataFrame进行的修改如下：1.对某行、某N行进行修改；2.对某列、某N列进行修改；3.对横坐标为某行或某N行，纵坐标为某列或者某N列的数据

转载 梯度消失和梯度爆炸真实原因及其解决方案

当我们需要解决一个非常复杂的问题，例如在高分辨率图像中检测数百种类型的对象，我们可能需要训练一个非常深的DNN，可能需要几十层或者上百层，每层包含数百个神经元，通过成千上万个连接进行连接，我们会遇到以下问题：首先，梯度消失或梯度爆炸其次，训练缓慢第三，训练参数大于训练集的风险梯度消失的原因：生物神经元似乎是用 Sigmoid（S 型）激活函数活动的，因此研究人员在很长一段时间内坚持 Sigmoid 函数。但事实证明，Relu 激活函数通常在 ANN 工作得更好。这是生物研究误导的例子之一

原创 马踏棋盘问题(贪心算法实现C++)

算法实现流程：步骤1：初始化马的位置（结构体horse {x, y}）步骤2：确定马从当前点出发，可跳跃的附近8个点，以结构体Jump数组给出，但需判断当前给出的附近8个点是否曾经访问过，或者是否这8个点超出棋盘尺寸。步骤3：跟据步骤2确定跳跃的点，分别计算可跳跃点的下下一步，可跳跃点的个数。并选出下下步可跳跃点数最少的点作为马下一步跳跃的点。（举例说明：马当前所在点坐标（4，4），下一步可跳跃点有（5，2），（6，3），且（5，2）下一步可跳跃点有3个，（6，3）下一步可跳跃点2个；3 &..

原创 汽车加油行驶问题全网最详细（动态规划+画图）

问题描述给定一个N*N的网络，左上角记为起点S，坐标为（1，1），坐标轴方向及距离标识见图。一辆汽车从起点S出发驶向右下角终点（N，N）。在部分网格交叉点，设置了油库，可供汽车在行驶途中，为其加油。汽车在行驶途中需遵守如下规则：•1.汽车只能沿着网格边行驶，装满油后只能行驶K条网格边。出发时已装满油，起点和终点不设油库•2.当汽车行驶经过一条网格边时，若其X坐标或Y坐标减小，则需付费B，否则免付费用•3.汽车行驶过程中若遇到油库，则需加满油并付油费A•4.在需要时可在网格点增设油库，并付

原创 【机器学习】【数据预处理】数据的规范化，归一化，标准化，正则化

数据的规范化，归一化，标准化，正则化，这几个破词整得我头晕，首先这些词就没规范好，对数据做实验更晕，网上狂搜一阵后，发现数据归一化，标准化，正则化，还是有差别数据规范化一种是针对数据库的解释规范化理论把关系应满足的规范要求分为几级，满足最低要求的一级叫做第一范式(1NF)，在第一范式的基础上提出了第二范式(2NF)，在第二范式的基础上又提出了第三范式(3NF)，以后又提出了BCNF范式，4NF，5NF。范式的等级越高，应满足的约束集条件也越严格。另一种是就是对数...