沈雁

转载 支持向量机（SVM）的详细推导过程及注解

我是搬运工：http://my.oschina.net/wangguolongnk/blog/111353支持向量机的原理很简单，就是VC维理论和最小化结构风险。在阅读相关论文的时候，发现很多文 章都语焉不详，就连《A Tutorial on Support Vector Machines for Pattern Recognition》这篇文章对拉格朗日条件极值问题的对偶变换都只是一笔带过，让很多人觉得很困惑。下面我将就SVM对线性可分的情况作详尽的推 导。...

原创 20200824：汉字转语音（语音合成）（三）：Tacotron实践之项目准备篇

1、参考资料： CSDN之小白能看懂等Tacotron 中文语音合成实践https://blog.csdn.net/weixin_41021342/article/details/104984800 https://blog.csdn.net/weixin_41763134/article/details/90900539 知乎之语音合成那些事儿：https://zhuanlan.zhihu.com/p/101064153 知乎之当我们在谈论AI说话：语音合成： http

原创 20200824：汉字转语音（语音合成）（二）：Tacotron实践之算法原理篇

1、end-to-end2、输入输出 model1:Tacotron2 输入： raw text 输出：mel频谱 model2: Wavenet 输入：mel频谱(Tacotron2模型的输出值) 输出： waveform 3、模型框架 Tacotron ：总体来说，模型和sequence-to-sequence模型非常相似，大体上由encoder和decoder组成，raw text经过pre-net, CBH

原创 20200814：汉字转语音（语音合成）（一）：技术调研和准备

一、参考资料1、https://zhuanlan.zhihu.com/p/26726297参考语录：汉字转语音实现就分为两步，第一步将汉字转为拼音，第二步通过拼音调用相匹配的音频文件。2、汉字转拼音参考：https://blog.csdn.net/mydistance/article/details/85009791涉及的第三方库：xpinyin和pypinyinfrom xpinyin import Pinyin # 实例拼音转换对象 p = Pinyin() ..

原创 excel转json

1、需求：原始数据格式如图1所示，需要转成图2所示的json格式2、脚本思路： 把最后6列拼接为一列值 在新的文件中，每次拿出id相同的数据，转json 每一次的结果用一个列表累加保存 # coding=utf-8import pandas as pdimport jsonimport xlrdimport openpyxlfrom openpyxl.styles import PatternFill, Font, Alignment, Border

原创 Python之re模块

原参考地址忘记了。。。。。。。。。。。。一、正则表达式　　　　re模块是python独有的匹配字符串的模块，该模块中提供的很多功能是基于正则表达式实现的，而正则表达式是对字符串进行模糊匹配，提取自己需要的字符串部分，他对所有的语言都通用。注意： re模块是python独有的 正则表达式所有编程语言都可以使用 re模块、正则表达式是对字符串进行操作 因为，re模块中的方法大都借助于正则表达式，故先学习正则表达式。（一）常用正则1、字符组在同一个位置可能出现..

转载 pandas批量处理

参考：http://www.360doc.com/content/19/0905/11/9824753_859250033.shtml

原创 linux快捷操作

原创 linux 包安装管理工具

一、包安装工具分类不是所有linux系统都用atp-get安装软件。一般来说著名的linux系统基本上分两大类： 1.RedHat系列：Redhat、Centos、Fedora等 2.Debian系列：Debian、Ubuntu等 二、RedHat 系列1、 常见的安装包格式 rpm包,安装rpm包的命令是“rpm -参数”2、包管理工具 yum3、 支持tar包三、Debian系列1、 常见的安装包格式 deb包,安装deb包的命令是“dpkg ..

原创 jupyter读取txt文件时报超出jupyter设置的内存错误

问题描述：解决 IOPub data rate exceeded. The notebook server will temporarily stop sending output 问题姐姐： jupyter notebook --generate-config：找到jupyter的设置文件所在路径，执行上述命令后敲入 N 找到对应路径下的文件，从中找到iopub_data_rate_limit，在去掉注释后多加好多0 ...

原创 微信多开的方法

用notepad++在微信安装路径中创建wechat.bat文件，写入以下内容:start D:\"softinstall\wexin"\WeChat\WeChat.exestart D:\"softinstall\wexin"\WeChat\WeChat.exestart D:\"softinstall\wexin"\WeChat\WeChat.exe将wechat.bat创建到桌面快捷方式，需要打开pc端微信时，双击wechat.bat即可。以上就是微信三开的方法，实现环境是win6

原创 主流深度学习框架对比&CNN模型的演变

原创 2021-02-26 shell与python的交互

1、python脚本：查询要处理的省份信息输出到一个文件中，即文件1#coding=utf-8import pandas as pdimport os,syswork_path=os.getcwd()file1 = os.path.join(work_path,'code_list.csv')data = pd.read_csv(file1,sep=',',index_col=0)for i in range(3,len(sys.argv)): print i-2,sys.arg

转载 2020-12-24：人脸识别理论学习（二）

注意：转载出处忘记了。一、人脸检测的目标人脸检测的目标是找出图像中所有的人脸对应的位置，算法的输出是人脸外接矩形在图像中的坐标，可能还包括姿态如倾斜角度等信息。二、人脸检测算法要解决的几个核心问题 虽然人脸的结构是确定的，由眉毛、眼睛、鼻子和嘴等部位组成，近似是一个刚体，但由于姿态和表情的变化，不同人的外观差异，光照，遮挡的影响，准确的检测处于各种条件下的人脸是一件相对困难的事情。 人脸可能出现在图像中的任何一个位置 人脸可能有不同的大小 人脸在...

原创 20200309：人脸识别理论学习（一）：深度学习综述

序号 作者/机构 题目 发表时间/位置 1 郑远攀1，2；李广阳1；李 晔1； 1. 郑州轻工业大学 计算机与通信工程学院，郑州 450001 2. 应急平台信息技术河南省工程实验室，郑州 450001 深度学习在图像识别中的应用研究综述 2019/Computer Engineering and Applications 计算机工程与应用...

转载 20200918：【广发金融工程】2018年重磅专题系列之九：基于隐马尔科夫模型的选股策略研究

参考链接：https://www.sohu.com/a/252454782_465470【广发金融工程】2018年重磅专题系列之九：基于隐马尔科夫模型的选股策略研究2018-09-07 11:26报 告 摘 要1传奇的大奖章基金从1988年成立到2010年1月1日西蒙斯正式退休，大奖章基金的净年均收益率超过35%，远超标普500指数的年化收益率。并且，在市场波动较大的时候，比如2000年科技股灾和2008年的全球金融危机，大奖章基金表现反而更好，当年都获得了90%以上的业..

原创 2019-04-09：python环境搭建及数据建模第三方库安装

# 1、python安装安装方式1:通过官网安装。win10 64位操作系统下，安装python过程：官网下载对应安装包（安装包地址：https://www.python.org/downloads/windows/），网络上找对应安装教程，按步骤安装即可。安装方式2：通过anaconda安装，好处是方便管理环境。step1: 官网下载anaconda安装包，地址：https://...

转载 20201016：[量化学堂-机器学习]量化投资中的特征工程（转载）

导语：近年来，国内量化投资迎来了发展的黄金期，但涉及机器学习的量化投资还比较少。机器学习领域的大神Andrew Ng(吴恩达)老师曾经说过机器学习很大程度上就是特征工程，因此本文主要介绍下特征工程在量化投资领域的应用。1.特征工程是什么？有这么一句话在业界广泛流传：数据和特征决定了机器学习的上限。那特征工程到底是什么呢？顾名思义，其本质是一项工程活动，目的是最大限度地从原始数据中提取特征以供算法和模型使用。简单理解为：特征工程是使用专业背景知识和技巧处理数据，使得特征能在机器学习算法上发...

原创 20190919：多因子选股模型-打分法技术路线梳理

一、数据预处理1、 因子分类，按因子类别提取基础数据（多因子选股模型的因子梳理(t默认取1)）（1）估值因子：行情数据-每日指标 市盈率： 市盈率（TTM）：pe_ttm 市盈率（总市值/净利润）：pe 市净率： 市净率（总市值/净资产）：pb 市销率： 市销率（TTM）：ps_ttm 市销率：ps （2）成长因子：财务数据 业绩快报接口 净资产增长率（比年初增长率...

原创 20200925：k线

1、主要问题： 火币网的API能够对接的编程语言：JAVA/python3/c++/c#/go（支持api和sdk） 语言要求：python3和go 科学上网：需要翻墙，目前未找到可以国内不翻墙调用api的方式 2、开源项目： 用go对接各大交易所： https://github.com/betterjun/exapi（3 star），博文参考https://blog.csdn.net/betterjun30/article/details/106749940/

原创 20190613：多因子选股模型-思维导图

一、多因子选股模型-思维导图九月 27, 2019. Created by XMind二、因子层-中性化处理1、为什么要进行中性化处理？ 消除行业和市值不同导致的对选股结果的影响。2、中性化处理的方法&分类？ 方法：回归法； 分类：行业中性化、市值中性化、市值行业中性化。3、不同的中性化处理适合什么类型的指标？ 一般情况下，技术面指标适合市值中性化处理，而基本面指标适合市值行业中性化处理...

原创 20190508：关于rnn解决金融股价预测方面效果的实测分析及可能的解决方法

结果表明：在经过各种模型调参以及模型网络结果变化后，回归模型的实际效果并不好。预测值的波动范围很小，预测值的符号跟真实值之间的一致性只有55%左右。 实践方面可能的解决办法： 数据预处理： 对特征做归一化时，采用自适应的方法； 对特征做相关性分析，特征是各个变量，股价是因变量； 特征挖掘： 目前特征太少，进一步寻找更多的特征入模看效果如何 特征的表征可能太过单一，是否可以在特征的基础上进一..

原创 20201224：streamlit初识

1、streamlit是什么Streamlit是一个开源的Python库，是 机器学习工程师专用的应用程序框架， 第一个专门针对机器学习和数据科学团队的应用开发框架。利用Streamlit可以快速构建机器学习应用的用户界面。2、安装 安装：pip install streamlit 查看是否安装成功：streamlit hello 如果安装报错：AttributeError: module ‘google.protobuf.descriptor‘ has no..

原创 20201223：调用paddlepaddle抠图模型更改照片底色

1、环境安装pip install paddlepaddle -i https://pypi.tuna.tsinghua.edu.cn/simple （注意：在cpu环境上安装不了，需在gpu环境下安装） pip install paddlehub2、脚本如下import matplotlib.pyplot as plt import matplotlib.image as mpimgphoto_path = ['mines.jpg']#显示原图img = mpimg.imre

原创 20201217 深度学习学习笔记（一）机器学习基础

概述：超参数：大部分学习算法都有超参数（必须在学习算法之外、用额外的数据（我们称之为验证集）来设定）。 机器学习的本质：属于应用统计学，涉及两种统计学的主要方法：频率派估计和贝叶斯推断。 机器学习算法的分类：监督学习和强化学习。其中监督学习按照数据有没有标签可以分为，有监督、无监督和半监督学习。有监督学习根据标签的类别又可以分为分类和回归两类。 深度学习算法的求解：大部分是通过随机梯度下降。1、学习算法机器学习算法的定义：Mitchell(1977)，对于某类任务T和性能度量P，一个计算机程

原创 2020-12-14 爬虫获取单只基金数据

最近学习爬虫，试着写了天天基金网获取单只基金的方法，记录下：import requestsimport execjsimport numpy as npimport pandas as pdfrom matplotlib import pyplot as pltclass GET_DATA: def __init__(self, code, T): self.code = code self.T = T self.url="http:

原创 2020-10-22：sql随机抽取若干条数据

例：sql从查询结果中随机抽取1000条数据个人理解：直接limit由于数据可能已经排序，所以抽取到的并不是随机的，表现为多次limit抽取到的都是同一批数据；按照当前系统时间对数据重新排序，由于当前时间是变化的，因此排序的结果是随机的，抽取的结果自然就是随机的。 SELECT *FROM (select * from table_name where 条件) aorder by rand(unix_timestamp())LIMIT 1000;...

原创 2020-10-19：使用pandas.cut函数按区间统计频数

1、用途：pandas.cut函数用来把一组数据按照离散的区间进行频数统计。2、参数：pandas.cut(x, bins, right=True, labels=None, retbins=False, precision=3, include_lowest=False, duplicates='raise') x：被切分的类数组，必须是1维（不能是DataFrame）；bins：bins是区间 ；right：bool型参数，默认True，表示是否包含区间右部。labels：给分割区

原创 2019-07-04：python音频处理库

一、eyeD3处理MP3文件。-a 是 --artist 的简写，即添加歌手信息，-A 是 --album的简写，即添加专辑信息，-t 是 --title的简写，即添加歌曲名字，-n 是 --track-num 的简写，即添加磁道数，eyeD3 song.mp3 就会直接显示歌曲的基本信息。用法举例：import eyed3audiofile = eyed3.load("song....

转载 2020-01-16：cv2终端可以导入但jupyter导入报错的问题

1、参考：https://blog.csdn.net/qq_34650787/article/details/833040802、问题解决方法记录（1）问题原因xshell终端启动python，依次输入sys，sys.executable命令，得到执行环境路径； jupyter启动后新建对应环境，依次输入sys，sys.executable命令，得到执行环境路径； 对比两个路径，往...

原创 2020-06-05：mobilenet系列算法对比分析

mobilenet_V1： 残差块采用的是标准残差，特征提取受限于输入通道数； 网络最后采用relu6激活函数，会造成depthwise部分的卷积核废掉； mobilenet_V2： 残差快采用的倒置残差，解决特征受限于通道数的问题； 网络最后将relu6激活函数替换为Liner线行激活函数，避免了特征信息进一步丢失造成的depthwise部分的卷积核废掉； mobilenet_V3： 采用互补搜索算法减少了计算开销； ..

原创 20200622：mobilenetv3-tensorflow实战（一）：项目准备和代码调试

1、开源代码：TensorFLow：https://github.com/Bisonai/mobilenetv3-tensorflow tensorflow 1.15官方文档：https://tensorflow.google.cn/versions/r1.15/api_docs/python/tf/data/make_one_shot_iterator2、项目准备：项目克隆：git clonehttps://github.com/Bisonai/mobilenetv3-tensorflow.

转载 2020-06-04：解决 Xshell6|Xftp6 强制升级（转载）

大神原文地址：https://51.ruyo.net/11404.html今天打开xshell / xftp，发现不让用了，要继续使用此程序，您必须应用最新的更新或使用新版本，必须强制升级，网上找到了xshell5去除强制升级的方法，但是把原文分享的文件替换，却打不开了，应该是xshell5 和sehll6 不兼容导致的.按照反编译操作，发现能解决问题，下面将步骤和文件放出原理是反编译文件，修改其中某个16进制再替换原文件1. 找到安装目录的 `nslicense.dll`文件复制出.

原创 2019-03-13： 进制转换

1、十进制转二进制、八进制、十六进制十进制转二进制：将十进制数除以2，余数即为二进制数的低位，所得商继续除以2直到商为0为止，每一次的余数即为二进制数的低位到高位的数字。以十进制数150为例：150/2=75余0,75/2=37余1,37/2=18余1,18/2=9余0,9/2=4余1,4/2=2余0,2/2=1余0,1/2=0余1，因此十进制数150的二进制数为10010110。具体看例1。...

原创 2019-07-10：OCR之技术调研

一、开源引擎Cuneiform for Linux —— 本来是个Windows软件，这是Linux的移植，2011年4月已经停止维护。GNU Ocrad —— 命令行工具。有JS移植，可用于前端。GOCR —— 命令行工具。有JS移植，可用于前端。Tesseract —— 开源OCR引擎，也有命令行工具。HP开发Google接手。3.0之后支持训练。Golang绑定。入门教程。...

原创 2019-07-02：AI量化投资之技术指标（ad）

一、原理量在价先的原理，我们认为成交量在价格之前行动。我们从一根K线的最高价和收盘价以及最低价来衡量多空的对比。最高价与收盘价之差代表空方，收盘价与最低价之差代表多方。多方和空方的价格之差就代表了多空力量消长，我们再乘以成交量所得的数值就代表多空某一方力量的强弱。二、计算方法对每一交易日求：偏移值=（收盘价-最低价）-（最高价-收盘价）振幅=最高价-最低价用偏移值除以振...

原创 2020-01-09：InsightFace项目实战（四）调用模型检测

一、参考资料https://zhuanlan.zhihu.com/p/43804018二、实战1、cd到如下目录：insightface/deploy/test.py，test.py的input是图片，output是人脸特征2、复制test.py，并修改文件名为test_mines.py3、修改test_mines.py修改模型存储路径：r100模型存储路径和性别年龄模型存...

原创 2020-01-08：InsightFace项目实战（三）模型训练

一、模型训练相关文件数据文件：train.rec，train.idx，property，lfw.bin，cfp_fp.bin, agedb_30.bin；其中前三个为自己的数据集，用来训练，后三个为下载的数据集，用来验证。 训练配置文件：insightface/recogniton/config.py 模型训练文件：insightface/recogniton/train.py 模型训练...

原创 2020-01-16：xshell常用命令总结

一、xshell概述Xshell是一款常用的连接ssh服务器的软件，它通常用于远程登陆服务器，管理服务器等。二、安装及登录安装：任意百度即可。 登录服务器： ssh ***.***.**.*** 输入用户名 输入密码 三、文件操作常见命令1、复制从本地复制文件夹到服务器：scp -r filedir1 root@***.***.**.***:filedir2，其...

原创 2020-01-06：InsightFace项目实战（二）数据制作

一、项目准备1、项目理解参考： https://blog.csdn.net/hanjiangxue_wei/article/details/865664352、项目地址：https://github.com/deepinsight/insightface3、克隆上述项目到本地服务器xshell上命令行模式下：连接服务器：ssh 服务器域名；输入用户名和密码； 切换工作目录...