自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 WIN10 docker部署TF模型

WIN10 Docker tensorflow serving重要参考:https://www.youtube.com/watch?v=uabNEQlpGM8下载docker百度网盘,不是最新版https://oomake.com/download/docker-windows最新版不需登陆,但是对系统版本有要求https://blog.csdn.net/tangyaya...

2020-04-26 20:12:52 193

原创 win10 anaconda+tensorflow-gpu+cuda9.0安装

参考清华镜像anaconda第三方库文件https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/win-64/window10上安装python+CUDA+CuDNN+TensorFlowhttps://www.cnblogs.com/touch-skyer/p/8367706.htmlWin10 Anaconda下Tenso...

2019-09-29 20:58:33 56

原创 python3 & 机器学习入门资料

python3软件:安装anaconda3,使用jupyter notebook作为编辑器anaconda3下载地址https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/菜鸟教程(学习python基础)https://www.runoob.com/python3/python3-tutorial.html代码实践https...

2019-08-14 11:51:48 115

原创 ffmpeg 视频 转分辨率&设置码率

ffmpeg -i input.mp4 -b:v 10000k -s 216x384 output4.mp4参考:http://blog.7cuu.com/aid/381.htmlhttps://blog.csdn.net/zhezhebie/article/details/79263492

2019-06-22 17:54:14 19062

原创 【数据结构与算法】task7 回溯&分治&动态规划

回溯利用回溯算法求解八皇后问题参考:https://github.com/wangzheng0822/algo/blob/master/python/39_back_track/eight_queens.py# 棋盘尺寸BOARD_SIZE = 8solution_count = 0queen_list = [0] * BOARD_SIZEdef eight_queen...

2019-05-27 09:46:21 134

原创 【数据结构与算法】task6 图

参考:https://github.com/TheAlgorithms/Python/tree/master/graphs实现有向图、无向图、有权图、无权图的邻接矩阵和邻接表表示方法参考:https://blog.csdn.net/qq_35295155/article/details/78639997https://blog.csdn.net/fly_hawk/article/det...

2019-05-24 16:02:21 130

原创 【数据结构与算法】task5 二叉树&堆

二叉树定义二叉查找树(Binary Search Tree),又称为二叉搜索树、二叉排序树。其或者是一棵空树;或者是具有以下性质的二叉树:若左子树不空,则左子树上所有结点的值均小于或等于它的根结点的值 若右子树不空,则右子树上所有结点的值均大于或等于它的根结点的值 左、右子树也分别为二叉排序树树中节点的定义如下:class Node: def __init__(...

2019-05-22 10:12:40 94

原创 【数据结构与算法】task4 散列表(哈希表)&字符串

散列表(哈希表)实现一个基于链表法解决冲突问题的散列表参考:https://blog.csdn.net/qq_36047533/article/details/89341156# -*- coding: utf-8 -*-"""Created on Tue Apr 16 21:06:20 2019@author: janti"""class Node: def _...

2019-05-20 09:18:39 177

原创 【数据结构与算法】task3 排序&二分查找

排序参考:https://github.com/wangzheng0822/algo/tree/master/python归并排序def merge_sort(a): _merge_sort_between(a, 0, len(a) - 1)def _merge_sort_between(a, low, high): # The indices are inclu...

2019-05-18 14:23:40 65

原创 【数据结构与算法】task2 栈&队列&递归

栈(stack)栈,堆栈,是一种容器,可存入数据元素、访问元素、删除元素。它的特点在于只能允许在容器的一端(称为栈顶端指标,top)进行加入数据(push)和输出数据(pop)的运算。没有了位置概念,保证任何时候可以访问、删除的元素都是此前最后存入的那个元素,按照后进先出(LIFO, Last In First Out)的原理运作。应用场景:函数调用。如:函数A调用B,B调用C,最后调...

2019-05-15 20:29:43 86

原创 【数据结构与算法】task1 数组&链表

https://github.com/datawhalechina/Programminghttps://github.com/TheAlgorithms/Pythonc++https://github.com/wangzheng0822/algo/tree/master/c-cpppythonhttps://github.com/wangzheng0822/algo/tree/m...

2019-05-11 18:20:56 80

原创 音频重采样 python+librosa

原始音频采样率为48kHz,利用librosa库中的resample函数将这段音频下采样到16KHz。import librosafilename = 'ClapSound.wav'newFilename = 'ClapSound_8k.wav'y, sr = librosa.load(filename, sr=48000)y_16k = librosa.resample(y,s...

2019-04-21 12:10:43 651

转载 numpy中负值统一改为0

data[data < 0] = 0参考numpy中负值统一置0技巧与分析https://blog.csdn.net/grey_csdn/article/details/69371653

2019-04-08 17:17:11 3398

转载 Python librosa.feature.mfcc提取音频特征

librosa.feature.mfcc参数介绍librosa.feature.mfcc(y=None, sr=22050, S=None, n_mfcc=20, dct_type=2, norm='ortho', **kwargs)y:np.ndarray [shape=(n,)] 或 None音频时间序列sr:number > 0 [scalar]y的采样率S:...

2019-04-04 11:24:37 2595

原创 python获取当前文件路径以及父文件路径

文件路径备注:如果在路径A调用此文件中的os.getcwd()函数,获取的路径将是路径A而不是改文件所在路径。import os#当前文件的路径pwd = os.getcwd()#当前文件的父路径father_path=os.path.abspath(os.path.dirname(pwd)+os.path.sep+".")#当前文件的前两级目录grader_father=...

2019-04-02 14:08:50 3667

原创 【NLP实践-Task10 BERT】Transformer & BERT

目录Transformer原理Transformer总体结构Self-AttentionMulti-Headed AttentionPositional EncodingLayer normalizationDecoder层MaskPadding MaskSequence mask输出层BERT的原理1. Masked LM (MLM)2. ...

2019-03-23 01:11:19 731 1

原创 tensorflow whl下载

https://tensorflow.google.cn/install/pip

2019-03-20 18:04:00 7466

原创 python txt转list

label_path = 'test.txt'file = open(label_path,'r')label = [eval(x.strip()) for x in file]file.close()print(label)

2019-03-20 16:48:50 2412

原创 【NLP实践-Task9 Attention原理 】attention & HAN & 文本分类实战

目录Attention原理背景Encoder-Decoder框架Soft Attention模型Attention机制的本质思想Self Attention模型Attention机制的应用HAN的原理(Hierarchical Attention Networks)Attention文本分类实战训练结果参考Attention原理背景 ...

2019-03-19 12:42:56 602

原创 【NLP实践-Task8 循环神经网络】LSTM详解 & Text-RNN文本分类 & RCNN原理

目录RNN基础循环神经网络(Recurrent Neural Networks)RNN的训练方法——BPTT算法(back-propagation through time)长期依赖(Long-Term Dependencies)问题LSTM(long short-term memory)LSTM 的核心思想逐步理解 LSTMLSTM 的变体GRU(Gated ...

2019-03-17 09:33:12 2459

原创 【NLP实践-Task7 卷积神经网络】Text-CNN文本分类

目录卷积运算的基本概念稀疏权重参数共享等变表示一维卷积运算二维卷积运算三维卷积运算反卷积原理tf.nn.conv2d_transpose池化运算的基本概念介绍种类Text-CNN原理模型架构介绍输入层卷积层全连接层输出层Text-CNN文本分类实战数据集预处理模型结构及代码训练参考卷积运算的...

2019-03-15 18:09:55 752

原创 【NLP实践-Task6 简单神经网络】文本表示&fasttext

目录文本表示one-hot介绍one-hot在提取文本特征上的应用优缺点分析sklearn实现one hot encodeword2vecCBOW模型的理解CBOW模型流程举例fasttextfasttext介绍应用场景优点原理fasttext与word2vec对比fasttext文本分类实战参考文本表示one-hot介绍...

2019-03-13 16:27:36 240

原创 windows安装fasttext

下载https://www.lfd.uci.edu/~gohlke/pythonlibs/#fasttext安装cmd进入该whl文件所在的文件夹下,输入命令进行安装:pip install fasttext-0.8.22-cp36-cp36m-win_amd64.whl测试是否安装成功未报错,说明已安装成功。注意:导入的时候是fastText而不是fastte...

2019-03-13 15:56:31 1576

原创 【NLP实践-Task5 神经网络基础】深度学习基础

目录前馈神经网络反向传播输入/隐藏/输出层隐藏单元(激活函数)ReLU(修正线性单元)Sigmoid/ tanhSoftmax激活函数对比sigmoidtanhreluleaky relu激活函数选取准则损失函数损失函数的非凸性常用的损失函数0-1损失绝对值损失log对数损失函数平方损失函数指数损失函数Hin...

2019-03-12 14:02:25 139

转载 DL优化算法总结

批量梯度下降(Batch gradient descent) 批量梯度下降每次学习都使用整个训练集来更新模型参数,即: θ=θ−η⋅∇θJ(θ) 每次使用全部训练集样本计算损失函数的梯度,然后使用学习速率朝着梯度相反方向去更新模型的...

2019-03-12 11:21:50 844

原创 Windows安装和使用sox音频处理工具

sox下载https://sourceforge.net/projects/sox/files/sox/sox安装并检查是否安装成功双击安装后,将文件夹路径加入到环境变量。sox获取音频的统计信息sox foo.wav -n statsox降低音量至原始的9%sox -v -0.09 foo.wav bar.wavsox改变播放速度stre...

2019-03-11 20:59:21 1913

转载 python写 两只老虎.wav 音频文件

import waveimport structimport math def write_frame(time,freq,framerate,file,wave=0.4,sampwidth=2): #time 持续时间 freq 音频频率 framerate采样频率 file 音频文件 wave 音量 sampwidth 采样深度 t=0#时刻 step=1.0...

2019-03-11 20:09:48 392

原创 pydub分割并保存音频

按ms分割from pydub import AudioSegmentfile_name = "denoise_0306.wav"sound = AudioSegment.from_mp3(file_name)# 单位:mssound1 = sound[:1000]sound2 = sound[1550:1900]sound3 = sound[2300:2600]sound4...

2019-03-11 19:32:33 1689

原创 python(moviepy ) mp4视频拼接&截取

moviepy视频拼接# 主要是需要moviepy这个库from moviepy.editor import *import os# 定义一个数组L = []# 访问 video 文件夹 (假设视频都放在这里面)for root, dirs, files in os.walk("./video"): # 按文件名排序 files.sort() #...

2019-03-11 19:14:32 4477

原创 python自然排序natsort

常规排序sort()from natsort import natsorteda = ['1.mp4', '3.mp4', '10.mp4', '2.mp4']a.sort()print(a)可以看到,sort()在进行文件名排序时,是从前往后逐字符比较,这并不是我们想要的结果。这时,可以使用第三方库natsort。自然排序natsortfrom natsort i...

2019-03-11 14:26:04 1598

原创 【NLP实践-Task4 传统机器学习】朴素贝叶斯 & SVM & LDA文本分类

目录朴素贝叶斯原理公式朴素贝叶斯的优点朴素贝叶斯的缺点利用朴素贝叶斯进行文本分类SVM简介利用SVM模型进行文本分类文本特征提取文本特征表示归一化处理文本分类pLSA、共轭先验分布、LDA简介主题模型简介pLSA共轭先验分布定义及公式LDALDA介绍LDA生成过程LDA整体流程LDA文本分类获取训练矩阵和单词...

2019-03-08 14:09:13 415

原创 【NLP实践-Task3 特征选择】TF-IDF&互信息

目录TF-IDF原理TF-IDF代码方法1:使用TfidfTransformer方法2:使用TfidfVectorizer(推荐)互信息的原理点互信息PMI互信息MI对特征矩阵使用互信息进行特征筛选sklearn.metrics.mutual_info_scoresklearn.feature_selection.mutual_info_classif参...

2019-03-07 11:56:25 810

原创 【NLP实践-Task2 特征提取】文本处理&语言模型&文本矩阵化

目录基本文本处理技能分词的概念正向最大匹配法逆向最大匹配法双向最大匹配法词、字符频率统计语言模型语言模型中unigram、bigram、trigram的概念文本矩阵化分词新词识别自定义词典关键词提取去除停用词构造词表文档向量化参考基本文本处理技能 目前有三大主流分词方法:基于字符串匹配的分词方法、基于理解的分词...

2019-03-05 19:04:54 399

原创 win10安装PyTorch 1.0

方法1打开官网https://pytorch.org/网站会自动检测本机配置:安装打开终端,按官网所示,输入命令:conda install pytorch torchvision -c pytorch测试是否安装成功import torch查看PyTorch版本print(torch.__version__)方法2http...

2019-03-05 09:14:41 2642

原创 【NLP实践-Task1 数据集探索】THUCNews&IMDB&常用评价指标

Tensorflow.keras目录1、THUCNews1.1 数据集下载及介绍1.2 预处理1.3 搭建CNN模型1.3.1 模型代码1.3.2 模型结构1.4 训练与验证1.4.1 代码1.4.2 开始训练1.4.3 使用tensorboard查看训练集的误差曲线与准确率曲线1.4.4 测试2、IMDB2.1 下载数据2.2 探索数据...

2019-03-02 14:51:20 697

原创 利用python-opencv读取视频,计算视频总帧数以及FPS

参考:https://blog.csdn.net/qq_37902216/article/details/849878941、计算总帧数import osimport cv2 video_cap = cv2.VideoCapture('test0116.mp4') frame_count = 0all_frames = []while(True): ret, fra...

2019-02-21 18:54:43 4457

原创 windows 64位 dlib安装

下载dlib下载地址:https://pypi.org/simple/dlib/ 安装pip install F:\system\dlib-19.8.1-cp36-cp36m-win_amd64  测试 

2019-02-20 17:17:25 398

原创 【机器学习算法总结】XGBoost

目录1. XGBoost2.CART树2.1 优缺点2.2 分裂依据2.2.1 分类2.2.2 回归2.3总结2.4 参考3. 算法原理3.1 定义树的复杂度3.2 打分函数计算示例3.3 分裂结点3.3.1 贪心法3.3.2 近似算法3.3.3 分布式加权直方图算法(Weighted Quantile Sketch)4. 损失函数...

2018-12-24 19:33:54 2433

原创 【机器学习算法总结】GBDT

目录1、GBDT2、GBDT思想3、负梯度拟合4、损失函数4.1、分类4.2、回归5、GBDT回归算法6、GBDT分类算法6.1、二分类6.2、多分类7、正则化8、RF与GBDT之间的区别与联系9、优缺点优点缺点10、应用场景11、主要调参的参数12、sklearn.ensemble.GradientBoostingClass...

2018-12-21 18:34:16 7260

原创 python的opencv安装

pip install opencv-python 

2018-12-20 09:14:47 108

提示
确定要删除当前文章?
取消 删除