小码蚁.
只传播科技前沿知识,就做不一样!
展开
-
如何解决“RuntimeError: CUDA Out of memory”问题
当遇到这个问题时,你可以尝试一下这些建议,按代码更改的顺序递增:减少“batch_size”降低精度按照错误说的做清除缓存修改模型/训练在这些选项中,如果你使用的是预训练模型,则最容易和最有可能解决问题的选项是第一个。原创 2023-06-13 10:21:54 · 760 阅读 · 0 评论 -
2022 AI潜在技术应用趋势(年中总结)
2022年AI技术趋势总结原创 2022-07-07 09:33:48 · 287 阅读 · 0 评论 -
深度学习优化理论篇
1. 训练误差和泛化误差机器学习模型在训练数据集和测试数据集上的表现。如果你改变过实验中的模型结构或者超参数,你也许发现了:当模型在训练数据集上更准确时,它在测试数据集上却不⼀定更准确。这是为什么呢?因为存在着训练误差和泛化误差:**训练误差:**模型在训练数据集上表现出的误差。**泛化误差:**模型在任意⼀个测试数据样本上表现出的误差的期望,并常常通过测试数据集上的误差来近似。训练误差的期望小于或等于泛化误差。也就是说,⼀般情况下,由训练数据集学到的模型参数会使模型在训练数据集上的表现优于或原创 2022-03-09 15:03:56 · 250 阅读 · 0 评论 -
第23节智能客户系统原理以及分类
1. 智能客服系统智能客服产生的背景:为什么要有智能客服这样的一个产品,或者说研究方向呢?主要有以下这几个原因:我们日常生活中会遇到大量的客服问题,比如说你打电话给联通、移动等,或者说在淘宝上买东西,这些问题大部分都是一些重复的问题,而且频率也特别高,非常的耗人工;对于一个客服密集型的企业来说,大量的人工客服,造成了企业的客服成本非常的高;人工客服是没有办法做到 24 小时全天候的服务;在客户和客服的对话的过程中产生了大量的有价值的数据,这些数据也没有被很好的利用起来。基于以上的这些原因,我原创 2022-03-09 11:17:35 · 396 阅读 · 0 评论 -
第22节推荐系统原理基础
1. 什么是推荐系统推荐系统是利用电子商务网站向客户提供商品信息和建议,帮助用户决定应该购买什么产品,模拟销售人员帮助客户完成购买过程。个性化推荐是根据用户的兴趣特点和购买行为,向用户推荐用户感兴趣的信息和商品。随着电子商务规模的不断扩大,商品个数和种类快速增长,顾客需要花费大量的时间才能找到自己想买的商品。这种浏览大量无关的信息和产品过程无疑会使淹没在信息过载问题中的消费者不断流失。为了解决这些问题,个性化推荐系统应运而生。个性化推荐系统是建立在海量数据挖掘基础上的一种高级商务智能平台,以帮助电子商原创 2022-03-09 11:14:49 · 190 阅读 · 0 评论 -
强化学习:Q-Learning算法
文章目录强化学习Q-Learning算法1. 问题及原因2. Estimator原理与思想(1)单估计器方法(Single Estimator)(2)双估计器方法(Double Estimator)强化学习论文发表在国际顶级期刊《Science》上,2016.3,透过自我对弈数以万计盘进行练习强化,AlphaGo在一场五番棋比赛中4:1击败顶尖职业棋手李世石。2016.12,Master(AlphaGo版本)开始出现于弈城围棋网和腾讯野狐围棋网,取得60连胜的成绩,以其空前的实力轰动了围棋界。Deep原创 2020-12-10 13:55:14 · 361 阅读 · 0 评论 -
强化学习-Double Q-learning
论文地址: https://arxiv.org/pdf/1509.06461.pdf本文是Google DeepMind于2015年12月提出的一篇解决Q值"过估计(overestimate)"的文章,作者Hado van Hasselt在其2010年发表的Double Q-learning算法工作的基础上结合了DQN的思想,提出了本文的state-of-the-art的Double DQN算法。给出了过估计的通用原因解释和解决方法的数学证明,最后在Atari游戏上有超高的分数实验表现。正常论文的.原创 2020-12-10 14:09:54 · 695 阅读 · 0 评论 -
深度强化学习应用:象棋人机大战
文章目录CCZero关于如何使用搭建环境微调参数训练自己学习-self训练器-opt棋谱学习-sl验证最佳模型 eval人机对战play配置文件全部命令中国象棋环境 GUI代码结构CCZero关于中国象棋强化学习是使用 AlphaZero 的方法.这个项目是基于主要的资源是:Nacture的, Mastering the Game of Go without Human Knowledge.如何使用搭建环境$ conda create --name py36 python=3.6.3$原创 2021-10-27 18:30:31 · 1348 阅读 · 1 评论 -
强化学习算法自学习<斗地主>游戏
文章目录深度强化学习强化学习强化学习解决什么问题?强化学习如何解决问题什么是强化学习?深度增强学习强化学习算法打斗地主参考深度强化学习2016年和2017年最具影响⼒的 AlphaGo ⼤胜世界围棋冠军李世⽯和柯 洁事件,其核⼼算法就⽤到了强化学习算法.让强化学习得到大力的发展,但是强化学习却很难.强化学习机器学习大致可以分为监督学习,无监督学习和强化学习.强化学习解决什么问题?强化学习擅长解决:智能决策问题,更确切的说是序贯决策问题.那么什么是序贯决策问题呢?就是通过不断地做出决策,原创 2021-10-13 10:34:49 · 1252 阅读 · 0 评论 -
pytorch搭建神经网络过程
文章目录搭建网络基本流程数据集整理数据集分类:训练集 验证集 测试机数据集读取数据增加和数据标准化图像变换模型搭建继承nn.Module其次在__init__里面设置需要的组件在forward(self,x)中定义好组件进行组装.权值初始化模型FineTune损失函数与优化器优化器:Optimizertorch.optim.SGD学习率调整方法监控模型-可视化tensorboard搭建网络基本流程数据集整理数据集分类:训练集 验证集 测试机数据集读取生成便签数据:路径,便签 ->txt原创 2021-06-07 13:36:04 · 151 阅读 · 0 评论 -
DRL:强化学习-Q-Learning算法
文章目录强化学习Q-Learning算法1. 问题及原因2. Estimator原理与思想(1)单估计器方法(Single Estimator)(2)双估计器方法(Double Estimator)强化学习论文发表在国际顶级期刊《Science》上,2016.3,透过自我对弈数以万计盘进行练习强化,AlphaGo在一场五番棋比赛中4:1击败顶尖职业棋手李世石。2016.12,Master(AlphaGo版本)开始出现于弈城围棋网和腾讯野狐围棋网,取得60连胜的成绩,以其空前的实力轰动了围棋界。Deep原创 2021-01-07 09:26:43 · 301 阅读 · 0 评论 -
程序员败给了自己开发的阿法象棋狗?
文章目录简述实现方法1. 问题及原因2. Estimator原理与思想(1)单估计器方法(Single Estimator)(2)双估计器方法(Double Estimator)核心代码呈现简述完整视频地址论文发表在国际顶级期刊《Science》上,2016.3,透过自我对弈数以万计盘进行练习强化,AlphaGo在一场五番棋比赛中4:1击败顶尖职业棋手李世石。2016.12,Master(AlphaGo版本)开始出现于弈城围棋网和腾讯野狐围棋网,取得60连胜的成绩,以其空前的实力轰动了围棋界。原创 2020-12-16 15:11:15 · 247 阅读 · 0 评论 -
2020机器学习技术总结
文章目录概述基于知识图谱知识图谱为什么知识图谱构建方法实体抽取关系抽取构建过程多源数据抽取知识基于知识库的问答系统问句匹配问答式检索生成式-娱乐聊天概述-[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9Dg5g39e-1605540536899)(https://i.loli.net/2020/09/18/Tn7PbhEdjVZ8Q6p.png)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-bvi1Vga5-1605540536901原创 2020-11-16 23:31:00 · 396 阅读 · 0 评论 -
经典NLP工具集合
文章目录thulaclacsnowNLPdeepnlpthulac清华的分词工具 thulacimport thulacthu1 = thulac.thulac() #默认模式text = thu1.cut("我爱北京天安门", text=True) #进行一句话分词print(text)lac百度的分词工具lacfrom LAC import LAC'''分词'''# 装载分词模型lac = LAC(mode='seg')# 单个样本输入,输入为Unicode原创 2020-10-19 14:39:03 · 297 阅读 · 0 评论 -
搭建的ocr效果及搭建过程
#效果示例快速安装经测试PaddleOCR可在glibc 2.23上运行,您也可以测试其他glibc版本或安装glic 2.23PaddleOCR 工作环境PaddlePaddle 1.8+ ,推荐使用 PaddlePaddle 2.0.0.betapython3.7glibc 2.23cuDNN 7.6+ (GPU)建议使用我们提供的docker运行PaddleOCR,有关docker、nvidia-docker使用请参考链接。如您希望使用 mac 或 windows直接转载 2020-09-23 08:44:51 · 1847 阅读 · 0 评论 -
tensorflow高级教程
https://playground.tensorflow.org/ #tensorflow网页版中文官方文档:http://cwiki.apachecn.org/pages/viewpage.action?pageId=10030122问题及解决办法成功解决Your CPU supports instructions that this...原创 2018-11-13 23:36:40 · 384 阅读 · 0 评论 -
使用pytorch训练机器学习和深度学习的常见知识点与实例分析
pytorch教程基础教程dataset数据需要分为:训练数据集(train)、验证集(valid)、测试集(test)==8:1:1制作存放有图片路径及其标签的 txtDatasets类是pytorch读取数据的基类,制作图片数据的索引(相对路径,相对训练的py文件的地址)构建Dataset子类数据增强与数据标准化数据中心化,仅减均值数据标准化:减均值,再除以标准差...原创 2019-05-25 23:28:08 · 373 阅读 · 0 评论 -
docker资源汇总以及高级使用命令集合
文章目录docker-教程[docker 教程](http://www.runoob.com/docker/docker-tutorial.html)docker三个重要的问题:dockerfile 容器 镜像docker命令集合docker基础知识docker 镜像搜索学习linux的瑞士军刀镜像ssh服务Dockerfile sshApache 开源的web服务器docker-教程dock...原创 2019-05-25 23:33:15 · 230 阅读 · 0 评论 -
自然语言处理与文本相似度算法计算
文章目录工具类概述simhash算法simhash库数据集数据清洗计算simhash值余弦距离数据集数据清洗计算余弦距离参考文献工具类jiebasnownlp:分词、词性标注、情感分析、文本分析、转化拼音、繁体字转简体字、提取文本关键词、提取文本的摘要、tf、idf、句子分割、文本相似度、xmnlp:今日头条团队的、轻量级的NLPdeepnlp概述每年毕业季,各位学子都会使用一个...原创 2019-06-01 00:06:30 · 337 阅读 · 0 评论 -
python实现最大似然函数与结果展示
最大似然函数source coding# -*- coding:utf-8 -*-# /usr/bin/python'''@Author: Yan Errol @Email:2681506@gmail.com @Date: 2019-06-03 16:12@File:@Describe:@Evn:'''import numpy as npimport tens...原创 2019-06-10 00:11:34 · 1145 阅读 · 0 评论 -
高级算法工程师必须熟练的机器学习算法
文章目录0 算法分类1.感知器感知器(procepron)知识感知器实现与运算2.分类KNN交叉验证0 算法开发工程师:利用库来解决参数调优、优化、明白算法的应用场景数据类型:连续型数据、离散型数据、分类监督学习特征值和目标值无监督学习特征值K-mean1.感知器感知器(procepron)知识1.[外链图片转存失败,源站可能有防盗链机制,建议将图片...原创 2019-11-10 19:42:43 · 214 阅读 · 0 评论 -
sklearn实现线性回归与改变损失函数
文章目录sklearn learnsklearn learn# -*- coding:utf-8 -*-# /usr/bin/pythonimport matplotlib.pyplot as pltimport numpy as npa = [[1,2,3,4],[2,3,4,5],[3,4,5,6],]b = [2,2,2,2]c = np.multiply(a,b)pr...原创 2019-11-12 18:56:25 · 1040 阅读 · 0 评论 -
pytorch 实现人脸识别实例编程
文章目录pytorch 教程pytorch 教程# -*- coding:utf-8 -*-# /usr/bin/python'''@Author : Errol @Describe: @Evn : @Date : 2019-09-19 23:33'''from __future__ import print_function, division...原创 2019-11-12 19:00:28 · 500 阅读 · 1 评论 -
pytorch实现自定义损失函数与优化器
文章目录pytorch教程基础教程dataset模型模型的搭建模型 Finetune损失函数和优化器torch 简单的操作张量网络搭建pytorch教程基础教程dataset数据需要分为:训练数据集(train)、验证集(valid)、测试集(test)==8:1:1制作存放有图片路径及其标签的 txtDatasets类是pytorch读取数据的基类,制作图片数据的索引(相对路径...原创 2019-11-15 08:22:10 · 847 阅读 · 1 评论 -
git搭建实例教程
文章目录git 教程githubgit 教程github# 拉取代码$ git clone url # 配置开发者用户名和邮箱$ git config user.name name1$ git config user.email XXX@qq.com# 添加文件到暂存区$ git add filepath# 提交文件变动到版本库git commit -m "关键字”...原创 2020-02-06 23:31:32 · 117 阅读 · 0 评论 -
强化学习-入门教程(完整版)
文章目录learning route强化学习和监督学习、无监督学习的区别强化学习RL解决什么问题RL如何解决问题实例实例视频openAI and DeepMind基础马尔科夫时序差分(Temporal-Difference)强化学习方法分类Model-freeModel-base基于概率基于价值回合更新单步更新在线学习 on-Policy离线学习 off-PolicyQ-learningQ-learningQ-learning 实例Q-learning 算法更新Q-learning 思维决策SarsaSar原创 2020-08-10 08:54:20 · 901 阅读 · 1 评论 -
深度强化学习面试问题集锦
深度强化学习面试题目总结什么是强化学习?强化学习(Reinforcement Learning, RL),又称增强学习,是机器学习的范式和方法论之一,用于描述和解决智能体(agent)在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-F2xUwqQo-1595932389184)(https://i.loli.net/2020/07/28/qKgrVp1Gaxme2E6.png)]强化学习和监督原创 2020-07-28 18:33:53 · 768 阅读 · 0 评论 -
强化学习-基础教程
Q-learningQ-learning- Q learning 的迷人之处就是 在 Q(s1, a2) 现实 中, 也包含了一个 Q(s2) 的最大估计值, 将对下一步的衰减的最大估计和当前所得到的奖励当成这一步的现实, 很奇妙吧. 最后我们来说说这套算法中一些参数的意义. Epsilon greedy 是用在决策上的一种策略, 比如 epsilon = 0.9 时, 就说明有90% 的情况我会按照 Q 表的最优值选择行为, 10% 的时间使用随机选行为. alpha是学习率, 来决定这次的误差有多少原创 2020-06-09 14:31:58 · 321 阅读 · 0 评论 -
强化学习-sarsa教程
Sarsa与Q-Learning的不同:离线学习,Sarsa:是实施每个估计,在线学习,’保命为主‘Sarsa 算法更新[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RxaXDWEF-1591684153065)(evernotecid://5E01CD28-C4C7-40C9-89D8-B40DB3CF5295/appyinxiangcom/11012738/ENResource/p13380)]sarsa 思维决策Sarsa(lambda)回合更原创 2020-06-09 14:30:12 · 354 阅读 · 0 评论 -
Speech and Natural Language Processing《资源教程》
Speech and Natural Language Processing#######################################… image:: https://cdn.rawgit.com/sindresorhus/awesome/d7305f38d29fed78fa85652e3a63e154dd8e8829/media/badge.svg:alt: Awesome:target: https://github.com/sindresorhus/awesomeA c转载 2020-05-27 08:23:00 · 1141 阅读 · 1 评论 -
RL:强化学习基础以及实例编写
文章目录learning route强化学习和监督学习、无监督学习的区别实例实例视频openAI and DeepMind基础马尔科夫时序差分(Temporal-Difference)强化学习方法分类Model-freeModel-base基于概率基于价值回合更新单步更新在线学习 on-Policy离线学习 off-PolicyQ-learningQ-learningQ-learning 实例learning routeAI = DL(Deep Learning) + RL(Reinforcemen原创 2020-05-18 15:51:05 · 424 阅读 · 0 评论 -
torch DQN算法
强化学习CartPole任务的设计使得代理的输入是4个实际值,表示环境状态(位置,速度等)。然而,神经网络可以纯粹通过观察场景来解决任务, 因此我们将使用以cart为中心的屏幕补丁作为输入。也因为如此,我们的结果与官方排行榜的结果无法直接比较 - 因为我们的任务 要困难得多。而且不幸的是,这确实减慢了训练速度,因为我们必须渲染所有帧。需要的环境包神经网络(torch.nn)优化(tor...原创 2020-05-07 09:41:23 · 1208 阅读 · 0 评论 -
知识图谱-neo4j操作进阶
文章目录neo4jneo4j简介Neo4j优点Neo4j installpy2neoNode & relationship哈工大LTP下载模型数据存储方式neo4jNeo4j是一个世界领先的开源图形数据库,由 Java 编写。图形数据库也就意味着它的数据并非保存在表或集合中,而是保存为节点以及节点之间的关系。neo4j的数据由下面几部分组成:节点、边、属性顶点(node)和边...原创 2020-04-14 08:24:26 · 413 阅读 · 0 评论 -
HMM和DNN语音合成必备基础知识:音素和拼音的基础知识及工具初学
title: 音素和拼音的基础知识(HMM和DNN语音合成必备基础知识)tags: 深度学习,机器学习,数据挖掘,grammar_mindmap: truerenderNumberedHeading: truegrammar_code: trueAuthor : Errol Yan(wechat: 13075851954 QQ:260187357 Email:2681506@gma...原创 2018-12-04 11:55:11 · 1543 阅读 · 3 评论 -
语音识别、语音合成、歌声合成自动标注工具
文章目录语音合成歌声合成标注歌声的样本实例语音合成标注源码介绍语音合成歌声合成一直都是做语音方面的工作目前行业存在的难点:人工标注比较繁琐,标注困难。成本大,不准确。目前我标注工具是已经试验可用的,希望对大家有用。标注歌声的样本实例歌词音素发声时段与音频对应的时段0 2400000 pau2400000 2750000 u2750000 2850000 sh285000...原创 2020-02-18 00:04:21 · 1165 阅读 · 0 评论 -
HTS音源训练教程
1.HTK安装方法HTK:始于剑桥大学工程系,后被微软收购。版权属于微软的。一、下载安装包下载两个安装包(下载链接)分别是HTK-3.5.beta-2.tar.gz以及HDecode-3.5.beta-1.tar.gz二、安装所需要的依赖库1\. sudo apt-get install libx11-dev:i3862\. sudo apt-get install libc6...原创 2019-01-12 15:58:50 · 1898 阅读 · 0 评论 -
自动驾驶:车道线检测及车位线检测
文章目录环境搭建anaconda步骤使用颜色分割边缘检测方法霍夫变换 + canny环境搭建anaconda步骤从视频获取每一帧使每帧灰度使用Canny算法检测边缘使用霍夫算法寻找车道改善输出并制作新视频使用颜色分割车道的颜色通常是白色的。当日光充足时,您可以轻松地检测到白色车道,但请考虑一下夜晚。几乎无法检测到车道。但这不是拒绝颜色分割算法的唯一原因。您可以想象在现实世界...原创 2020-01-09 18:41:34 · 1557 阅读 · 1 评论 -
AIops 智能聊天机器人
文章目录移动交流的核心问题知识图谱问答问答系统基础0. AIopsAIOPS需要三方面的知识运维行业难题基础概念AIopsAIops 工具构建专业知识图谱0.1 关键技术代码1. 智能客服系统1.1 智能客服的目标1.2 细分领域1.3 智能客服常见功能2. 智能客服的工作原理2.1 自然语言理解2.2 意图识别2.3 知识库2.4 知识图谱2.5 对话技术2.6 聊天机器人3. 整体架构4. 评...原创 2019-12-19 22:47:42 · 1631 阅读 · 0 评论 -
pytorch.autograd使用示例
pytorch.autograd使用示例# -*- coding:utf-8 -*-# /usr/bin/python'''------------------------------------------------- File Name : autograd_demo Description : Envs : Author ...原创 2019-12-24 08:27:05 · 240 阅读 · 0 评论 -
基于海量特征向量数据搜索引擎(达到毫秒级)
文章目录Milvus 是什么主要特性整体架构Milvus 是什么Milvus 是一款开源的、针对海量特征向量的相似性搜索引擎。基于异构众核计算框架设计,成本更低,性能更好。 在有限的计算资源下,十亿向量搜索仅毫秒响应。主要特性异构众核Milvus 使用异构众核计算处理特征向量,成本更低,性能更好。多元化索引Milvus 支持多种索引方式,使用量化索引、基于树的索引和图索引等算法。资...原创 2019-11-30 13:32:58 · 823 阅读 · 0 评论