机器学习
文章平均质量分 64
姚贤贤
这个作者很懒,什么都没留下…
展开
-
通俗易懂了解大语言模型LLM发展历程
2方面,1方面是面向生命科学,了解和学习人最自然的知识和本性;另一方面是面向行业,例如下面是天猫精灵团队为了让回复更加先得有温度,请了社会,心理专家面对敏感问题打的标签。原创 2023-09-23 14:58:11 · 3009 阅读 · 0 评论 -
纵观AI-模型发展脑图
原创 2023-09-22 16:37:24 · 162 阅读 · 0 评论 -
推荐系统模型的实时性
模型的实时性与模型的训练方式紧密相关,模型的实时性由弱到强的训练方式分别是全量更新,增量更新和在线学习。1.全量更新模型在某个时间段内所有训练样本进行训练,全量更新是最常用的训练方式2.增量更新增量更新仅将新加入的样本“喂”给模型进行增量训练,从技术上讲,深度学习模型往往采用随机梯度下降SGD法及其变种进行学习,缺点是增量更新的模型往往无法找到全局最优点,因此在实际的推荐系统中,经常采用增量更新与全局更新结合的方式,在进行了几轮增量更新后,在业务量较小的时间窗口进行全局更新。3.在线学习是进行模原创 2022-01-26 11:57:11 · 3166 阅读 · 0 评论 -
Embedding在推荐系统中的应用
1.Word2vec经典的Embedding算法2.Item2vec微软于2016年提出计算物品Embedding向量方法Item2vec,先比于利用Word2vec利用“词序列”生成词Embedding,Item2vec利用的“物品序列”,是由特定用户的浏览,购买等行为产生的历史行为记录序列,Item2vec与Word2vec唯一不同在于,Item2vec摒弃了时间窗口的概念,认为序列中任意两个物品都相关。3.GraphEmbeddingItem2vec方法也有局限性,因为只能利用序列型数据,所以原创 2022-01-25 17:36:54 · 370 阅读 · 0 评论 -
推荐系统的发展历程
1.协同过滤算法(Collaborative Filtering,CF)对于协同过滤的研究可以追溯到1992年,Xerox的研究中心开发了一种基于协同过滤的邮件筛选系统,用以过滤一些用户不感兴趣的无用邮件。协同过滤在互联网大放异彩源于互联网电商巨头Amazon,2003年,Amazon发表论文Amazon.com Recimmenders Item-to-Item Collaborative Filtering.简单描述,目前有一些用户对商品的评价信息,那么如何给用户推荐产品,例如用户D,是否会喜欢商品原创 2022-01-14 10:42:03 · 3371 阅读 · 0 评论 -
深度学习ACGan学习笔记,keras版
一.ACGAN(Auxiliary Classifier GAN)依旧有Generator,Discriminator,可使用MNSIT训练生成图片。和DCGAN的不同: 1.增加了class类别标签参与训练,可以生成指定类别的图片代码引用的《Web安全之强化学习与GAN》,位置: https://github.com/duoergun0729/3book/code/keras-a...原创 2018-09-05 18:08:02 · 3948 阅读 · 7 评论 -
对抗生成网络Gan变体集合 keras版本
1.深度学习Gan学习笔记,keras版 2.深度学习DCGan学习笔记,keras版 3.深度学习ACGan学习笔记,keras版原创 2018-09-05 18:32:40 · 1365 阅读 · 0 评论 -
深度学习语言模型(2)-词向量,神经概率网络模型(keras版本)
1.神经概率网络模型(2003年),步骤如下: (1)输入层,将每一个词都使用随机的100维向量表示 (2)投影层,将一个上下文的词拼接起来,比如滑动窗口是3,则有(batch_size,6,100) (3)隐藏层,就是一个全连接层,比如(100,1024) (4)输出层,使用softmax分类器,类别就是所有词的id,比如现在有50000个词,则,输出层(1024,50000) ...原创 2018-09-17 16:56:17 · 982 阅读 · 0 评论 -
python numpy数组和one-hot编码相互转换
import numpy as npfrom keras.utils import to_categoricaldata = [1, 2, 3, 4, 5, 6, 7, 8, 9, 7]data = array(data)print(data)# [1 2 3 4 5 6 7 8 9 7]#有普通np数组转换为one-hotone_hots = to_categorical(da...原创 2018-09-18 19:54:20 · 26512 阅读 · 1 评论 -
深度学习语言模型(3)-word2vec负采样(Negative Sampling) 模型(keras版本)
代码参考了:https://spaces.ac.cn/archives/4515但他采用的是随机采样,我这里采用的是负采样,但还是有一些细节没有去实现,但大体框架就这样# coding=utf-8'''Created on 2018年9月15日@author: admin'''from gensim import corpora, models, similaritiesimp...原创 2018-09-19 21:17:01 · 2949 阅读 · 0 评论 -
faster RCNN(keras版本)代码讲解(3)-训练流程详情
faster RCNN(keras版本)代码讲解博客索引: 1.faster RCNN(keras版本)代码讲解(1)-概述 2.faster RCNN(keras版本)代码讲解(2)-数据准备 3.faster RCNN(keras版本)代码讲解(3)-训练流程详情 4.faster RCNN(keras版本)代码讲解(4)-共享卷积层详情 5.faster RCNN(keras版本)...原创 2018-07-19 19:43:58 · 14886 阅读 · 68 评论 -
使用xgboost心得
#coding=utf-8'''Created on 2018年9月20日'''import tflearn.datasets.mnist as mnistfrom sklearn.model_selection import train_test_splitimport numpy as npimport picklex_train, y_train, x_test, y_...原创 2018-09-20 19:37:27 · 647 阅读 · 0 评论 -
深度学习DCGan学习笔记,keras版
一.DCGAN(Deep Convolutional GAN)依旧有Generator,Discriminator,可使用MNSIT训练生成图片。和GAN的不同: 1.增加了反卷积,能生成更好的图片,但依旧还是2分类,判断是不是手写数字。 2.采用了BatchNormalization 防止梯度消失和过拟合代码引用的《Web安全之强化学习与GAN》,位置: https://git...原创 2018-08-31 16:07:10 · 1240 阅读 · 0 评论 -
keras 使用RNN实现2进制加法
一.使用python实现RNN 2进制加法 这在很多文章中都出现了#coding=utf-8'''Created on 2018年8月28日'''import copy, numpy as np np.random.seed(0)# compute sigmoid nonlinearity ...原创 2018-08-28 20:10:26 · 736 阅读 · 0 评论 -
深度学习Gan学习笔记,keras版
一.生成对抗网络GAN(generative Adversarial Network) 有两个相生相克的模型Generator,Discriminator. Generator 用于随机生成样本 Discriminator 用于判别样本训练流程: 1.Generator 随机生成样本 2.将真实样本标记为Real,将Generator生成的样本比较为Fake,Discriminato...原创 2018-08-31 11:54:43 · 660 阅读 · 0 评论 -
keras 深度学习之迁移学习和fine tune
一.迁移学习 就是说把别人训练好的网络(比如说卷积特征提取部分)拿过来配合上自己分类器,这样可以增加训练的速度和提高分类效果。'''Created on 2018年8月28日'''#迁移学习import kerasfrom keras.models import Modelfrom keras.applications import ResNet50import nu...原创 2018-08-28 15:28:14 · 1782 阅读 · 1 评论 -
keras 如何从数据生成器ImageDataGenerator中的flow_from_directory中获取加载的文件名
有时候使用keras数据生成器来作为数据输入,但是这样又拿不到生成的文件名顺序,只好自己添加代码了。 对于数据生成器的调用:train_data_dir = 'D:\\xxx\\xxx\\'train_datagen = ImageDataGenerator()train_generator = train_datagen.flow_from_directory( ...原创 2018-08-20 15:21:47 · 10879 阅读 · 8 评论 -
keras 可视化模型结果,f1_score,recall,acc,acc_valid,checkpoint
'''Created on 2018年8月8日'''import kerasfrom keras.models import Sequentialfrom keras.layers import Denseimport numpy as npimport tflearnimport tflearn.datasets.mnist as mnistfrom keras.callb...原创 2018-08-08 17:16:25 · 7097 阅读 · 7 评论 -
faster RCNN(keras版本)代码讲解(6)-ROI Pooling层详情
faster RCNN(keras版本)代码讲解博客索引: 1.faster RCNN(keras版本)代码讲解(1)-概述 2.faster RCNN(keras版本)代码讲解(2)-数据准备 3.faster RCNN(keras版本)代码讲解(3)-训练流程详情 4.faster RCNN(keras版本)代码讲解(4)-共享卷积层详情 5.faster RCNN(keras版本)...原创 2018-08-15 09:18:19 · 5039 阅读 · 2 评论 -
彻底解决tensorflow:ImportError: Could not find 'cudart64_90.dll'
今天装tensorflow-gpu出现了很多问题1.pip install tensorflow-gpu下载过慢 解决办法可查看 Python机器学习常用模块2.安装完tensorflow以后,运行时出现ImportError: Could not find ‘cudart64_90.dll’ 解决办法:在https://developer.nvidia.com/cuda-toolki...原创 2018-08-03 20:31:14 · 23858 阅读 · 6 评论 -
faster RCNN(keras版本)代码讲解(5)-RPN层详情
faster RCNN(keras版本)代码讲解博客索引: 1.faster RCNN(keras版本)代码讲解(1)-概述 2.faster RCNN(keras版本)代码讲解(2)-数据准备 3.faster RCNN(keras版本)代码讲解(3)-训练流程详情 4.faster RCNN(keras版本)代码讲解(4)-共享卷积层详情 5.faster RCNN(keras版本)...原创 2018-07-26 16:02:59 · 5251 阅读 · 8 评论 -
faster RCNN(keras版本)代码讲解(4)-共享卷积层详情
faster RCNN(keras版本)代码讲解博客索引: 1.faster RCNN(keras版本)代码讲解(1)-概述 2.faster RCNN(keras版本)代码讲解(2)-数据准备 3.faster RCNN(keras版本)代码讲解(3)-训练流程详情 4.faster RCNN(keras版本)代码讲解(4)-共享卷积层详情 5.faster RCNN(keras版本)...原创 2018-07-26 15:33:57 · 5298 阅读 · 1 评论 -
彻底解决keras model.summary()或者layer.count_params()权重参数个数为负数问题
使用keras model.summary()或者layer.count_params()权重参数个数会出现为负数的情况,出现情况一般在全连接中,比如使用不经过图像压缩的(1024,1024,3)大小的图片经过Densenet,在全连接层中共有权重参数2147487744 = 524288*4096 + 4096,但因为默认使用的是np.int32,所以在返回值时表示为:所以我们需要修改ker...原创 2019-12-15 23:27:31 · 5920 阅读 · 1 评论 -
计算神经网络内存占用
如果layer.count_params()或者model.summary()权重参数个数为负数的可以参考:彻底解决keras model.summary()或者layer.count_params()权重参数个数为负数问题举两个例子,一张(1024,1024,3)的图片,分别使用VGGNet,DenseNet网络。一.VGGNet内存消耗计算'''Created on 2018年9月3...原创 2018-10-08 16:34:21 · 9501 阅读 · 3 评论 -
深度学习AAEGan学习笔记,keras版
原创 2018-10-25 21:16:48 · 2001 阅读 · 0 评论 -
Nmap笔记(一)-主机发现
主机扫描命令,例如:nmap -sP 192.168.1.123/24表示将对192.168.1.0这个子网的所有主机进行扫描扫描方式参数原创 2019-07-13 20:16:32 · 226 阅读 · 0 评论 -
Transformer Bert总结不错的文章
转载2篇总结得很不错的文章1.2017 Transformer图解Transformer2.2018 Bert【论文笔记】BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding(BERT模型理解)...转载 2019-05-14 11:07:35 · 367 阅读 · 0 评论 -
tensor2tensor get_timing_signal_1d
get_timing_signal_1d'''Created on 2019年5月6日'''import tensorflow as tfimport mathimport cv2def get_timing_signal_1d(length, channels, min_tim...原创 2019-05-06 17:01:32 · 768 阅读 · 0 评论 -
通俗易懂了解attention机制
attention其实很简单,比如有翻译:我喜欢游泳->I like swimming那么在翻译的时候可以这样,也就是越靠近相对应的词,我越注意,影响也就越大i = 0.7(“我”),0.2(“喜欢”)+0.1(“游泳”)like = 0.2(“我”),0.6(“喜欢”)+0.2(“游泳”)i = 0.1(“我”),0.2(“喜欢”)+0.7(“游泳”)tensorflow又两种...原创 2019-05-03 15:16:31 · 2797 阅读 · 0 评论 -
tensorflow1.12.0 seq2seq基础练习
代码来自《唐宇迪seq2seq》,原本环境tf1.0,经过一些更改,tf1.12.0训练目标:将输入的单词按照字母的自然顺序进行排序Word 编号: [24, 17, 9, 9, 28, 0, 0]Input Words: h e l l o <PAD> <PAD>Word 编号: [17, 24, 9, 9, 28, 3]Response W...原创 2019-04-22 22:28:12 · 562 阅读 · 0 评论 -
Tensotflow1.0入门(八)-tensorflow源代码目录结构
文件夹tensorflow #主目录third_party #第三方库,包括eigen3(特征运算的库,包括SVD,LU分解等),gpus(支持cuda),hadoop,jpeg,llvm,py,sycltools #构建cuda支持文件ACKNOWLEDGMENTS #tensorflow的版权说明ADOPTERS.md #使用Tensorflow的人员或者组织列表arm_comp...原创 2019-04-08 21:59:55 · 2032 阅读 · 0 评论 -
tensorflow1.0-解决加载图模型时报错google.protobuf.message.DecodeError: Error parsing message
使用以下代码,加载图模型的时候会报错#保存图模型 tf.train.write_graph(sess.graph_def, graph_dir, 'graph.pbtxt',as_text=True) #加载图模型 with tf.gfile.FastGFile("modle_graph/graph.pbtxt","rb") as f: graph_def...原创 2019-04-07 11:27:08 · 27092 阅读 · 4 评论 -
Tensotflow1.0入门(七)-tensorflow模型保存和加载模型
tensorflow的API提供以下两种方式来存储和加载模型1.生成检查点文件(checkpoint file),扩展名一般为.ckpr,通过tf.train.Saver来保存,包含权重和其他在程序中定义的变量,但不包含图结构。2.生成图结构,扩展名一般为.pb,使用tf.train.write_graph()保存,只包含图结构,不包含权重所以一般都是两个一起结合使用例子:# codin...原创 2019-04-07 10:53:06 · 1128 阅读 · 0 评论 -
Tensotflow1.0入门(九)-tensorflow分类函数
# coding=utf-8'''Created on 2019年4月5日@author: admin'''import tensorflow as tf# tf.nn.sigmoid_cross_entropy_with_logits(_sentinel, labels, logits, name)# tf.nn.softmax(logits, axis, name, dim...原创 2019-04-10 23:35:44 · 194 阅读 · 0 评论 -
Tensotflow1.0入门(六)-tensorflow的激活函数
激活函数它们的定义在tensorflow/python/ops/nn.py文件中,但其实这个nn.py是由很多别的文件中的类和方法组成的tf.nn.relu() 调用的是tensorflow/python/ops/gen_nn_ops.py下的方法tf.nn.sigmoid() 调用的是tensorflow/python/ops/math_ops.py下的方法tf.nn.tanh()tf....原创 2019-04-06 17:23:23 · 328 阅读 · 0 评论 -
Tensotflow1.0入门(五)-tensorflow的池化函数
池化函数的定义在tensorflow/python/ops/nn.py和gen_nn_ops.py(编译tensorflow后生成)中,但其实这个nn.py是由很多别的文件中的类和方法组成的#池化函数tf.nn.avg_pool(value, ksize, strides, padding, data_format, name)tf.nn.max_pool(value, ksize, str...原创 2019-04-06 17:22:27 · 276 阅读 · 0 评论 -
Tensotflow1.0入门(四)-tensorflow的卷积函数
卷积函数的定义在tensorflow/python/ops/nn.py,但其实这个nn.py是由很多别的文件中的类和方法组成的,其中激活函数也包含在内了,而卷积函数的定义主要在nn_impl.py和nn_ops.pytf.nn.convolution(input, filter, padding, strides, dilation_rate, name, data_format)tf.nn....原创 2019-04-06 17:20:33 · 327 阅读 · 0 评论 -
Tensotflow1.0入门(三)-tensorflow的小例子
# coding=utf-8'''Created on 2019年4月5日@author: admin'''import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_dataimport osmnist = input_data.read_data_sets('mnist', on...原创 2019-04-06 17:18:52 · 571 阅读 · 0 评论 -
Tensotflow1.0入门(二)-tensorflow的各种操作
有关操作的代码位于tensorflow-1.12.0/tensorflow/python/ops目录下1.数学运算操作,例如:Add,Subtract,Multiply,Div,Exp,Log2.数组运算操作,例如:Concat,Slice,Split3.矩阵运算操作,例如:MatMul,MatrixInverse4.又状态的操作,例如:Variable,Assign,AssignAdd...原创 2019-04-06 17:14:49 · 382 阅读 · 0 评论 -
Tensotflow1.0入门(一)-tensorflow的设计理念和基本概念
Tensorflow的设计理念1.将图的定义和图的运行完全分开2.tensorflow中涉及的运算都要放在图中,而图的运行只发生在会话(session)中,开启会话后,就可以用数据去填充。关闭会话后,就不能进行计算了。以上两个理念体现在,例子:# coding=utf-8'''Created on 2019年4月1日@author: admin'''import tensor...原创 2019-04-06 17:13:41 · 635 阅读 · 0 评论