- 博客(32)
- 收藏
- 关注
RSS订阅原创 温故而知新——attention
学习资料：https://zhuanlan.zhihu.com/p/149634836。带着这些问题，重新review了一下attention，这里做一些复习笔记。2）attention本身的计算是否会带上序列信息。3）在encoder中normal的作用是什么。1）attention块的时间复杂度。
2024-03-24 14:12:13
192
原创 温度sofmax
《HEATED-UP SOFTMAX EMBEDDING》学习笔记在用softmax计算判别概率时，加上参数α此时，损失函数的梯度可推导为：也就是说引入参数α会对梯度产生影响，具体而言如下：（自己的理解）当α过小，反向传递时，最难负利样本、正样本、其他样本三者的梯度在α的加持作用下，梯度作用接近，且偏小，造成不容易收敛的情况；当α过大，反向传递时，最难负例样本和证样本的梯度作用非常大（p(m|x,α)值加大，乘上α，会起到放大的作用），其他样本的loss并没有及时更新。此时近似于学习了分类
2022-05-29 16:38:39
392
原创 python2中json编码的坑
在python中使用json会存在编码问题，需要引起注意。json.dumps(your_dict)json.dumps默认按utf-8来对放入的字符串进行解码后输出。因此需要注意进行dump的字符串编码格式需要确定。json.loads(your_str)json在python中直接使用json.loads(your_str)的方式，不管your_str是什么编码，都会被转换成unicode的格式。因此想要得到结果，需要自行转换一下。转换代码：def unicode_conver
2021-06-01 21:02:18
446
原创 estimator保存pb文件检查输出
saved_model_cli show \--dir . \--tag_set serve \--signature_def serving_default
2021-02-05 17:03:08
371
原创 各种分类问题的损失函数
在tf.nn下带有“cross_entropy”的损失函数，入参logits都是没有sigmoid或softmax之前的数据，函数会自动来计算。输出是每个样本的loss，一般需要配合tf.reduce_mean(loss)使用。1 输入的labels是需要one-hot之后的tensor的函数。1.1 sigmoid_cross_entropy_with_logitstf.nn.sigmoid_cross_entropy_with_logits(_sentinel=None,labels=No
2021-02-05 17:01:48
934
原创 做实验过程中的流水账
显存问题unable to create StreamExecutor for CUDA:0: failed initializing StreamExecutor for CUDA device ordinal 0: Internal: failed call to cuDevicePrimaryCtxRetain: CUDA_ERROR_OUT_OF_MEMORY: out of memory; total memory reported: 34058272768这个问题是显存占用过多，就算是已经
2021-02-05 16:53:20
362
原创 关于tf中取embedding的小记录
众所周知，tf对tensor的shape的要求非常严格，但是经常在使用embedding layer之后就忘记了输出的tensor的shape是什么样子的了，每次都会再去百度一下，所以专门记录一下。embedding_lookupembedding_lookup是直接进行查询，不会进行combiner的。例如：idx = [batch_size, 1] 得到的结果将是 [batch_size, 1, embedding_size]；idx = [batch_size, seq_len] 得到的结果
2020-10-02 14:31:56
361
原创 Linux上打开python shell显示中文
当代码中有中文出现时，直接用python shell会报错——ascii codec can‘t decode byte解决方法：启动shell的时候在前面加上：PYTHONIOENCODING=utf-8 python（如果不是开shell，而是直接运行python XXX.py的话，需要在py文件前面加上# -- encoding=utf-8 --）...
2020-10-02 14:25:53
556
原创 公司服务器上从源码编译MKL集成的tensorflow
网上相应的记录很多，但因为是在公司服务器上进行，需要注意代理的配置，而且是在docker中进行的，因此这里写一下算是工作记录了。需要提前注意的事项：bazel与tf版本之间的适配性可以是 tensorflow/configure.py 中指定的介于 _TF_MIN_BAZEL_VERSION 和_TF_MAX_BAZEL_VERSION 之间的任意版本。（https://tensor...
2020-04-29 21:07:27
412
原创 normalization思考
batch normalization与layer normalizationbatch normalization是对列进行归一化，在每个特征上进行缩放，为了解决量纲不同的问题（蕴含了大数定律的思想，当样本量足够的时候，样本分布和总体分布一致）；layer normalizaiton是对行进行标准化，使得每行的模为1【思考】：1）对于类似于NLP的词向量这种，应该使用LN，因为一个词...
2020-02-24 11:33:03
153
原创 Batch Normalization和激活函数的使用顺序
问题：如题结论：先用Batch Normalization 再用激活函数例子：net = tf.layers.dense(input, units=unit, activation=None, kernel_initializer=tf.truncated_normal_initializer())net = tf.nn.relu(tf.layers.batch_normalization...
2020-02-08 17:00:36
3220
原创 spark中monotonically_increasing_id的坑
日常工作中因为获取到的交互矩阵中user是string的，所以需要转换成long或int的unique id。本来以为发现了一个非常好用的函数monotonically_increasing_id，再join回来就行了，直接可以实现为：import org.apache.spark.sql.functions.monotonically_increasing_id userdf = df.s...
2019-12-07 11:34:24
7186
5
原创 spark中数据在python中的使用
这里写自定义目录标题合并文件乱码问题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导...
2019-11-20 18:39:53
883
原创 spark分布式的相关学习笔记
driver完成所有任务的调度和executor与cluster之间的协调。分为client和cluster模式。client模式是指driver在任务提交的机器上运行，cluster模式是指随机选择一台机器执行。job是指脚本中的action，一个action对应了一个job（transformation不会对应一个job）stage组成action/job。一个job可以对应了多个sta...
2019-09-17 10:54:42
106
原创 关于cross-domain recommendation的论文阅读笔记
阅读笔记，持续更新…1、只用到了rating matrix进行建模《DARec: Deep DomainAdaptation for Cross-Domain Recommendation via Transferring Rating Patterns》user/item的representation从AutoEncoder中得到（AutoEncoder的缺点是，当数据量非常稀疏的时候，...
2019-08-19 11:04:17
5770
原创 小白实习的gitlab使用笔记
创建新项目1、在gitlab上创建项目右上角有一个 new project2、填写常规消息按照你的项目名等等完成这些基础信息的填写3、完成本地和远程仓库的链接、上传等等这是创建新的项目成功之后网页上的一些提示的操作。我会忽略掉其中创建README的这一步。我一般执行的操作如下：（1）在本地项目根目录下右键打开“git bash here”（2）依次输入：git confi...
2019-06-05 11:31:01
340
原创 使用3to2将python3的脚本转换成python2的脚本
1、pip install 3to2；2、找到文件“3to2”，这个时候是没有后缀的。我的是在“XXX\anaconda\Scripts”下面；3、定位到自己的"3to2"文件，然后这个文件所在的路径下打开cmd；4、键入python 3to2 -w [你的文件地址]...
2019-05-21 17:41:29
7293
1
原创 疑问：数据清洗过程中的“归一化”、“标准化”等等去量纲的操作应该在数据集划分前还是在数据集划分后？
问：如题。找到的相关解答：应该数据集划分后，不然测试集里面实际上是包含了训练集的信息的，这会影响模型的测试效果。但其实当样本量足够大的时候，随机划分的训练集和测试集其实是有相同的分布的，所以理论上是可以忽略上面说到的东西的。...
2019-03-25 17:20:50
4470
原创 关于EE的multi-arm-bandit学习记录
最近遇到了EE的相关任务，先记录一下最基础的一些概念，慢慢扩充、填坑…文章目录多臂老虎机 multi-arm-banditThompson samplingbeta分布贪心算法 greedy Algorithmε-greedy algorithmuniform exploration algorithmsoftmax greedy algorithm贪心算法和Thompson sampling之...
2019-03-25 17:16:12
1000
原创 《Real-time Personalization using Embeddings for Search Ranking at Airbnb》学习笔记
2018年KDD的best paper读书笔记写在开篇的唠唠叨叨背景介绍场景论文内容listing embedding基于当前点击的房源挖掘用户短期兴趣偏好user-type & listing-type embeddingembedding的应用疑惑新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格...
2019-03-19 10:51:02
2768
2
原创 hive语句中的日常笔记
1、列转行需要解决的场景：某一列变量类型为字符串，现在需要将这这一列字符串的内容进行操作，并且将操作之后的结果生成新的列SELECT newcon_nameFROM table_nameLATERAL VIEW EXPLODE(对列的操作，比如SPLIT(col_name,'，')) newtable as newcon_name explode函数实现将list的值展开，获取到每个元...
2019-01-23 16:12:09
335
原创 session-based recommendation有关的论文阅读记录
最近要做关于session-based recommendation有关的东西，看了一些论文，写一点阅读笔记记录一下。督促自己快看快看！！！用来进行session-based recommendation的算法可以如下分类：不用深度学习的算法：item-to-item recommendation马尔科夫链用到深度学习的算法没有用到RNN的1） STAMP Short-T...
2018-10-26 15:55:04
4254
原创 不懂JAVA，但是要用spark执行任务的小白踩过的坑
不懂JAVA，但是要用spark执行任务的小白踩过的坑你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。driver节点内存不足Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x00...
2018-10-26 15:34:21
592
原创 为了秋招 之 leetcode督促自我的日常记录
1.两数之和import numpy as npimport mathnums = [3,2,4]target = 6第一个版本：两个for循环的嵌套（时间过长）ans = []l = len(nums)for i_index in range(l): for j_index in range(i_index+1,l): if nums[i_...
2018-07-23 23:58:04
196
原创 Hive中遇到的问题记录
collection本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ct...
2018-07-23 22:55:47
5968
原创 协同过滤中最常用到的三种相似度的测量方法比较
person系数： sim(i,j)=corri,j=∑u∈U(Ru,i−Ri¯¯¯¯¯¯)(Ru,j−Rj¯¯¯¯¯¯)(Ru,i−Ri¯¯¯¯¯¯)2−−−−−−−−−−√(Ru,j−Rj¯¯¯¯¯¯)2−−−−−−−−−−√sim(i,j)=corri,j=∑u∈U(Ru,i−Ri¯)(Ru,j−Rj¯)(Ru,i−Ri¯)2(Ru,j−Rj¯)2sim(i,j)=corr_{i,j}=\...
2018-07-22 15:52:53
3830
2
原创 关于在window下python中安装MySQL遇到的问题及解决方法
想在python中调用mysql进行相关的分析，所以想安装MySQL for python。MySQL for python的API名字叫MySQLdb ，但是MySQLdb现在只支持python2.4-2.7，还没有支持python3，所以先去下载一个python2.7（https://www.python.org/downloads/）再进行下面的安装过程：pypi官网（https://p...
2018-05-23 20:32:10
182
原创 牛顿法
基本用途求解函数与x的交点 => 求解方程思想不断迭代，直至收敛。理解方法1.在接近函数f(x)f(x)f\left(x\right)零点的范围中取一个x0x0x_0作为迭代起始点 2.求f(x)上过点(x0,f(x0))f(x)上过点(x0,f(x0))f\left(x\right)上过点\left(x_0,f\left(x_0\right)\right...
2018-04-07 16:08:14
128
原创 数字图像处理中实现放缩图像的各种内插法
最近邻内插思想：根据放缩以后的新图的坐标与放缩比例来确定原图中的坐标，再根据原图坐标处的灰度值确定新图的灰度值。流程：Created with Raphaël 2.1.2开始原图：长w0，宽h0 新图：长w1，宽h1计算放缩比例: w_scale = w1/w0 h_scale = h1/h0根据...
2018-04-05 11:52:59
806
原创 图片生成模型——gated pixelCNN
google DeepMind团队在《pixel recurrent neural networks》中提出了pixelRNN/CNN之后又发表了一篇论文——《Conditional Image Generation with PixelCNN Decoders》——这篇论文中提出了一个基于pixelRNN/CNN上进行改进的一个模型——gated pixelCNN。gated pixelCN...
2018-04-04 21:44:43
17195
5
原创 “1秒”拥有大师的笔触/让世界大师们的风格“重生”——《A Neural Algorithm of Artistic Style》读后感
最近看了Leon A. Gatys、Alexander S. Ecker、Matthias Bethge三人合力撰写的《A Neural Algorithm of Artistic Style》，根据自己的理解在这里做一些记录。前言这是一篇非常有意思的论文，论文描述了一种“黑科技”，这个“黑科技”可以让实世界上那些著名画家的风格”重生“，并根据这些风格”画”出新的图片。运用**VGG19*
2018-01-14 00:43:35
538
1
原创 关于Hinton的capsules计划
关于Hinton的capsules计划前不久Hinton的那篇《Dynamic Routing Between Capsules》论文问世了，引起了广泛的关注。刚好跟着学长做文献阅读，我就是看得这篇文献，所以写点博客记录一下我的一些学习结果。
2017-11-26 23:28:11
1185
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人