雾十-CSDN博客

原创循环神经网络处理变长序列

https://blog.csdn.net/qq_27825451/article/details/88991529一个比较详细的总结，基于tensorflow和keras的实现在pytorch中，通过token转化时的padding参数设置来实现变长序列的训练，具体可以参考pytorch官方API文档说明...

2021-12-22 10:11:46 668

原创关于ranknet中加速部分的公式推导的疑问

RankNet学习思路_w28971023的专栏-CSDN博客_ranknetLearning To Rank 之 RankNet - 清雨影的Blog文中涉及的σ不是sigmoid函数，而是控制sigmoid函数形状的一个参数图来自论文：《From RankNet to LambdaRank to LambdaMART: An Overview》...

2021-12-01 17:16:32 687

今天看ranknet的加速，到损失函数推导部分，想起hinge loss，又想起SVM经常使用hinge loss用于优化模型。于是思考一下为什么SVM要与hinge loss搭配。hinge loss = max(0, 1-z), 在SVM中z=yi(wxi+b)SVM是通过支持向量来优化模型的，以二分类为例，yi取值为{-1,1},代表在分类超平面左侧和右侧，期望模型预测的wxi+b与yi同号，因此当同号时z=1，loss=0不需要优化，当异号时模型误判需要计算loss更新参数，此时z<1,所

2021-12-01 16:45:47 1367

原创关于softmax在神经网络输出层的应用的一点小思考

关于softmax在神经网络输出层的应用的一点小思考起因是在一次face中，问道softmax的作用，以及一些展开问题不禁好奇，如果说softmax是将输出结果映射为0-1范围内的和为1的概率值，那么直接使用当前结果/所有和，也可以得到0-1范围内和为1的概率值，这样做怎么样？看了这篇文章，文章给出一个实验及解释，softmax相比求平均更能拉大不同结果之间的距离，使得到的概率值之间的差值增大。除此之外，还从softmax与交叉熵损失函数之间的关系进行了理论解释https://zhuanlan.zh

2021-11-17 17:29:54 813

原创 conda移除环境

conda移除环境conda remove -n your_env_name(虚拟环境名称) --all 失败新命令：conda env remove -n name成功

2021-06-29 22:56:00 1220

原创论文阅读：UER: An Open-Source Toolkit for Pre-training Models

2019年EMNLP论文是一个NLP预训练模型工具集。该工具集提供的预训练模型支持三个阶段【半监督微调策略】：1）在general-domain 语料上预训练；2）在下游任务集上预训练【无监督训练】；3）在下游任务集上微调【有监督训练】相应的github：https://github.com/dbiir/UER-py/...

2021-06-17 11:41:28 197

原创 jupyterlab配置切换多个内核环境

https://blog.csdn.net/qq_44315987/article/details/112759477

2021-06-11 16:07:44 1924 1

原创 transformer代码精讲、bert三个embedding

今天看到了一个讲解transformer源码的（基于pytorch），颇为详细https://zhuanlan.zhihu.com/p/375221936关于attention，可参考https://spaces.ac.cn/archives/4765/comment-page-1

2021-06-07 17:20:34 482 1

原创 ssh连接出错及解决办法

今天ssh登录服务器出现了，如下错误：@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED! @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@IT IS POSSIBLE THAT SOMEONE IS DOING SOMETHING NASTY!So

2021-06-07 14:06:18 2991

原创困恼了两天的centos启动卡在数字7界面处

原因是，之前按照该教程修改屏幕分辨率，添加了配置文件https://blog.csdn.net/nightelve/article/details/8032094因此花了很多功夫进入终端【参考https://blog.csdn.net/qq_42470947/article/details/109111080 前半部分进入系统终端】想删除添加的文件，但是没进入因为原来该服务器没有配置过ip和网关，导致现在ssh连接不上所以先通过修改网络配置文件设置ip和网关【在hhl学长的帮助下，他的linux操.

2021-05-24 17:03:58 3754

原创 centos7配置

1.【由于后面安装了anaconda，因此不需要安装python3了】今天给安装了centos7系统的小服务器安装python3，全程参照如下教程无错顺利完成https://blog.csdn.net/longzhoufeng/article/details/1098798182.然后切换到中文输入法【centos中文版安装后默认是不启动汉语输入法的】https://www.cnblogs.com/z-x-y/p/10078676.html3.然后安装 anaconda。https://blog.

2021-05-17 10:30:26 50

原创服务器安装centos7

首先准备一个centos7的光盘或者u盘。这里使用光盘安装接入主机，重启系统，按F11使用光盘启动，进入centos安装界面。后续步骤同https://www.cnblogs.com/set-config/p/9040407.html【注意不要选择最小安装】...

2021-05-14 17:14:22 430

原创 Mac/ubuntu安装spark

Mac安装sparkhttps://www.jianshu.com/p/8d780e14b699https://blog.csdn.net/cyh_24/article/details/49683221?utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromMachineLearnPai2%7Edefault-2.control&dist_request_id=1332036.7..

2021-04-25 09:52:57 72

原创解决配置linux环境每次重新连接都需要bash ~/.bashrc的问题

解决办法就是vim ~/.bash_profile输入if test -f .bashrc ; thensource .bashrc fi保存退出即可————————————————版权声明：本文为CSDN博主「满天星._」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。原文链接：https://blog.csdn.net/qq_32146369/article/details/113619813...

2021-04-15 16:06:51 365

原创 Linux新建用户并授予管理员权限并ssh登陆home/新用户名

su输入root密码，切换为root用户假如新建test用户root下输入命令：>>useradd -s /bin/bash -d /home/test>>passwd test按照提示输入密码123>>cd 到home目录>>mkdir test>>chown test /home/test>>chmod 777 /home/test新建完成。可以建立ssh连接，用户名：test，密码：12.

2021-04-13 16:22:27 643

原创服务器ssh某些依赖被误删之后重装遇到问题及解决

服务器ssh某些依赖被误删之后重装遇到问题及解决起因是ssh连接不上了于是去给服务器接上显示屏，查看服务器发现服务器卡在rc.local文件上。报错：…rc.local… unexpecting ‘do’ (expecting ‘fi’)经过一番探索alt+f2 切换到本地终端tt2登录个人账号查看rc.local，将其全部注释掉重启服务器仍然不能顺利进入图形界面。后来得知ssh不小心被误删了，推测是因为rc.local里仍有ssh相关启动项导致错误于是直接在本地终端tt2登录个人账户重装

2021-03-19 15:09:46 798

原创小白首次打CTF，思路详解记录

引言小编第一次接触CTF，有点儿刺激啊/捂脸一脸懵逼的那种刺激，但是在好心人的帮助下终于完美解决了三个问题！正文题一：访问http://124.16.71.227:40000/1/，看到题目“找flag”，用brup查看报文可以看到cookie项包含FLAG信息：=ZmxhZ3tjb29raWVzLWNvbnRhaW4taW5mb30%3D这是一串base64编码的加密信息，先用u...

2019-10-11 15:30:31 1746

原创 python实现LU分解

引言这是小编第二篇文章啦！其实纠结了很久作者该用什么自称比较好，于是度娘了一番，发现还真是有些讲究。小编或笔者是最常用的了吧。emmm纠结了一番（其实没纠结）还是自称小编吧，自称笔者感觉很客观很严肃，这里还是活泼一点阿哈哈哈～好，进入正题。正文因为矩阵分析的老师要求我们用程序实现LU分解，于是小编认真研究了一下LU分解的步骤，因为涉及矩阵运算，首先想到了用python的numpy实现。然后小...

2019-10-09 23:17:45 4260

原创【读书笔记】解析深度学习：CNN原理与视觉实践

【读书笔记】解析深度学习：CNN原理与视觉实践0 作者要说的话1 数据扩充1.1 简单方式1.2 特殊方式1.2.1 Fancy PCA1.2.2 监督式数据补充2 数据预处理3 网络参数初始化3.1 全零初始化3.2 随机初始化3.3 其他初始化方法4 激活函数5 目标函数5.1 分类任务的目标函数5.1.1 交叉熵损失函数5.1.2 合页损失函数5.1.3 坡道损失函数（截断合页损失函数）5....

2019-10-09 20:53:03 494

weixin_37990514的博客