python
文章平均质量分 92
野指针小李
这个作者很懒,什么都没留下…
展开
-
Pytorch学习笔记(9)——一文搞懂如何使用 torch 中的乘法
Pytorch 中矩阵乘法,包括点积与对位相乘调库的说明原创 2022-08-29 17:13:50 · 3897 阅读 · 0 评论 -
Pytorch学习笔记(8)——在序列标注等多维数据上如何使用交叉熵
对于多维数据 (例如 (batch_size, max_length, num_classes)) 等模型输出的数据,如何正确使用交叉熵获得损失原创 2022-08-09 21:50:18 · 1436 阅读 · 2 评论 -
Django 学习笔记(4)——一个 Django 项目的简单实现流程
本文从0开始实现一个简单的Django项目。涉及的东西都很简单,就是个流程化的逻辑思考过程,本文中也有许多技巧和技术没有提到,比如form表单等,主要是为了帮助初学者整理实现 Django 项目的流程。...原创 2022-07-25 20:01:14 · 1091 阅读 · 0 评论 -
Django 学习笔记(3)——用命令行创建 Django 项目和 APP
我相信有很多同学像我一样买不起 pycharm 的专业版[狗头],所以本文就介绍如何用命令行来创建 Django 项目和 APP。1. 创建 Django 项目如果各位还没有安装 Django,那么就直接使用 pip install django 或者 conda install django 即可。(1) 首先打开 cmd 或者 anaconda prompt。 cmd 的打开方式为 win + r > 输入 cmd > 回车。(2) 创建你的 Django 项目的存放地址。(.原创 2022-05-09 16:56:29 · 4348 阅读 · 0 评论 -
Pytorch学习笔记(1)——手把手教你从0开始搭建个自己的神经网络
本文参考的是《动手学深度学习》(PyTorch版),链接在下面。由于照着网站上的代码敲一遍自己印象也不是很深刻,所以我整理了该书本中的内容,整理了自己的思路梳理了一遍。希望该文章能够对初学者的你来说有所帮助。同时由于我也是第一次用torch写代码,可能会有许多疏漏,如果有错误,希望各位能够指正。目录0 代码目的1 数据集创建2 神经网络搭建流程3 从0搭建一个线性回归神经网络3.1 参数定义3.2 模块定义3.2.1 神经网络构建3.2.2 损失函数定义3.2.3 优化器定义3.3 模型训练3.3.1.原创 2021-09-16 10:42:17 · 1231 阅读 · 0 评论 -
TensorFlow学习笔记(4)——TensorFlow实现GloVe
本文的代码来自于《TensorFlow自然语言处理》(Natural Language Processing with TensorFlow),作者是Thushan Ganegedara。对了宝贝儿们,卑微小李的公众号【野指针小李】已开通,期待与你一起探讨学术哟~摸摸大!目录0 前言1 数据集下载2 读取数据集3 创建词典4 生成GloVe的batch数据5 生成共现概率矩阵6 GloVe算法6.1 定义超参数6.2 定义输入与输出6.3 定义模型参数以及其他变量6.4 定义模型计算6.5 相似度计.原创 2021-07-08 11:10:19 · 758 阅读 · 2 评论 -
TensorFlow学习笔记(3)——TensorFlow实现Word2Vec
本文的代码来自于《TensorFlow自然语言处理》(Natural Language Processing with TensorFlow),作者是Thushan Ganegedara。对了宝贝儿们,卑微小李的公众号【野指针小李】已开通,期待与你一起探讨学术哟~摸摸大!目录0 前言1 数据集准备2 读取数据但不做预处理3 读取数据并做预处理4 创建词典5 定义Skip-gram的batch6 Skip-gram6.1 定义超参数6.2 定义输入与输出的占位符6.3 定义模型参数与其他变量6.4 定.原创 2021-06-18 15:31:25 · 994 阅读 · 3 评论 -
TensorFlow学习笔记(2)——TensorFlow实现MLP
本文的代码来自于《TensorFlow自然语言处理》(Natural Language Processing with TensorFlow),作者是Thushan Ganegedara。对了宝贝儿们,卑微小李的公众号【野指针小李】已开通,期待与你一起探讨学术哟~摸摸大!目录0 前言1 数据准备2 定义超参数与常量3 定义输入的占位符4 定义权重与偏置的参数5 定义不同作用域中不同参数的作用6 定义损失函数与优化器7 定义预测8 运行神经网络8.1 准确率计算8.2 循环epoch8.2.1 训练样.原创 2021-06-11 22:21:08 · 2243 阅读 · 3 评论 -
python的一些使用技巧与爬过的坑
本文主要列举了一些我在python使用过程中用的一些技巧与爬过的坑,后面如果有更多的内容会做相应的更新。宝贝儿们,卑微小李的公众号【野指针小李】已开通,期待与你一起探讨学术哟~摸摸大!目录1 dict的使用1.1 dict的删改查1.2 dict的键2 numpy2.1 array1 dict的使用python中的字典应该是许多朋友常用的一种数据结构,其数据结构如下:{key: value}这里主要列几个字典使用的技巧。1.1 dict的删改查其实对于dict的删改查都需要用到查询,比.原创 2021-01-26 16:34:05 · 289 阅读 · 2 评论 -
信息传播学习笔记(2)——SIS模型python代码实现(基于全局与基于节点)
本文是讲解python代码实现SIS模型,共有两部分代码:第一部分是传统的SIS模型,是获得全局感染者(I)和易感者(S)的比率。第二部分是基于节点的SIS模型,是获得每个节点的受感染率。对了宝贝儿们,卑微小李的公众号【野指针小李】已开通,期待与你一起探讨学术哟~摸摸大!目录1 传统SIS模型1.1 初始值设定1.2 微分方程1.2 微分方程调用与绘图1.3 结果展示1.4 完整代码2. 基于节点的SIS模型2.1 微分方程2.2 另一条曲线2.3 结果展示2.4 完整代码3 参考1 传统SI.原创 2020-11-23 20:51:08 · 5756 阅读 · 4 评论 -
情感分析学习笔记(6)——PolarityRank算法python代码实现
本文紧接上一篇理论文章《情感分析学习笔记(5)——PolarityRank算法原理讲解》,本文是代码实现。参考的是两篇论文(Fernández-Gavilanes et al., 2016; Cruz et al., 2011)以及PageRank算法(Page et al., 1998)由于找了一圈没有找到相关的代码,所以是我参考pagerank的实现过程以及论文自己手撸的代码,所以不一定保证效率与正确率,而且我测试也只用了positive的一条语句进行测试,没有测试过negative的和混合的,所.原创 2020-11-19 16:55:54 · 2648 阅读 · 5 评论 -
情感分析学习笔记(4)——PageRank原理与python代码实现
PageRank(Page et al., 1998)最开始做出来并非是用于情感分析的,只不过我最近看到一个无监督的情感分析算法名叫PolarityRank(Cruz et al. 2011),这是基于PageRank的思想做的,所以在动手做PolarityRank之前先把PageRank给制作了。本文不会过多的提起算法原理之类的内容,毕竟基本是搬运的其他大佬的文章,我会把参考链接放在文章中,本文主要讲解代码。目录1 简介2 算法原理2.1 基本公式2.2 排名泄露2.3 排名下沉2.4 排名上升3.原创 2020-11-11 22:22:54 · 1843 阅读 · 2 评论 -
概率论与数理统计学习笔记(3)——Pearson相关系数与Spearman相关系数
这是我在阅读论文《Creating emoji lexica from unsupervised sentiment analysis of their descriptions》看到的性能评价中的一部分,不得不说Q1就是Q1。本文主要是讲解下何为Pearson相关系数,Spearman相关系数,以及相应的代码实现。(代码是我根据公式自己封装的,所以:1. 性能肯定没有Tensorflow那些框架的性能好; 2. 有可能会有问题)目录1 Pearson相关系数1.1 协方差1.2 相关系数2 Spe.原创 2020-10-26 20:39:19 · 3431 阅读 · 0 评论 -
TensorFlow学习笔记(1)——标量、向量、矩阵、张量
从开始做NLP开始,不知道接触过这几个概念多少次,也不知道百度过多少次,每次都会选择性遗忘,所以这一次就写一份统一的笔记用作记录。在这里感谢我阔耐温柔贤惠大方美丽的同桌给我分享了一份她的笔记!在这篇文章中,我争取以一个计算机学生的视角来讲解该知识。作为一个非数学非物理的计算机科班出身再加上数二72分的辣鸡程序员来说,我最开始以为这一坨是很深奥,很复杂的内容,尤其是在你百度张量的时候,如果不加上“计算机”作为限定语,会是这样的:嗯,右下角是我。当时我还以为这是一个多么复杂,多么高深的问题,然后.原创 2020-10-15 21:19:24 · 2125 阅读 · 3 评论 -
情感分析学习笔记(2)——SO-PMI算法详解
整个项目是我借鉴了论文的内容一行代码一行代码敲的(除了.scel转为.txt),没有查阅github上面的开源项目等(就是说我自己封装了一个SO-PMI算法),说不定有漏洞或者思考不清晰的地方,如果发现了请麻烦指正。当然在进行计算的时候,我是采用的循环,并没有将数据矩阵化或者向量化(主要是还不清楚怎样矩阵化或者向量化),在运行效率上确实很差。这是我在3400条数据集上跑出来的效果,效果很烂,主要数据集太拉胯了。整个项目的代码除了数据集已开源到了github上,我会在文章后放上链接。该项目算是复现了少.原创 2020-10-12 17:50:09 · 12231 阅读 · 12 评论 -
神经网络学习笔记(5)——BP算法代码讲解
其实我很不愿意写这篇文章的,主要是我代码没跑通!没跑通!没跑通!对于我一个多月没敲过代码后敲的第一份代码来说打击感巨大。但是想了想之前两篇文章都说了国庆要写一篇……然后我的完美主义犯了……代码没跑通其实真不是我的原因,因为书上代码是错的……一方面是书上用python2写的,我是python3环境,第二方面是代码中的公式错了……这个代码我用了3天时间,推了整整3页草稿纸,又向师兄请教了两天,最后发现,好像代码真的错了……嗯……开始正文前我还是放出我公式推导的草稿纸……这是其中一页,然后原谅我计算机.原创 2020-10-08 15:55:07 · 1580 阅读 · 3 评论 -
python爬虫爬取华硕笔记本信息
之前一个朋友麻烦我帮他爬取一下华硕笔记本信息,最后存储为一个csv格式的文件,文件格式为"系列 型号"。本文为本人实现该爬虫的心路旅程。目录一、获取系列信息1. 爬虫可行性分析2. 网页分析2.1 html分析2.2 网站传入文件分析二、代码书写一、获取系列信息1. 爬虫可行性分析要爬取一个网页,首先要遵守robots协议,于是我们来看看华硕官网的robots协议:结合上我们要爬取的网址:https://www.asus.com.cn/support,发现不在robots协议中,这方面来分.原创 2020-08-10 09:52:00 · 660 阅读 · 0 评论 -
python自然语言处理实战核心技术与算法——基于PCFG的中文句法分析实战
在本书中这一篇章就写的略显单薄,不过作者也说明了,本书是NLP入门实践书籍,句法分析又属于NLP中较为高阶的问题,所以并没有深入讲解,我学习本书也是入门NLP,学习完本书后会学习《统计自然语言处理》。由于本章实战内容很少,而且也没有特别晦涩的代码,所以在本文中更多的是讲解windows配置等问题。目录一、JDK安装与配置二、PCFG文件下载三、代码四、总结五、参考一、JDK安装与配置因为stanford parser是基于统计概率句法分析的一个java实现,所以需要安装JDK,JDK下载链接在这.原创 2020-08-06 14:53:57 · 3246 阅读 · 1 评论 -
python自然语言处理实战核心技术与算法——命名实体识别实战一:日期识别代码详解(二)
这里是《python自然语言处理实战核心技术与算法》——命名实体识别实战一:日期识别的第二部分,上一部分的文章链接点击这里。目录一、parse_datetime(msg)1. try2. except二、预定义模板三、year2dig(year)四、cn2dig(src)五、总结六、总体代码与结果展示七、参考一、parse_datetime(msg)def parse_datetime(msg): """ 将每个提取到的文本日期串进行时间转换 实现方式: .原创 2020-07-21 10:38:41 · 1837 阅读 · 0 评论 -
python自然语言处理实战核心技术与算法——命名实体识别实战一:日期识别代码详解(一)
由于之前发布了HMM模型的详细代码讲解,但是一万二千字的内容大家看着也头皮发麻,所以在写这个日期识别的时候我分为几篇文章进行讲解,这样就能用更多的图例来描绘代码的运转过程,也能方便大家更好的阅读。目录零、命名实体识别(NER)一、说明二、time_extract(text)1. 代码流程2. 代码逻辑3. 优化问题3.1 代码优化3.2 规则优化三、check_time_valid(word)四、总结五、参考零、命名实体识别(NER)命名实体识别(Named Entities Recognitio.原创 2020-07-21 08:53:19 · 2428 阅读 · 2 评论 -
python自然语言处理实战核心技术与算法——HMM模型代码详解
本人初学NLP,当我看着书上这接近200行的代码看着有点头皮发麻,于是我读了接近一天基本把每行代码的含义给读的个七七八八,考虑到可能会有人和我一样有点迷茫,所以写下这篇文章与大家分享。一、HMM模型与Viterbi算法1. HMM模型HMM模型的核心是:从可观察的参数中确定该过程的隐含参数。在本例子中,可观察的参数是句子或者说每个字,隐含参数是每个字的标签。这里还要提到韩梅梅模型的两个假设:观测独立性假设:每个字的输出仅仅与当前字有关;即:当然,从概率论的公式也可以推导出,这些事件都.原创 2020-07-10 15:40:08 · 2491 阅读 · 2 评论 -
python自然语言处理实战核心技术与算法——双向最大匹配法
本人初学nlp,使用的是机械工业出版社的《python自然语言处理实战核心技术与算法》,学习到了双向最大匹配法,于是写下这篇文章记录一下整个代码的工作原理以及相应的理解。目录一、匹配切分二、算法代码及详谈1. 正向最大匹配法2. 逆向最大匹配法3.双向最大匹配法三、总体代码与结果四、改进方式五、参考一、匹配切分在中文分词技术中的匹配切分输入规则分词方式,这是一种机械分词的方式,我们通过机器词典中的单词与语句中的每个词语进行匹配,如果匹配成功则切分,如果匹配失败则不与切分。在匹配切分中,原则是“长.原创 2020-07-07 10:38:01 · 7197 阅读 · 0 评论