- 博客(23)
- 资源 (3)
- 收藏
- 关注
原创 MongoDB可视化工具Compass的使用
这学期数据库项目作业小组打算做用于医学研究的工具,从老师那里拿到数据后发现关系型数据库很不适合进行存储访问等操作,打算使用非关系型数据库吧……经过组内选择,决定使用MongoDB来做啦。下面简要介绍一下MongoDB:MongoDB 是由C++语言编写的,是一个基于分布式文件存储的开源数据库系统。在高负载的情况下,添加更多的节点,可以保证服务器性能。MongoDB 旨在为WEB应用提供可扩展的高性...
2018-05-11 19:13:47 86159 18
原创 Selenium+BeautifulSoup爬取动态网页资源
解决方法:使用selenium模拟人工打开网页操作,等待渲染完毕后获取页面资源。解压后将exe文件放python安装目录下的Scripts文件夹里。在下载网址中下载和当前版本接近的驱动,下面两个网址均可。问题:该表格为后期渲染得到,源代码中没有table元素。目标:爬取华盛顿人口统计表格内容,并写入csv文件中。二、根据不同的浏览器安装相应的驱动。一、下载selenium。三、开始写脚本,具体如下。
2023-04-19 16:58:50 311
原创 nn.Parameter生成含Nan(日常记录)
训练模型的时候发现某一步的输出结果一下子一片都变成Nan了,经过排查发现是可训练参数生成时就有Nan,真是无语 = =。翻遍了全网,在一个老哥那里发现了同样的问题,文章链接如下。看来得换一个方法使用Parameter了。
2023-01-15 01:16:50 693
原创 Pytorch中lr_scheduler.ReduceLROnPlateau调整学习率
Pytorch中torch.optim.lr/_scheduler有很多可用于调整学习率的类笔者最近接触到ReduceLROnPlateau这个类,在此记录下该类的使用方法及作用,作为学习笔记。该类的源码如下:class ReduceLROnPlateau(object): """Reduce learning rate when a metric has stopped improving. Models often benefit from reducing the le.
2022-03-03 12:57:27 3988
原创 BERT下接连接层进行学习时分层设置学习率
对于已经声明好的模型 model ,获取其每层信息的方法:首先获取模型每层信息的的方法如下:for n,p in model.named_parameters() # n是每层的名称,p是每层的参数可以 print 出来看一看在笔者使用的模型中,Bert作为embedding层存在,其名称为‘embedding.xxxxx’对于embedding层,我是用已设置好的learning_rate = 3e-5那么接下来分组如下:optimizer_grouped_parameter
2022-02-24 16:33:23 3174
原创 parser.add_argument中action的作用
指定action='store_true'或者‘store_False’之后,在运行程序添加参数时直接输入变量名,可以省略对应的默认值True或者False
2021-11-18 15:41:56 570
原创 windows10下修改pycharm的默认终端为git bash
pycharm打开filetools-->terminal-->aplication settings--> shell path填写你的Git安装目录 找到\bin\sh.exe将此路径填写进去,记得加引号ok之后大功告成!打开teminal就可以快乐搬砖了!...
2021-11-18 15:38:22 489
原创 conda虚拟环境的使用
创建虚拟环境conda create -n env-name激活虚拟环境conda activate env-name退出虚拟环境conda deactivate env-name
2021-11-15 19:15:56 1411
原创 卸载cuda11.2(个人记录)
进入cuda-11-2 找到cuda-unistaller文件的话执行sudo ./cuda-uninstaller
2021-11-14 21:56:30 1529
原创 ubuntu查看cuda版本(个人笔记)
在安装pytorch等深度学习框架的时候我们通常需要查看电脑cuda的版本情况,这时可以用如下两种方法:1.在命令行输入下面命令,查看version.txt的内容 注意cat后面有空格cat /usr/local/cuda/version.txt2.还有一种可以查看GPU占用情况nvida-smi这种同时也可以查看当前GPU的版本情况...
2021-10-27 20:58:18 22400 3
原创 zip函数的使用(学习记录)
>>>a = [1,2,3]>>> b = [4,5,6]>>> c = [4,5,6,7,8]>>> zipped = zip(a,b) # 打包为元组的列表[(1, 4), (2, 5), (3, 6)]>>> zip(a,c) # 元素个数与最短的列表一致[(1, 4), (2, 5), (3, 6)]>>> zip(*zipped) ..
2021-09-28 22:45:41 144
转载 文件打开模式
个人纪录文件操作的基础模式有三种(默认的操作模式为r模式):r模式为read w模式为write a模式为append文件读写内容的格式有两种(默认的读写内容的模式为b模式):t模式为text b模式为bytesr: read,只读模式,只能读不能写,文件不存在时报错。w: 只能写,不能读,文件存在的时候回清空文件后再写入内容;文件不存在的时候会创建文件后写入内容。a: 可以追加。文件存在,则在文件的末端写入内容;文件不存在的时候会创建文件后写入内容。...
2021-09-17 16:20:14 495
原创 pytorch tensor与numpy转换
tensor to numpya = torch.ones(5)print(a)a = a.numpy() # 如果a已经被放到gpu上的话 : a.cpu().numpy()print(a)numpy to tensorimport numpy as npa = np.ones(5)b = torch.from_numpy(a)np.add(a, 1, out=a) # 转换后的tensor与numpy指向同一地址,a改变的时候b也会改变print(a)print(b)
2021-09-17 15:38:33 265
转载 .join()
Python join()方法描述将序列中的元素以指定的字符连接生成一个新的字符串。语法语法: ‘sep’.join(seq)参数说明:sep:分隔符。可以为空seq:要连接的元素序列、字符串、元组、字典返回值返回通过指定字符连接序列中元素后生成的新字符串。>>> a="abcd">>> ",".join(a)'a,b,c,d'>>> "|".join(['a','b','c'])'a|b|c'>&
2021-09-17 15:31:25 603
原创 机器学习笔记(不定时更新)
机器学习笔记pandas 函数pandas.get_dummies()对one-hot编码#以kaggle titanic 里面的片段为例features = ["Pclass", "Sex", "SibSp", "Parch"]X = pd.get_dummies(train_data[features])print(X)pandas.DataFrame() 可以用字典方式创建output = pd.DataFrame({'PassengerId': test_data.Passen
2021-02-03 22:24:33 142
原创 LeetCode 279 完全平方数
找完全平方数加和,哇赤裸裸的dp啊。第一遍超时了 = =这种状态迁移方程复杂度较高第二遍膜了一遍题解区的大佬们代码,涨知识辽,(vector原来可以这么用)。新的状态迁移方程dp[i+jj]=min(dp[i+jj],dp[i]+1),每次一个普通数加上一个完全平方数的话就可以降低复杂度。// 超时代码 = =class Solution { public: int n...
2019-10-27 19:56:25 260
原创 LeetCode207. Course Schedule课程表
LeetCode207. Course Schedule课程表原题链接Key: 非常淳朴的拓扑排序题意是:某些课程在修读之前需要完成其先修课程,给出所有课程之间的关系,判断是否能完成修读所有课程那么就是判断这个课程关系图是否是拓扑图,没什么特别的地方,只需要用个淳朴的拓扑排序即可。以前做过一道题意一毛一样的:HihoCoder-1174 以后兴趣的可以看一眼class Solution ...
2019-10-20 21:39:15 211
原创 114. Flatten Binary Tree to Linked List二叉树展开为链表
114 Flatten Binary Tree to Linked List 原题链接递归dfs搜索思想= = 题意是要就地开花,改那么一下,我个憨憨自己搞出了个新树,看了题解才知道,害。旧版代码 (没过)/** * Definition for a binary tree node. * struct TreeNode { * int val; * TreeNod...
2019-10-14 16:23:29 265
原创 LeetCode513. Find Bottom Left Tree Value找树左下角的值
513. Find Bottom Left Tree Value 原题链接关键词: 广度优先搜索(BFS)简单回忆一下BFS:BFS在遍历图时首先从源节点出发遍历其子节点,并将其放入队列中,继续依次对这些子节点进行上述操作。这道题属于找对路子很方便,没找对就很沙雕 = =。一开始我打算老老实实从左遍历的,但当我自己模拟一遍的时候我傻了,玛哎我还要记录每个值来自左右以及其高度伐?(当然这个来...
2019-10-13 19:57:06 196
原创 LeetCode109 Convert Sorted List to Binary Search Tree有序链表转二叉搜索树
109 Convert Sorted List to Binary Search Tree题目链接核心: 快慢指针快慢指针的使用方法可参考该博客:快慢指针法玩转链表算法面试本题方便在已经给出了排好序的链表,那么只需要逐个递归进行二分成树即可。一开始小李看到AVL tree时候第一想法是通过逐个插入构建AVL tree,无奈懒得将AVL tree的旋转写一遍(而且,调整平衡的时候需要考虑树的...
2019-10-12 12:09:34 200
原创 HihoCoder 1322 Tree or Not
啰啰嗦嗦写在前面的话: 这学期有算法分析与设计课,每周的作业是在Vjudge上刷相应的题目,为了方便以后回顾我就把代码搬到这里来了 。也希望能帮助其他刷题的朋友,代码不要完完全全复制粘贴(强调强调),重要的是看思路,不懂的大家可以一起交流!米娜桑,一起加油哇!翠花儿,上题!Given an undirected graph G which has N vertice and M ...
2018-10-18 16:49:53 376
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人