python
Wisley.Wang
这个作者很懒,什么都没留下…
展开
-
pandas 将DataFrame 转为txt文本,用以预训练,去除引号问题
由于需要训练glove embedding,需要自己创建语料库用以训练,我是用pandas读取处理的,需要保存为.txt文件给模型训练。原本是传统的open(‘xxx.txt’,‘w’) 然后一条条语句写进去就可以了,但是pandas很好的网格特性,直接保存不是很省事,但是在保存的时候发现,原本的字符,会把引号也保存了,比如字符串 sddb 保存后为 “sddb” 显然不合理,这里一种解决办法:import csvdata[1].to_csv('excel2txt.txt', sep=' ', inde原创 2021-03-21 11:03:58 · 4866 阅读 · 0 评论 -
python安装pytorch,torch_geometric ,torch_scatter,“No module named” 版本问题
一般的安装问题是版本导致的,torch与python的版本要对应,如果你是py3.8 py3.9版本 ,可能会因为python版本过高而安装失败。这里建议的是python版本在3.6,3.7 ,torch的版本建议1.5.0~1.7.0我目前用的是py3.6 和torch1.51 ,版本不一定要最新的,满足自己功能就行。笔者一般喜欢用pip安装和管理包,这个是python自带的,安装时候会自动添加到系统的环境变量,如果没有自己手动添加环境变量就可以了,添加的地址在python安装的目录下的scrip原创 2020-12-12 15:01:29 · 6227 阅读 · 6 评论 -
2020中国高校计算机大赛·华为云大数据挑战赛-数据分析(二)
2020中国高校计算机大赛·华为云大数据挑战赛-数据分析(二)这里继续上次的分析,上一篇我们主要分析了数据的结构,现在我们着重看下数据的gps。一、行船轨迹这里我们话了几张相同trace的行船记录,看看他们的轨迹是否一致,为了和test保持一致,我画了出现在test里面的trace.上面的轨迹图可以看出,一些轨迹还是比较规整的,但是一部分轨迹是存在不一致的,有的船可能因为总总原因,并不是按原路线行驶,甚至会有提前登陆的情况,这种情况在test可能也会发生。为此 我们在看看test里面截断的路原创 2020-06-22 20:25:12 · 4121 阅读 · 17 评论 -
letcode:287. 寻找重复数:弗洛伊德的乌龟和兔子
**给定一个包含 n + 1 个整数的数组 nums,其数字都在 1 到 n 之间(包括 1 和 n),可知至少存在一个重复的整数。假设只有一个重复的整数,找出这个重复的数**其他解法就不说了,没什么,重点说下快慢指针乌龟和兔子这个的思想和证明,我第一次看到这种方法的时候,完全不知道为什么可以这样能找出答案。经过百度和几个小时的思考才想明白。针对这道题,由于值是1~ n 且有n+1个数,那...原创 2020-01-06 16:37:49 · 689 阅读 · 0 评论 -
本地查看远程服务器的tensorboard方法
首先你要用可以使用ssh的工具比如putty,xshell,termius 等,来连接到远程服务器,连接的命令:ssh -L 16006:127.0.0.1:6006 name@ip -p 22 # 你的用户名name和ip 有的服务器做了端口映射 所以-p后面添加你服务器的连接端口号,默认是22端口 输入上面的命令之后,服务器会要求你输入账户密码登入登入之后再终端输入:...原创 2020-01-03 20:43:46 · 4697 阅读 · 0 评论 -
python装饰器及warp的作用
很久以前就有看过装饰器的用法和功能,但是自己平时在编程的时候基本上很少用到这些高级的用法。今天看别人开源的efficientDet的源码时,很多地方用了装饰器,一时想不起来具体作用了,所以又百度学习了一波。现在以我个人理解总结下,以便日后忘记可以在复习下。首先装饰器是python一个很强大的功能,也是动态编程的一个特点。首先我们知道,在python中一个函数可以作为参数传给另外一个函数:...原创 2020-01-02 12:42:00 · 2111 阅读 · 0 评论 -
图像分割:FDDWNET:一种轻量级的分割网络
FDDWNET: A LIGHTWEIGHT CONVOLUTIONAL NEURAL NETWORK FOR REAL-TIME SEMANTIC SEGMENTATION发表时间:2019.11.07作者团队:南京有点大学论文连接:FDDWNET: A LIGHTWEIGHT CONVOLUTIONAL NEURAL NETWORK FOR REAL-TIME SEMANTIC SEGM...原创 2019-12-22 16:48:27 · 3175 阅读 · 1 评论 -
目标检测:一、YOLOV3: tf,keras版本 从0开始解读源码
从0开始入手目标检测YOLO V3算是我入手目标检测第一个学习的网络,里面很多概念比如anchor,也是看源码之后学到的,感兴趣的可以看看yolo系列从V1~V3,来了解下这个领域的一些问题和技术。当然,了解一个技术最好最快的方式就是阅读论文和看源码。原文:YOLOV3完整的代码见:YOLOV3-keras开始之前引入各个模块:"""YOLO_v3 Model Defined in K...原创 2019-12-22 14:35:37 · 898 阅读 · 0 评论 -
一、论文解读(推荐系统):DeepFM
dEEPFM 论文阅读 学习复杂的功能交互背后的用户行为是至关重要的对于最大化CTR推荐系统。现存的模型对于低阶或高阶的特征交互有很强的依赖,需要专家做大量的特征工程。在这篇文章中,我们表示同时注重低阶核高阶的特征交互的端到端的学习模型是可能的。DeepFM结合了因子分解机的推荐能力以及深度学习的特征学习能力,形成了一种新的神经网络结构,比较谷...原创 2019-12-16 14:23:59 · 638 阅读 · 0 评论 -
LeteCode:19. 删除链表的倒数第N个节点
给定一个链表,删除链表的倒数第 n 个节点,并且返回链表的头结点。示例:给定一个链表: 1->2->3->4->5, 和 n = 2.当删除了倒数第二个节点后,链表变为 1->2->3->5.说明:给定的 n 保证是有效的。进阶:你能尝试使用一趟扫描实现吗?来源:力扣(LeetCode)链接:https://leetcode-cn...原创 2019-12-15 20:51:05 · 264 阅读 · 0 评论 -
LeteCode:12. 整数转罗马数字
罗马数字包含以下七种字符: I, V, X, L,C,D 和 M。字符 数值I 1V 5X 10L 50C 100D 500M 1000例如, 罗马数字 2 写做 II ,即为两个并列的 1。12...原创 2019-12-09 18:17:30 · 146 阅读 · 0 评论 -
LeteCode刷题:416. 分割等和子集(中等难度)
给定一个只包含正整数的非空数组。是否可以将这个数组分割成两个子集,使得两个子集的元素和相等。注意:每个数组中的元素不会超过 100数组的大小不会超过 200示例 1:输入: [1, 5, 11, 5]输出: true解释: 数组可以分割成 [1, 5, 5] 和 [11].示例 2:输入: [1, 2, 3, 5]输出: false解释: 数组不能分割成两个元素...原创 2019-12-04 11:06:45 · 284 阅读 · 0 评论 -
LeteCode刷题:415. 字符串相加
给定两个字符串形式的非负整数 num1 和num2 ,计算它们的和。注意:num1 和num2 的长度都小于 5100.num1 和num2 都只包含数字 0-9.num1 和num2 都不包含任何前导零。你不能使用任何內建 BigInteger 库, 也不能直接将输入的字符串转换为整数形式。来源:力扣(LeetCode)链接:https://leetcode-cn.com/...原创 2019-12-02 15:37:29 · 134 阅读 · 0 评论 -
Letecode:258. 各位相加
Letecode:258. 各位相加给定一个非负整数 num,反复将各个位上的数字相加,直到结果为一位数。示例:输入: 38输出: 2解释: 各位相加的过程为:3 + 8 = 11, 1 + 1 = 2。 由于 2 是一位数,所以返回 2。进阶:你可以不使用循环或者递归,且在 O(1) 时间复杂度内解决这个问题吗?来源:力扣(LeetCode)链接:https://l...原创 2019-12-01 15:15:54 · 186 阅读 · 0 评论 -
Letcode刷题:67. 二进制求和(python)
给定两个二进制字符串,返回他们的和(用二进制表示)。输入为非空字符串且只包含数字 1 和 0。示例 1:输入: a = “11”, b = “1”输出: “100”示例 2:输入: a = “1010”, b = “1011”输出: “10101”来源:力扣(LeetCode)链接:https://leetcode-cn.com/problems/add-binary...原创 2019-12-01 12:58:26 · 270 阅读 · 0 评论 -
安装Tensorflow,以及配置环境
首先,在windows下的tensorflow仅支持3.5版本的,所以我们需要下载python3.5。由于我的电脑已经有了2.7所以导致使用PIP的时候有冲突,网上说是把python执行文件分别写出python2和我python3然后添加环境变量,用分号隔开。使用的时候形如 python2 -m pip2 install xxx python3 -m pip3 inst...原创 2018-08-27 00:37:37 · 391 阅读 · 0 评论 -
Tensorflow 第二章学习内容
前几天把Tensorflow 装好了,在虚拟环境中运行。同时用cmd安装了jupyter notebook对于jupyter notebook打开的初始目录更改,网上有很多,我试了更改配置文件的方法,但是并没用。只好先cd 到指定目录,在打开jupyter。接下来是第二章的学习内容,直接上代码,都有备注。Tensorflow任何操作要在OP下运行,就和绘画的画图一样,最后都要调用p...原创 2018-08-28 11:21:08 · 188 阅读 · 0 评论 -
Pip 系统无法将文件移到不同的磁盘驱动器,以及误删,错安装等问题
之前两个版本的python 导致环境变量混乱 包也安装的乱七八糟的,所以卸载了2.7版本的但是发现pip出现了问题,不上找不到就是无法访问,于是把3.5从新卸载了,发现pip还是没用,发现不到Model网上查了解决方法后总结如下,首先在你下载Python的目录下,确保pip已经安装了,在cmd中输入以下命令:python -m ensurepip之后更新Python的pip包输入...原创 2019-01-30 21:58:35 · 3317 阅读 · 2 评论 -
使用python对cifar10数据集的python读取
关是读取数据,对于小白来说就花了不少时间,来总结以下。首先你的数据从网上下的,一定要看清楚对于的是什么版,我就在这上面吃了大亏,之前是用的cifar10的模块,用的别人的包自动下载的,得到的是Bin文件,这个是二进制的文件,试用于c语言的,结果我用Python的pickle包Load半天老是出问题。数据集下载的网址是:http://www.cs.toronto.edu/~kriz/cifa...原创 2019-03-14 23:02:37 · 6315 阅读 · 1 评论 -
github上上传文件夹 终极经验总和!
一直想把学校的学习资料上传上去,这样就可以释放一些磁盘空间,也方便其他人学习下载,但是。。。。本人是个小白,只会网页上手动拖文件,但是如果是文件夹文件过多就不允许这样上传了!! 所以只好下载git,用命令行的形式上传。网上找了很多教程,但是总是各种坑各种问题,最后最后弄了将近两小时才弄好,现在把具体步骤记录下:首先下载git ,以及配置ssh 网上很多教程 我就不啰嗦了!自己看资料:h...原创 2019-04-03 11:50:39 · 683 阅读 · 0 评论 -
使用SimpleITK读取和保存Nii.gz文件
## using simpleITK to load and save data.import SimpleITK as sitkitk_img = sitk.ReadImage('./nifti.nii.gz')img = sitk.GetArrayFromImage(itk_img)print("img shape:",img.shape)## save out = sitk....翻译 2019-05-02 17:03:07 · 8351 阅读 · 0 评论 -
python中对list列表中的元素或者list类型的matrix进行操作
今天做了下leetcode上的题,是要对matrix进行操作,而这个matrix给的是list的类型不是numpy的array,所以要对List进行操作。形如[[1,0,0],[1,1,0],[0,0,0]]问题:现在我要对里面的元素都乘以5,但是如果我用for循环直接遍历的话会很耗时间,如果是个1000的矩阵就很浪费资源。而直接使用list*5这种操作,只是对list做了一个copy五...原创 2019-06-27 10:20:04 · 731 阅读 · 0 评论 -
Keras中用到的API总结
目录LSTMConvLSTM2D核初始化Kernel_initializerZerosOrthogonallecun_uniformhe_normallecun_normalhe_uniformLSTMkeras.layers.LSTM(units, activation='tanh', recurrent_activation='hard_...原创 2019-07-12 17:27:20 · 750 阅读 · 0 评论 -
GAN变体keras程序总结
话不多说,附上eriklindernoren/Keras-GAN一位GitHub群众eriklindernoren就发布了17种GAN的Keras实现,得到Keras亲爸爸François Chollet在Twitter上的热情推荐。这真的超级棒,对于我这种辣鸡,看一篇外文要好几天还看不到的人来说,有了这些代码,瞬间明白了文章的意思和做法了!现在将我看的代码总结下关键地方。1、...原创 2019-07-04 11:27:11 · 414 阅读 · 0 评论 -
Ubuntu下使用jupyter notebook ,python2python3共存问题
Ubuntu自动存在python3 和python2 所以如果要使用的话,最好pip install jupyternotebookpip3 install jupyternotebook 都安装一下jupyter notebook之后输入jupyter notebook打开jupyter发现python3安装的包用不了 即使是新建了一个python3...原创 2019-07-30 16:52:00 · 538 阅读 · 0 评论 -
jupyter和graphlab create 环境搭建分享
说实话,这个jupytet 和graphlab create 搞了我四五个晚上,网上所有方法都试过了 ,却总是安装失败,曾一度想放弃。不过现在总算好了,现在总结写,以为过程中没有记录 所以也是凭记忆来写。1、之前我是在graphlab create的官网上下载turi 来安装,以为我是window7 64位系统,安装也非常顺利,turi安装包会一并把ipython notebook以及py...原创 2018-08-03 21:00:05 · 491 阅读 · 0 评论