Python
Flying_sfeng
这个作者很懒,什么都没留下…
展开
-
基于用户的协同过滤算法原理分析及代码实现
我所采用的数据集:MovieLens数据集ml-100k。先进行原理分析,再讲代码实现。基于用户的协同过滤算法主要包括两个步骤:(1)找到和目标用户兴趣相似的用户集合;(2)找到这个集合中的用户喜欢的,且目标用户没有听说过的物品推荐给目标用户。步骤(1)的关键就是计算两个用户的兴趣相似度。给定用户u和用户v,令N(u)表示用户u曾经有过行为的物品集合,令N(v)表示用户v曾经有原创 2017-02-18 15:44:14 · 13346 阅读 · 5 评论 -
文档积累及常见bug解决方案
文档积累: 1)Pycharm 远程调试的配置文档: pycharm远程调试配置 pycharm远程调试配置 根据以上两个文档配置完成后,本地修改后只需要ctrl+s,服务器端就能同步修改了。常见Bug解决方案: 1)关于Pycharm 远程调试配置,我在配置过程中出现了一个问题:No files or folders found to process。 原因是服务器端的配置路径没...原创 2018-06-09 10:05:43 · 3440 阅读 · 0 评论 -
使用Scrapy框架爬虫实例
给大家安利一篇文章:小白进阶之Scrapy第一篇 这篇文章一步步讲如何使用Scrapy框架进行网页爬虫,简直是初学者的福音。 我接下来的内容也是按照他的思路写的,写这篇文章的目的是为了整理一下思路,把一些关键点列出来,大家想详细阅读的直接看上面推荐的文章就行了。如果你看完原文还不太理解,就来看我的总结吧。当然,我在文章的最后也会提供完整的代码,有需要的朋友请自行下载。 使用Scrapy框架之前...原创 2018-05-06 14:26:58 · 1640 阅读 · 0 评论 -
python文件操作总结
本文总结一下最近用到的一些文件及文件夹操作。 (1)获取文件夹里的所有文件名(os.listdir()):import ospath = XXX #你自己的文件夹路径filenames = os.listdir(path)(2)获取当前工作路径(os.getcwd()):file_path = os.path.join(os.getcwd(), filename) #o...原创 2018-05-10 10:03:46 · 519 阅读 · 0 评论 -
python中Hadamard product和matrix product的区分
大年初一还在写博客,我对科研一定是真爱。。 自嘲一波,开始正题。最近在看LSTM源码的时候,发现了一个奇怪的现象,具体如下: 先放上LSTM的原理图 我们知道,图片中粉红色的乘法表示的是Hadamard product,但是我在阅读源码的时候,发现使用的是∗∗*, 而我对∗∗*的理解一直是matrix product. 陷入泥潭,后来通过阅读python官方文档才发现是怎么回事。 先简...原创 2018-02-16 16:55:32 · 7340 阅读 · 0 评论 -
数据处理神器Pandas的相关函数
最近参加比赛,需要处理各种各样的数据。不得不说,pandas给我带来了很大的方便。困于一直没整理,每一次用到都要查官方文档。现在打算慢慢把用到的函数记录下来,积少成多。(1)df.value_counts():统计具体某一列相同值的个数for example:有下面一个表,这个表有300万行,这里只截取一部分举例。我想统计item_id这一列中每一个相同id的个数代码如下:i...原创 2017-07-15 16:10:37 · 5871 阅读 · 0 评论 -
数据挖掘入门指南:以kaggle:titanic为例
一般的数据挖掘竞赛或者项目包括以下步骤:(1)数据预处理和特征工程(2)构造模型(3)模型融合这篇博客将以kaggle上的titanic题目作为例子,具体讲一讲各个步骤的操作过程。数据集可自行到 kaggle:titanic 下 载。PS:对于titanic这道题,个人觉得重点不是在于把成绩提高到多少,因为样本实在太少了,所以我们应该把关注点放在学习如何分析数据,以及构建模原创 2017-08-30 21:54:34 · 2864 阅读 · 8 评论 -
python:二维字典的键值合并等函数
这篇文章主要讲python中关于字典的一些具体操作,讲解的问题都是本人在实际编程中所遇到的问题,读者可以根据自己所遇到的问题具体问题具体分析。(1) 二维字典的键值合并:先提供一个应用场景:假设我有两个二维字典: room1 = {orderid1:{roomid1:pred1,roomid2:pred2},orderid2:{roomid3:pred3,roomid4:pred4}}...原创 2017-05-31 21:00:56 · 7327 阅读 · 0 评论 -
Python的numpy库中将矩阵转换为列表等函数
这篇文章主要介绍Python的numpy库中的一些函数,做备份,以便查找。(1)将矩阵转换为列表的函数:numpy.matrix.tolist()(2)将数组转换为列表的函数:numpy.ndarray.tolist()(3)numpy.mean()计算矩阵或数组的均值:(4)numpy.std()计算矩阵或数组的标准差:(5)numpy.newaxis为数组增加一个维度:原创 2017-03-26 20:17:50 · 39817 阅读 · 3 评论 -
Python中将变量按行写入txt文本中
先看一个简单的例子:将变量写入txt文本中f = open('E:/test.txt','w')f.write('hello world!')Out[3]: 12f.close()结果如图:那么如何将变量按行写入呢?在'w'写入模式下,当我们下次写入变量时,会覆盖原本txt文件的内容,这肯定不是我们想要的。TXT有一个追加模式'a',可以实现多次写入:f =原创 2017-07-12 13:56:52 · 185401 阅读 · 4 评论 -
基于物品的协同过滤算法itemCF原理及python代码实现
文章是基于物品的协同过滤算法itemCF原理及python代码实现,其中的文件包含MovieLens数据集中的ml-100k数据集,开发环境是Python2.7.代码是我按照《推荐系统实践》里面的公式写的完整程序,并添加了中文注释。原创 2017-02-21 13:48:36 · 13853 阅读 · 5 评论 -
Python安装gif库:cannot import name 'readGif'解决方法
本人安装完images2gif库要 import image2gif 时,出现了以下问题:可以看到,在import readGif 时出错了,出错原因是images2gif是支持Python2.X版本的,而我的是Python3.5版本,所以出现不兼容情况。解决方法:在错误提醒的路径中(我的是: "D:\software_install\Anaconda_install\lib\site原创 2017-06-18 21:51:25 · 5107 阅读 · 3 评论 -
将TXT文件数据存进Python内置数据库splite3
当TXT文件太大,计算机内存不够时,我们可以选择按行读取TXT文件,并将其存储进Python内置轻量级splite数据库,这样可以加快数据的读取速度,当我们需要重复读取数据时,这样的速度加快所带来的时间节省是非常可观的,比如,当我们在训练数据时,要迭代10万次,即要从文件中读取10万次,即使每次只加快0.1秒,那么也能节省几个小时的时间了。#创建数据库并把txt文件的数据存进数据库impor原创 2017-04-26 08:16:46 · 3617 阅读 · 0 评论 -
Python网页静态爬虫
本文基于慕课网的视频教程,抓取百度百科中1000条词条页面信息。编程环境:Python3.5抓取网页信息包括以下几个部分:url管理器,下载器,解析器,输出器:(1) 读取要爬取的网页URL,可命名为root_url(2) 解析root_url网页中的内容,并将其中包含的其他url存进url管理器(3) 输入HTML文件,包含url,title,summa原创 2017-03-13 17:10:30 · 2914 阅读 · 0 评论 -
python中的二进制numpy文件的作用及安装教程
可以从二进制Numpy文件找到自己想要的版本下载,我选择的是numpy-1.11.2版本,下载完成后,在开始菜单输入cmd(或同时按window+R,输入cmd),enter后进入命令行;接着,在命令行进入你的numpy文件下载的路径,输入python setup.py install 便可进行安装,耐心等待即可。原创 2017-01-20 16:18:23 · 3349 阅读 · 0 评论 -
Python按指定列读取csv文件及写文件时的隔行问题
编程环境:Python3.5先讲一下如何读写csv文件:import csvcsvfile=open('train.csv','r') #Python3.5这里不要用rbreader=csv.reader(csvfile)train=[]for line in reader: train.append(line)csvfile.close()csvfile = ope原创 2017-02-28 14:56:42 · 13522 阅读 · 0 评论 -
pycharm 2018.3版本激活方法
1.下载破解补丁:https://gitee.com/pengzhile/jetbrains-agent ,并放到pycharm安装目录的\bin目录下(非必须,位置随意)2.在pycharm安装目录的\bin目录下找到 pycharm.exe.vmoptions 和 pycharm64.exe.vmoptions ,以文本格式打开并同时在两个文件最后追加 -javaagent:D:\your...原创 2018-11-22 14:15:47 · 17721 阅读 · 6 评论