不爱读书丶Sisicca-CSDN博客

原创 pandas读取csv文件时间过长：改写文件为pickle格式再读取

参考资料：Tutorial on reading large datasets在kaggle举办的一场数据科学竞赛中，官方给出的训练集是一个尺寸为(101230332, 10)的csv格式文件，使用pandas.read_csv进行读取需要花费的时长为8分49秒；CPU times: user 8min 36s, sys: 11.3 s, total: 8min 48sWall time: 8min 49s而kaggle上一位数据科学家给出了一种解决方案，通过读取pickle或其他格式的文件来缩短

2020-12-01 17:13:40 1227

原创更换matplotlib的绘图风格：使用matplotlib.style

参考资料：matplotlib.style默认状况下，matplotlib使用的style参数为"default"，绘图风格如下：一张朴实的默认风格绘图，但我们可能觉得它比较得生硬，这时候就可以使用import matplotlib.style as stylestyle.use(Params)来更换风格，matplotlib.style.use()中括号支持的matplotlib库自带的参数有import matplotlib.pyplot as pltprint(plt.style.a

2020-12-01 16:49:55 1228

原创 Python不借助深度学习框架完成MNIST手写数字识别

这学期选修了一门《深度学习导论》，本来以为是门水课（指最后大作业蹭框架就能完成或者直接交个啥论文的那种），结果没想到最后要求不使用框架完成一个卷积神经网络的搭建与训练，要求训练限时七分钟，训练好后的分类器在MNIST训练测试集的识别率在97%以上。当然大部分代码老师都以MATLAB形式给出了，我自己照葫芦画瓢做了个python版本，仅供参考。# -*- coding:utf-8 -*-"""@author:UESTC_Sicca@file:V12-手写数字识别.py@time:2020/11/9

2020-11-11 15:15:23 1491 4

原创 Mysql必知必会1

#登陆#1.通过Mac OS的Navicat客户端，该软件为收费软件，但是已知网上有**版#2.通过Mac OS的终端$ cd usr/local/mysql/bin$ mysql -u -root本人使用的登录方式为安全模式，因为mysql -u -root -p的正常输入密码的方式总是报错，网上搜索到的较为可靠的解决方案如下：解决MySQL5.7在MAC下登录ERROR 1045 (28000): Access denied for user ‘root’@‘localhost’ (usin

2020-09-09 15:19:22 160

原创 Python报错：RecursionError: maximum recursion depth exceeded

RecursionError: maximum recursion depth exceeded超出递归上限，常见于使用pyinstaller打包文件后的报错，解决方法：找到与生成文件的文件名相同的spec后缀格式文件，并在编码行后添加如下两行，改变递归上限次数：import syssys.setrecursionlimit(1000000)保存后在终端运行pyinstaller -F filename.spec即可。...

2020-08-23 21:36:42 902

原创数据结构与算法（一）：用时间复杂度评价算法

参考书籍：《漫画算法》&1.时间复杂度实现一个相同的功能，不同的人会使用不同的算法、代码。那么，我们如何评定谁完成的更好呢？假如说有两个人参加同一场考试，得到了相同的分数，甲却只花了乙一半的时间就交卷了，直观上我们会认为，甲比乙厉害。算法也是这样，在实现同样的功能的前提下，某种算法运行的时间更短、占用的空间更小，我们就说这个算法更为优秀。但由于代码运行的开发环境不同，输入数据的大小不同...

2020-04-29 11:30:30 330

原创数学建模（五）：图与网络模型

&1.概论历史上第一篇图论论文，是欧拉提出著名的“哥尼斯堡七桥问题”，那个图就是这样的：图论中的图，实际上表达的是某些指定事物以及它们之间的联系。比如“七桥问题问题中”，四个点代表的就是普莱格尔河的两个岛以及河的两岸。我们先通过一些例子来感受一下网络优化问题。例1 最短路问题（SPP-shortest path problem)一名货柜车司机奉命在最短的时间内将一车货物从甲地运往乙...

2020-04-28 18:58:00 2986

原创数学建模（四）：将多阶段转化为单阶段的动态规划

&1.引言1）动态规划发展和研究内容动态规划是求解决策过程最优化的数学方法，它在经济管理、生产调度、工程技术和最优控制等方面得到了广泛的应用。它主要解决的是⎡以时间划分阶段的动态过程的优化问题⎦，但是将一些与时间无关的静态规划人为地引入时间因素，将其视为多阶段决策过程，再运用动态规划方法求解。我们举两个实例：例1 最短线路问题：给出一个线路网，连线上的数字表示两点之间的距离（或者是...

2020-04-25 17:11:47 1894

原创数学建模（三）：非线性规划问题

&1.非线性规划1.当一个规划问题的约束条件或者是目标函数中包含至少一个非线性函数，那么这种规划问题就是⎡非线性规划问题⎦。举个例子说明：设决策变量xi的意义为对第i个项目投资与否，则xi=1代表对这个项目投资，xi=0代表对这个项目不投资；可以得到对于投资金额来说，由于至少要对一个项目投资，并且总投资金额不能超过总资金A对于决策变量，它是一个只能二元取值的变量，所以有xi(1-...

2020-04-22 20:53:54 5949 1

原创 sklearn.metrics.make_scorer详解

从性能指标或损失函数中创建一个记分标准。这个函数封装了用于GridSearchCV和cross_val_score的评分函数，它接受一个评分函数，如accuracy_score、mean_squared_error、adjusted_rand_index或average_precision，并返回一个可调用的值，该值对学习器的输出进行评分。...

2020-04-22 09:23:53 10716 2

原创 sklearn.model_selection.cross_val_score详解

对于sklearn这个包，我们无需多言，假如尚未安装sklearn则在后台输入pip install sklearn即可解决，当然如果觉得安装速度过慢也可以使用国内镜像pip install -i https://pypi.tuna.tsinghua.edu.cn/simple sklearn这里选用的是个人感觉最全的清华镜像源。与sklearn.model_selection.cr...

2020-04-18 16:29:22 7169 2

原创数学建模（二）：从线性规划到整数规划

&1.概论1）定义：当一个规划问题中的变量至少有一个被限制为整数时，这个规划问题被称为⎡整数规划⎦，假如这个规划问题是一个⎡线性规划⎦，那这样的既是整数规划又是线性规划的问题我们把它称为⎡整数线性规划⎦。目前为我们流行的求解整数规划的方法，往往只适用于整数线性规划问题，尚未找到一种能够有效求解一切整数规划问题的方法。2）分类：我们按照变量是否被全部限制为整数来对整数规划进行划分，如果变...

2020-04-17 16:34:44 2492

原创数据科学（一）：从幸福感预测开启你的数据挖掘实战之旅

赛题来源：点这里配合Datawhale的《零基础入门数据挖掘》食用体验更佳。&1.导入函数工具包import pandas as pdimport numpy as np这两个包无需多言，data science的所有基本操作都要靠这两个包。其他的函数工具包我们在后面需要引用时再进行导入。&2.数据获取通过pandas包中的read_csv获取数据，我们对于pand...

2020-04-14 22:44:38 442

原创数学建模（一）：全面探索线性规划

&1.线性规划问题定义：在一组⎡线性⎦约束条件限制下，求一⎡线性⎦目标函数的最大值和最小值。线性规划问题的主要难点在于模型的建立，若想快速准确地建立模型，合理选取决策变量是关键。&2.线性规划的matlab形式Matlab规定的线性规划标准形式为可以通过在目标函数或约束不等式前添加负号来将非标准线性规划转化为标准线性规划形式。求解程序为[x,fval]=linprog(...

2020-04-14 10:29:08 691