- 博客(21)
- 收藏
- 关注
RSS订阅原创 Python在pandas中设置输出的Excel文件的列宽
file_path = '保存的文件路径'sheet_name = '数据在Excel的sheet名'with pd.ExcelWriter(file_path, engine='xlsxwriter') as writer: #数据传给Excel的writer result.to_excel(writer,index = False,sheet_name=sheet_name) #再从writer加载回该sheet worksheet = writer.sheets.
2022-04-13 11:29:10
9003
原创 数学十大思想
1、配方法：所谓配方，就是把一个解析式利用恒等变形的方法，把其中的某些项配成一个或几个多项式正整数次幂的和形式。通过配方解决数学问题的方法叫配方法。其中，用的最多的是配成完全平方式。配方法是数学中一种重要的恒等变形的方法，它的应用非常广泛，在因式分解、化简根式、解方程、证明等式和不等式、求函数的极值和解析式等方面都经常用到它。 2、因式分解法：因式分解，就是把一个多项式化成几个整式乘积的形式。因式分解是恒等变形的基础，它作为数学的一个有力工具、一种数学方法在代数、几何、三角函数等...
2021-10-27 17:49:28
571
原创 鬼谷子问题（庞孙猜数、甲乙猜数问题）Python代码实现
鬼谷子问题孙膑，庞涓都是鬼谷子的徒弟。一天鬼谷子出了这道题目：他从2到99中选出两个不同的整数，把积告诉孙，把和告诉庞。庞说：我虽然不能确定这两个数是什么，但是我肯定你也不知道这两个数是什么。孙说：我本来的确不知道，但是听你这么一说，我现在能够确定这两个数字了。庞说：既然你这么说，我现在也知道这两个数字是什么了。问这两个数字是什么？Python代码解法如下（庞涓等于甲，孙膑等于乙）：from itertools import chainn,m = 2,99prin
2021-08-27 15:22:24
1381
原创 Python计算霍普金斯统计量（Hopkins statistic）评估数据的聚类趋势（聚类可行性）
在数据上应用任何聚类算法前，一个重要问题是，即使数据不包含任何集群，聚类方法也会返回群集。换句话说，如果盲目地在数据集上应用聚类算法，它也会将数据划分为聚类，因为这是它应该执行的。因此，评估数据集是否包含有意义的聚类（即：非随机结构）非常重要。此过程被定义为聚类趋势的评估或聚类分析的可行性。而通常，与非随机结构相对的是均匀分布，霍普金斯统计量的计算原理，便是检查数据是否存在均匀的分布。而这里提供的，仅仅是对...
2021-03-16 18:52:20
5343
1
原创 解决anaconda安装库时一直卡在 “solving package specifications”
anaconda安装库时，为了解决环境冲突问题， 需要时间执行 "solving package specifications"，而有时这个过程会久到难以接受甚至最终失败。解决方式：使用anaconda的命令行：anaconda prompt通过执行：conda install -c conda-forge + 需安装的库名来安装。以安装tqdm库为例：conda install -c conda-forge tqdm...
2021-01-16 17:17:47
19062
4
原创 Keras搭建CNN：CIFAR-100数据集图像分类
CIFAR-100数据集：训练集：5万张100个类别的32*32尺寸的图片，每类均为500张。测试集：1万张同样100个类别的32*32尺寸的图片，每类均为100张。用Keras搭建CNN的一个简单实现，尝试在CIFAR-100数据集上做图像分类，准确率平均51%左右。通过多次训练做ensemble，效果有提升，ensemble 11个模型后准确率就到了60%左右。训练时间：一块1060显卡，单个模型训练5.5min。假如用CPU大概要20倍时间。（缩短时间而又不牺牲太多准确率的方法，就
2020-11-13 21:21:15
3990
2
原创 纯numpy手写KNN算法（速度较快）
经过优化，速度较快，性能瓶颈在于：训练数据跟预测数据求欧氏距离时，求两者之差的numpy矩阵运算部分，占用了大概70%的运行时间。代码如下，安装使用tqdm库可看到执行进度条，可不用。from tqdm import tqdmimport numpy as np#KNN ( X_test.shape: (n_samples,n_features) )def KNN_classifier(k, X_train, y_train, X_test) -> np.array: tra
2020-10-23 16:48:37
1024
原创 jupyter notebook中查看Python当前所有自定义的全局变量
将以下这段代码添加到代码中，可看到当前代码运行环境中所有自定义的变量名及其中的数据。有助于使用jupyter notebook这类IDE编程。def check_global_variable(): #global_variable是一个字典，存储了当前程序所有全局变量 global_variable = globals() for key,value in global_variable.items(): #一般不希望查看所有全局变量，因此按部分.
2020-10-22 16:38:05
3219
1
原创 Plotly 导出图片的方案
环境：Windows10，anaconda Python3.7，Plotly 4.9.0plotly通过离线模式下的以下代码：plotly.offline.plot(fig,filename = 'your_file_path.html')可直接生成HTML文件，但导出成图片需要两个步骤，在anaconda下可简单实现。步骤1：安装orca插件在anaconda的命令行环境Anaconda prompt中输入：conda install -c plotly plotly-orca
2020-09-25 15:32:09
6416
4
原创 Python selenium 去除driver控制台黑框的两种方法
多出现于用Pyinstaller打包时，希望隐藏driver控制台黑框的情况，解决方法如下：修改源码，源码文件路径如下：Lib \ site-packages \ selenium \ webdriver \ common \ services.py找到文件中start函数，具体代码如下：def start(self): """ Starts the Service. :Exceptions: - WebDriverException : Raised
2020-08-18 18:05:35
3241
6
原创 不用for循环将多个列表合并成单个列表的方法
想把多个列表连接起来可以用+的方式，于是也可以用sumList1 = [1,2,3]List2 = [4,5,6]merge_list = sum([List1,List2],[])merge_list >>>[1,2,3,4,5,6]用sum的好处是如果有大量列表需要合并，可以不用for循环，也不用重新定义空列表。Lists2merge = [[1,2] for _ in range(10)]Lists2merge >>>[[1, 2]
2020-06-03 15:22:27
1072
1
原创 Python使用HanLP：三步完成Windows下pyhanlp的安装与简单使用
仅供安装 HanLP1.x版本的用户参考，若要安装2.0版本的HanLP，额外需要2.x的TensorFlow等，不适用。pyhanlp 环境要求：平台：平台不限 ；Python版本：3.6以上 ；JDK版本：随pyhanlp版本变化环境：平台：win10 ；Python版本：3.7 ；JDK版本：安装前没有步骤一：安装pyhanlp通过 pip install pyhanlp 安装即可，若本地没有jpype1会自动安装。步骤二：下载Data数据包1...
2020-05-20 17:49:07
3100
原创 Python selenium Chrome正在受到自动软件的控制 disable-infobars无效 的解决方法
以前使用selenium控制Chrome时，当出现“Chrome 正在受到自动软件的控制”信息栏的情况，会增加"disable-infobars”这个ChromeOption去取消显示这个信息栏，但现在，“disable-infobars” 选项已被弃用，不再取消显示信息栏。当前Python的解决方法是利用add_experimental_option函数，传入一个名为“excl...
2020-01-06 15:13:47
6025
8
原创 从seq2seq到谷歌BERT，浅谈对Attention Mechanism的理解
将深度学习应用到NLP时，许多任务被转换为一个Sequence to Sequence的模型来解决，例如对话系统，机器翻译，文本自动摘要等。在seq2seq中，流行过基于RNN、LSTM及Transformer等的模型，而本文主要介绍Attention Mechanism（注意力机制）在一些模型中所起的作用。一、RNN Encoder-DecoderRNN Encoder-Decoder模...
2019-03-06 16:14:56
2929
转载 特征工程方法：类别变量编码（转）
特征工程方法：类别变量编码机器学习科学家Wojciech Rosinski介绍了类别编码的主要方法。介绍这是特征工程方法系列的第一篇。在机器学习的实践中，特征工程是最重要而定义最松散的方面之一。它可以被视为艺术，没有严格的规则，创造性是其关键。特征工程是要为机器学习模型创建更好的信息表示。即便使用非线性算法，如果使用原始数据，我们也无法建模数据集的变量之间的所有交互（关系）。因此，...
2018-12-05 00:32:01
9159
8
原创 tensorflow-gpu1.9.0 + win10 + python3.6 + CUDA9.0 + vs2017 部署指南
好像大家在windows上部署gpu版tensorflow都不太顺利，折腾了两个晚上，分享下自己的经验，希望对大家有所帮助。 有两点特别提一下：1、安装前先确认要安装的版本组合，Python是3.x的，tensorflow选择的版本是否支持你的Python版本，gpu版需要安装的CUDA又是否跟tensorflow对应，以及vs的版本也要注意，版本对应关系很重要...
2018-11-28 17:29:58
2458
原创 Python3获取历史天气数据
数据来源是历史天气网网址：http://lishi.tianqi.com/函数输入的是城市拼音，年份（可设置起始年份），输出的是Pandas里的dataframe数据类型，便于保存成excel或其他本地数据存储形式。 # -*- coding: utf-8 -*-"""Created on Sat Sep 15 11:20:40 2018@author: CSM"""...
2018-09-15 18:53:02
3038
5
原创 拉格朗日乘数法解等式条件极值问题（用于SVM求解超平面）
解决方法是消元法或者拉格朗日法。消元法比较简单不在赘述，这里主要讲拉格朗日法，因为后面提到的KKT条件是对拉格朗日乘子法的一种泛化。 例如给定椭球: 求这个椭球的内接长方体的最大体积。这个问题实际上就是条件极值问题，即在条件 下，求的最大值。 当然这个问题实际可以先根据条件消去 z (消元法)，然后带入转化为无条件极值问...
2018-09-08 02:16:14
3795
原创 scikit-learn 中英文网站
scikit-learn 中英文网站：http://sklearn.apachecn.org/ 中文网站：http://sklearn.apachecn.org/cn/0.19.0/
2018-09-07 15:32:30
749
转载 一条推荐的DS学习之路（for面试）
1 从 Python 基础开始：如果有个编程语言是用于 AI/ML 和数据科学的，那一定是 Python。对于身处计算机科学领域，已经从事一段时间编程工作的人来说，Python 是很容易上手的。对于研究领域或商业分析领域的从业人员来说，可能是个挑战。所有的数据操作、使用和建模都要用到 Python。Python 的使用环境应该是 Jupyter Notebook。Google Colaborat...
2018-04-19 15:48:11
1200
转载 关于Python中使用IPython时无法print输出的解决方法
在ipython中使用print无输出的状况，发现是使用了import sysreload(sys)sys.setdefaultencoding('utf-8')而引起。改成了这个import sysstdo = sys.stdoutreload(sys)sys.setdefaultencoding('utf-8')sys.stdout= stdo就能有输出了...
2018-04-09 15:42:01
8995
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人