python 工具包
文章平均质量分 92
mishidemudong
菜鸟上路,一颗红心,两手准备。
展开
-
jieba-基于TextRank关键词提取的实现
对每个句子进行分词和词性标注处理 过滤掉除指定词性外的其他单词,过滤掉出现在停用词表的单词,过滤掉长度小于2的单词 将剩下的单词中循环选择一个单词,将其与其后面4个单词分别组合成4条边。例如:[‘有’,‘媒体’, ‘曝光’,‘高圆圆’, ‘和’, ‘赵又廷’,‘现身’, ‘台北’, ‘桃园’,‘机场’,‘的’, ‘照片’]对于‘媒体‘这个单词,就有(‘媒体’, ‘曝光’)、(‘媒体’, ‘圆’)、(‘媒体’, ‘和’)、(‘媒体’, ‘赵又廷’)4条边,且每条边权值为1,当这条边在之后再次出现时,权值转载 2020-11-24 09:58:24 · 1018 阅读 · 0 评论 -
python sklearn包——混淆矩阵、分类报告等自动生成
preface:做着最近的任务,对数据处理,做些简单的提特征,用机器学习算法跑下程序得出结果,看看哪些特征的组合较好,这一系列流程必然要用到很多函数,故将自己常用函数记录上。应该说这些函数基本上都会用到,像是数据预处理,处理完了后特征提取、降维、训练预测、通过混淆矩阵看分类效果,得出报告。1.输入从数据集开始,提取特征转化为有标签的数据集,转为向量。拆分成训练集和测试集,这里不转载 2016-11-08 15:30:10 · 9725 阅读 · 0 评论 -
python sklearn包——cross validation笔记
preface:做实验少不了交叉验证,平时常用from sklearn.cross_validation import train_test_split,用train_test_split()函数将数据集分为训练集和测试集,但这样还不够。当需要调试参数的时候便要用到K-fold。scikit给我们提供了函数,我们只需要调用即可。sklearn包中cross validation的介绍:在这转载 2016-11-08 15:30:54 · 5403 阅读 · 0 评论 -
python sklearn包——grid search笔记
Preface:算法不够好,需要调试参数时必不可少。比如SVM的惩罚因子C,核函数kernel,gamma参数等,对于不同的数据使用不同的参数,结果效果可能差1-5个点,sklearn为我们提供专门调试参数的函数grid_search。在sklearn中以API的形式给出介绍。在离线包中函数较多,但常用为GridSearchCV()这个函数。1.GridSearchCV:转载 2016-11-08 15:36:01 · 1228 阅读 · 0 评论 -
使用Tkinter设计基于python的GUI交互
在数据分析的过程中,往往需要对所建立的模型进行可视化,并调整其中的某些参数。通常情况下,在Python中可以通过Matplotlib来进行绘制图像。然而该绘制过程是静态的,也就是每次调整完参数需要重新调用绘图语句进行绘图展示。我们的目标是结合GUI组件,实现对模型参数的交互式绘图。这样,可以在展示出的GUI界面中动态的调整模型的参数,并绘制图像。最终的实现效果如下:原创 2016-11-11 17:49:44 · 7990 阅读 · 0 评论 -
python使用matplotlib绘图详解
matplotlib是python最著名的绘图库,它提供了一整套和matlab相似的命令API,十分适合交互式地进行制图。而且也可以方便地将它作为绘图控件,嵌入GUI应用程序中。它的文档相当完备,并且Gallery页面中有上百幅缩略图,打开之后都有源程序。因此如果你需要绘制某种类型的图,只需要在这个页面中浏览/复制/粘贴一下,基本上都能搞定。 这篇我们用matplotlib从构造最转载 2016-11-11 17:54:46 · 954 阅读 · 0 评论 -
Python中的打开文件对话框(转)
1、最早学习Tkinter的时候,在《Tkinter编程代码实例》中看到的“打开文件对话框”需要用到FileDialog模块,代码非常简单: from Tkinter import *from FileDialog import * root = Tk() fd = LoadFileDialog(root) # 创建打开文件对话框转载 2016-11-14 14:48:43 · 2424 阅读 · 0 评论 -
pyinstaller打包生成软件运行时出现缺少模块cython_blas的错误(总结就是缺少依赖文件pyd,注意命名规则)
问题描述:Traceback (most recent call last): File "", line 22, in File "d:\anaconda\lib\site-packages\PyInstaller-3.0-py2.7.egg\PyInstaller\loader\pyimod03_importers.py", line 363, in load_mod转载 2016-11-17 17:28:13 · 9013 阅读 · 0 评论 -
Tkinter教程之Checkbutton篇
#Tkinter教程之Checkbutton篇#Checkbutton又称为多选按钮,可以表示两种状态:On和Off,可以设置回调函数,每当点击此按钮时回调函数被调用'''1.一个简单的Checkbutton例子'''#创建一个Checkbutton,显示文本为"python"from Tkinter import *root = Tk()Checkbutton(root,转载 2016-11-15 01:48:51 · 2913 阅读 · 0 评论 -
Python -- Gui编程 -- Tkinter的使用 -- 对话框消息框
1.消息框tkMessageBox.py 1 import tkinter 2 from tkinter import messagebox 3 4 def cmd(): 5 global n 6 global buttontext 7 n += 1 8 if n==1: 9 messagebox.askokca转载 2016-11-15 02:37:32 · 8455 阅读 · 0 评论 -
Python Tkinter Grid布局管理器入门
Grid(网格)布局管理器会将控件放置到一个二维的表格里。主控件被分割成一系列的行和列,表格中的每个单元(cell)都可以放置一个控件。什么时候使用Grid管理器grid管理器是Tkinter里面最灵活的几何管理布局器。如果你不确定什么情况下从三种布局管理中选择,你至少要保证自己会使用grid。当你设计对话框的时候,grid布局管理器是一个非常方便的工具。如果你之前使用转载 2016-11-15 02:41:53 · 826 阅读 · 0 评论 -
pyinstaller打包工具的使用说明
打包命令pyinstaller可以将python代码打包为可执行的exe文件,一般应用只需要使用如下命令:C:\Python27\python.exe C:\pyinstaller-2.0\pyinstaller.py src\wgClient.py执行该命令后将在当前目录下生成build和dist文件夹,另外还会生成一个wgClient.spec文转载 2016-11-18 09:13:48 · 22627 阅读 · 2 评论 -
解决unicodedecodeerror ascii codec can’t decode byte 0xd7 in position 9 ordinal not in range(128)
UnicodeDecodeError: 'ascii' codec can't decode byte 0xd7 in position 9: ordinal not in range(128)解决方法:修改mimetypes.py文件,路径位于python的安装路径下的Lib\mimetypes.py文件。在import下添加如下几行:if sys.getdefaultenc转载 2016-11-18 18:07:25 · 1277 阅读 · 0 评论 -
pyWavelet 小波工具箱的使用笔记
1 介绍本文档的内容参考了pyWavelet 0.1.6的User Guide和ver. 0.2.0的网上例子,主要是把我目前所需要的内容进行了翻译和整理得到的。 主要包含了1D、2D的分解与重构方法,和稳态小波分解重构等内容。 小波包的部分没有翻译,日后有需要的话可能增加。下载地址:http://www.pybytes.com/pywavelets 安装:转载 2016-12-01 17:39:53 · 17293 阅读 · 1 评论 -
Matplotlib Toolkits:三维绘图工具包matplotlib.mplot3d
Matplotlib mplot3d 工具包简介The mplot3d toolkit adds simple 3D plotting capabilities to matplotlib by supplying an axes object that can create a 2D projection of a 3D scene. The resulting graph will h转载 2016-12-14 17:51:44 · 1029 阅读 · 0 评论 -
使用sklearn做单机特征工程
目录1 特征工程是什么?2 数据预处理 2.1 无量纲化 2.1.1 标准化 2.1.2 区间缩放法 2.1.3 标准化与归一化的区别 2.2 对定量特征二值化 2.3 对定性特征哑编码 2.4 缺失值计算 2.5 数据变换 2.6 回顾3 特征选择 3.1 Filter 3.1.1 方差选择法转载 2016-11-21 17:08:16 · 516 阅读 · 0 评论 -
使用sklearn优雅地进行数据挖掘
目录1 使用sklearn进行数据挖掘 1.1 数据挖掘的步骤 1.2 数据初貌 1.3 关键技术2 并行处理 2.1 整体并行处理 2.2 部分并行处理3 流水线处理4 自动化调参5 持久化6 回顾7 总结8 参考资料1 使用sklearn进行数据挖掘1.1 数据挖掘的步骤 数据挖掘通常包括数据采集,转载 2016-11-21 17:10:45 · 479 阅读 · 0 评论 -
Tkinter的下拉列表Combobox
tk中下拉列表使用ttk.Combobox,代码如下:#!/usr/bin/env python# -*- coding: utf-8 -*-import tkinter as tkfrom tkinter import ttkwin = tk.Tk()win.title("Python GUI") # 添加标题ttk.Label(win, text="Chooes转载 2016-11-22 16:12:09 · 43370 阅读 · 4 评论 -
matplotlib学习笔记--Legend
legend 显示图例1 legend基础函数原型 legend(*args, **kwargs) 当len(args) == 2 args 是[artist]和[label]的集合当len(args) == 0 args会自动调用get_legend_handles_labels()生成 等价于转载 2016-12-06 17:53:56 · 1435 阅读 · 0 评论 -
numpy 的一些数组操作方法
numpy 的一些数组操作方法import numpy as np1、random用法:产生伪随机数 样例: np.random.seed(0) //产生以0为种子的伪随机数生成器 order_arr = np.random.permutation(100) //返回100个伪随机数,返回值是一个array2、mgrid用法:返回多维结构,常见的原创 2016-12-15 16:50:13 · 656 阅读 · 0 评论 -
#######用python做数据分析4|pandas库介绍之DataFrame基本操作#######
用python做数据分析4|pandas库介绍之DataFrame基本操作怎样删除list中空字符?最简单的方法:new_list = [ x for x in li if x != '' ]这一部分主要学习pandas中基于前面两种数据结构的基本操作。设有DataFrame结果的数据a如下所示: a b cone 4 1 1tw转载 2016-12-15 17:22:01 · 6558 阅读 · 1 评论 -
利用Python进行数据分析 pandas基础: 处理缺失数据
数据不完整在数据分析的过程中很常见。pandas使用浮点值NaN表示浮点和非浮点数组里的缺失数据。pandas使用isnull()和notnull()函数来判断缺失情况。对于缺失数据一般处理方法为滤掉或者填充。滤除缺失数据 对于一个Series,dropna()函数返回一个包含非空数据和索引值的Series,例如:转载 2016-12-15 17:48:32 · 10193 阅读 · 0 评论 -
eval(expression, globals=None, locals=None)动态语言的特性(很棒)
本函数是用来动态地执行一个表达式的字符串,或者compile函数编译出来的代码对象。参数expression是一个表达式字符串,或者表示编译出来代码对象的名称;参数globals是全局命名空间,可以指定执行表达式时的全局作用域的范围,比如指定某些模块可以使用。如果本参数缺省,就使用当前调用这个函数的当前全局命名空间;参数locals是局部作用域命名空间,是用来指定执行表达式时访问的局部命名空间。如转载 2016-12-22 14:52:02 · 441 阅读 · 0 评论 -
button组件一个按钮实现两个或多个回调函数调用
button(.....,command=lambda:functiona();functionb())原创 2016-12-22 15:50:04 · 9160 阅读 · 6 评论 -
用Python进行梯度提升算法的参数调整
引言或许之前你都是把梯度提升算法(Gradient Boosting Model)作为一个“黑箱”来用,那么现在我们就要把这个黑箱打开来看,里面到底装着什么玩意儿。提升算法(Boosting)在处理偏差-方差权衡的问题上表现优越,和装袋算法(Bagging)仅仅注重控制方差不同,提升算法在控制偏差和方差的问题上往往更加有效。在这里,我们提供一个对梯度提升算法的透彻理解,希望他能让你在处转载 2016-12-22 16:15:18 · 3767 阅读 · 1 评论 -
Pipeline和Gridsearch并行化调参简介
本例构建一个管道来进行降维和预测的工作:先降维,接着通过支持向量分类器进行预测.本例将演示与在网格搜索过程进行单变量特征选择相比,怎样使用GrideSearchCV和管道来优化单一的CV跑无监督的PCA降维与NMF降维不同类别评估器。(原文:This example constructs a pipeline that does dimensionality reduction followe转载 2016-12-27 13:36:56 · 3778 阅读 · 0 评论 -
python调用matlab的m自定义函数
项目信号处理和提取部分用到了matlab,需要应用到工程中方便研究。用具有万能粘合剂之称的“Python”。具体方法如下:1.python中安装mlab 下载https://pypi.python.org/pypi/mlab安装命令:python setup.py installMlab is a high-level python to Matlab br转载 2017-01-04 17:41:35 · 4569 阅读 · 1 评论 -
使用spark ml pipeline进行机器学习
一、关于spark ml pipeline与机器学习一个典型的机器学习构建包含若干个过程1、源数据ETL2、数据预处理3、特征选取4、模型训练与验证以上四个步骤可以抽象为一个包括多个步骤的流水线式工作,从数据收集开始至输出我们需要的最终结果。因此,对以上多个步骤、进行抽象建模,简化为流水线式工作流程则存在着可行性,对利用spark进行机器学习的用户来转载 2016-12-28 10:41:18 · 2116 阅读 · 0 评论 -
Spark 实战,第 3 部分: 使用 Spark SQL 对结构化数据进行统计分析
引言在很多领域,如电信,金融等,每天都会产生大量的结构化数据,当数据量不断变大,传统的数据存储 (DBMS) 和计算方式 (单机程序) 已经不能满足企业对数据存储,统计分析以及知识挖掘的需要。在过去的数年里,传统的软件开发和维护人员已经积累了大量的基于 DBMS 的操作数据知识和经验,他们已经习惯了通过编写 SQL 语句来对数据记录进行统计分析。于是大数据工程师们开始探索如何使用类 SQL转载 2016-12-28 11:18:16 · 5285 阅读 · 1 评论 -
Linux系统下深度学习框架Keras的搭建
关于计算机的硬件配置说明推荐配置如果您是高校学生或者高级研究人员,并且实验室或者个人资金充沛,建议您采用如下配置:主板:X99型号或Z170型号CPU: i7-5830K或i7-6700K 及其以上高级型号内存:品牌内存,总容量32G以上,根据主板组成4通道或8通道SSD: 品牌固态硬盘,容量256G以上显卡:NVIDIA GTX 1080、NVIDIA GTX TITAN转载 2017-01-05 14:27:21 · 7522 阅读 · 3 评论 -
深度学习框架Keras的安装
深度学习框架Keras的安装Keras是Python语言中基于原始深度学习框架Tensorflow或Theano的封装框架。那么如果准备使用Keras首先必须准备安装Tensorflow或TheanoKeras中文文档地址0. CPU运行版本的安装如果需要直接安装(即使用CPU实现程序运算),仅仅需要在安装好的Python环境下,在终端或者或命令行下,输入:转载 2017-01-05 14:34:24 · 769 阅读 · 0 评论 -
深度学习框架Keras使用心得
最近几个月为了写小论文,题目是关于用深度学习做人脸检索的,所以需要选择一款合适的深度学习框架,caffe我学完以后感觉使用不是很方便,之后有人向我推荐了Keras,其简单的风格吸引了我,之后的四个月我都一直在使用Keras框架,由于我用的时候,tensorflow的相关教程还不是很多,所以后端我使用theano。这次的心得主要分成两篇,第一篇是聊聊开始使用keras容易遇到的坑,第二篇会在我论文发转载 2017-01-06 11:35:01 · 14425 阅读 · 5 评论 -
Keras/Python深度学习中的网格搜索超参数调优(附源码)
超参数优化是深度学习中的重要组成部分。其原因在于,神经网络是公认的难以配置,而又有很多参数需要设置。最重要的是,个别模型的训练非常缓慢。在这篇文章中,你会了解到如何使用scikit-learn python机器学习库中的网格搜索功能调整Keras深度学习模型中的超参数。阅读本文后,你就会了解:如何包装Keras模型以便在scikit-learn中使用,以及如何使用网格搜索。如何网格转载 2017-01-06 11:40:37 · 1854 阅读 · 0 评论 -
神经网络的Dropout正则化
dropout技术是神经网络和深度学习模型的一种简单而有效的正则化方式。本文将向你介绍dropout正则化技术,并且教你如何在Keras中用Python将其应用于你的模型。读完本文之后,你将了解:dropout正则化的原理如何在输入层使用dropout如何在隐藏层使用dropout如何针对具体问题对dropout调优神经网络的Dropout正则化Dropout是Srivas转载 2017-01-06 14:59:45 · 10240 阅读 · 1 评论 -
python+Tkinter+多线程 简单例子1
界面和多线程一向是编程里比较难的地方,常见的做法一般是界面一个线程,后台新开一个工作线程,这两个线程进行通信,这样可以让界面不至于为响应。在python中可以利用队列完成整体的架构设计。直接给大家看代码吧,一个简单实例,非常好地例子。[python] view plain copyimport Tkinter,time,threading,r转载 2016-12-29 16:03:39 · 6301 阅读 · 2 评论 -
ubuntu14.04 安装 tensorflow(附一系列报错方案)
如果内容侵权的话,联系我,我会立马删了的~因为参考的太多了,如果一一联系再等回复,战线太长了~~蟹蟹给我贡献技术源泉的作者们~ 最近准备从理论和实验两个方面学习深度学习,所以,前面装好了Theano环境,后来知乎上看到这个回答,就调研了一下各个深度学习框架,我没有看源码,调研也不是很深入,仅仅是为了选择深度学习框架做的一个大概了解~1. 如何选择深度学习框架?参考资料如下: 1转载 2017-01-06 16:10:13 · 5892 阅读 · 0 评论 -
Python处理Thread的方式start, stop回收
Python的threading.Thread对象只能start一次,若想stop之后重新start只能重新生成一个对象,那就每需要就new一个,用完系统自己回收。原创 2016-12-30 18:03:46 · 15408 阅读 · 0 评论 -
串口调试工具(Python2.7+pyserial+Tkinter)(很好的Tkinter例子,代码层次结构等)
需要与串口设备进行通讯,那么一个调试工具是必须的。根据我自己的需要,写了个简易版本的串口调试工具:预览图:======================项目结构:COM--SerialHelper.pyUI--Adaptive.py--SerialTool.py--PyTkinter.pymain.py======================转载 2017-01-09 09:31:52 · 6991 阅读 · 6 评论 -
sklearn中roc_auc或是分类评估器的参数average 的解释
Read more in the User Guide.Parameters:y_true : array, shape = [n_samples] or [n_samples, n_classes]True binary labels in binary label indicators.y_score : array, shape = [翻译 2017-01-09 09:46:22 · 2171 阅读 · 0 评论 -
易用的深度学习框架Keras简介
致读者:本文写于keras开发初期,目前keras已经迭代到1.0版本,很多API都发生了较大的变化,所以本文的粘贴的一些代码可能已经过时,在我的github上有更新后的代码,读者需要的话可以看github上的代码:https://github.com/wepe/MachineLearning之前我一直在使用Theano,前面五篇Deeplearning相关的文章也是学习Theano的一些转载 2017-01-09 10:00:29 · 720 阅读 · 0 评论