Python
文章平均质量分 53
banlucainiao
立身以力学为先,力学以读书为本。 —郑耕老《劝学》
展开
-
python在windows安装paramiko模块
python转载 2022-09-26 11:02:55 · 3235 阅读 · 0 评论 -
关于raw_input( )和sys.stdin.readline( )的区别
关于raw_input( )和sys.stdin.readline( )的区别 之前一直认为用raw_input( )和sys.stdin.readline( )来获取输入的效果完全相同,但是最近在写程序时有类似这样一段代码:import sysline = sys.stdin.readline()for i in range(len(line)): print转载 2017-08-28 15:57:26 · 672 阅读 · 0 评论 -
[python] 时间序列分析之ARIMA
1 时间序列与时间序列分析在生产和科学研究中,对某一个或者一组变量 x(t) 进行观察测量,将在一系列时刻 t1,t2,⋯,tn 所得到的离散数字组成的序列集合,称之为时间序列。 时间序列分析是根据系统观察得到的时间序列数据,通过曲线拟合和参数估计来建立数学模型的理论和方法。时间序列分析常用于国民宏观经济控制、市场潜力预测、气象预测、农作物害虫灾害预报等各个方面。2 时间序转载 2017-09-15 10:45:32 · 2909 阅读 · 0 评论 -
python的标准输入输出
1. python2.7的标准输入输出n = eval(raw_input())total_list = list()for i in range(n): a,b = raw_input().split() temp_list = list() temp_list.append(a) temp_list.append(b) total_list.ap原创 2017-09-17 18:26:38 · 1023 阅读 · 0 评论 -
Python--matplotlib绘图可视化知识点整理
Python--matplotlib绘图可视化知识点整理强烈推荐ipython原文:http://michaelxiang.me/2016/05/14/python-matplotlib-basic/无论你工作在什么项目上,IPython都是值得推荐的。利用ipython --pylab,可以进入PyLab模式,已经导入了matplotlib库与相关软件包(例如Numpy和Scip转载 2017-07-17 15:49:22 · 504 阅读 · 0 评论 -
python的模块代码调用
一、模块GCDFunction.py,用来求两个数的最大公约数# Return the gcd of two integers def gcd(n1, n2): gcd = 1 # Initial gcd is 1 k = 2 # Possible gcd while k <= n1 and k <= n2: if n1 % k == 0 and原创 2017-10-08 20:18:27 · 374 阅读 · 0 评论 -
python列表多关键字排序
l = ['length_100cm_width_30cm_pict','length_200cm_width_30cm_pict','length_100cm_width_10cm_pict','length_100cm_width_40cm_pict','length_200cm_width_20cm_pict','length_100cm_width_20cm_pict','length_2原创 2017-07-20 13:48:26 · 3986 阅读 · 0 评论 -
Python文件处理之文件写入方式与写缓存
Python的open的写入方式有: write(str):将str写入文件 writelines(sequence of strings):写多行到文件,参数为可迭代对象 首先来看下writelines()这个方法:1 f = open('blogCblog.txt', 'w') #首先先创建一个文件对象,打开方式为w2 f.writelines(转载 2017-11-30 11:16:38 · 5357 阅读 · 0 评论 -
用Python将较大内容写入文件的注意事项
在我们利用python做数据分析时,往往会产生较大的数据,这时我们要将数据内容写入文件中一般有两个方法:1. 利用python的pandas库的数据结构DataFrame将每次处理的结果先存起来,最后等所有的处理过程结束,用DataFrame的方法如to_csv等将内容写入文件2. 利用outfile.write( )一边处理数据,一边将处理结果写入文件从实践的情况来看,当写非常大原创 2017-11-30 11:27:01 · 6432 阅读 · 0 评论 -
pandas索引和选择
索引IndexMany of these methods or variants thereof are available on the objectsthat contain an index (Series/Dataframe) and those should most likely beused before calling these methods directly.转载 2017-09-05 20:48:44 · 1082 阅读 · 0 评论 -
Python:使用Counter进行计数统计及collections模块
计数统计就是统计某一项出现的次数。实际应用中很多需求需要用到这个模型。比如测试样本中某一指出现的次数、日志分析中某一消息出现的频率等等‘这种类似的需求有很多实现方法。下面就列举几条。(1)使用dict看下面代码#coding=utf-8data = ['a','2',2,4,5,'2','b',4,7,'a',5,'d','a','z']count_frq转载 2017-09-05 16:01:22 · 1476 阅读 · 0 评论 -
pandas小记:pandas索引和选择
索引IndexMany of these methods or variants thereof are available on the objectsthat contain an index (Series/Dataframe) and those should most likely beused before calling these methods directly.从s转载 2017-08-15 22:02:00 · 659 阅读 · 0 评论 -
用python的matplotlib绘图后保存图形
用python的matplotlib可以绘制各种图形,图形绘制完成后保存有以下两种方式:1. 用savefigimpotrt matplotlibmatploylib.pyplot.savefig("my picture.png")#注意这个命令要用在命令matplotlib.pyplot.show()之前,不然只会保存一张空白图片2.绘图完成后,加上以下代码原创 2017-07-17 16:33:26 · 3129 阅读 · 0 评论 -
用python做数据分析4|pandas库介绍之DataFrame基本操作
怎样删除list中空字符?最简单的方法:new_list = [ x for x in li if x != '' ]今天是5.1号。这一部分主要学习pandas中基于前面两种数据结构的基本操作。设有DataFrame结果的数据a如下所示: a b cone 4 1 1two 6 2 0three 6 1 6转载 2017-08-16 15:56:15 · 773 阅读 · 0 评论 -
scikit-learn中PCA的使用方法
scikit-learn中PCA的使用方法@author:wepon@blog:http://blog.csdn.net/u012162613/article/details/42192293在前一篇文章 主成分分析(PCA) 中,我基于Python和numpy实现了PCA算法,主要是为了加深对算法的理解,算法的实现很粗糙,实际应用中我们一般调用成熟的包,本文就转载 2017-08-13 21:54:37 · 445 阅读 · 0 评论 -
在cmd下运行Python脚本+如何使用Python Shell
本文目的希望对于,如何在Windows下,写Python代码,进行Python开发,运行Python脚本的人,看了此文后,懂得了:什么是cmd下面去运行Python脚本;什么是Python的交互式的shell;什么是Python的IDE。前提知识看此文之前,需要知道:Python语言的基本知识包括知道其代码就是普通文本等基础知识转载 2017-08-21 11:23:45 · 24673 阅读 · 2 评论 -
python 中如何实现一行输入多个值 ?
python2的raw_input以及python3的input获取的是整行的字符串。读进来后,字符串有着著名的split可以根据分隔符拆解成子串组成的list。对于list内的对象,需要的采取转换,保留字符串的继续保留即可。对于你这个题目所描述的需求,可以写成一句话:a, b, c = map(int, raw_input().split())如果是py3,自行替换raw_input转载 2017-08-23 22:29:44 · 14176 阅读 · 0 评论 -
Python产生一个数值范围内的不重复的随机数
Python产生一个数值范围内的不重复的随机数,可以使用random模块中的random.sample函数,其用法如下:import randomrandom.sample(population,k)函数从序列或集合population中返回一个长度为k的随机数列表,并且列表中的随机数元素之间是不重复的,如:>>>a = [1,2,3,4,5,6,7,8,9,10,11,12,13原创 2016-11-01 11:15:49 · 38047 阅读 · 0 评论 -
从Spyder3降级回Spyder2
Spyder3已经更新了很长时间了,不少问题还是没能解决,比如启动时跳出许多nvcc.exe,然后持续kernel died,敲代码突然自动退出这种情况也是越来越频繁了。确认历史版本号这是第一步,选择一个3以下的版本号,我的方法比较简单pip install spyder==然后就会出现如下的错误Could not find a version that satis转载 2017-08-15 17:14:15 · 1576 阅读 · 0 评论 -
conda管理工具
Conda 是开源的包管理系统和环境管理系统,可以安装软件包的多个版本和依赖,而且方便切换。Conda 支持Linux,OS X 和 Windows 系统。Conda 可以为 Python 程序创建,但是可以打包和分布任意软件。Conda 包含所有版本的 Anaconda, Anaconda Server 和 Miniconda,而且不会单独提供。conda测试指南在开始这转载 2017-08-15 18:41:02 · 585 阅读 · 0 评论 -
使用Python Pandas处理亿级数据
在数据分析领域,最热门的莫过于Python和R语言,此前有一篇文章《别老扯什么Hadoop了,你的数据根本不够大》指出:只有在超过5TB数据量的规模下,Hadoop才是一个合理的技术选择。这次拿到近亿条日志数据,千万级数据已经是关系型数据库的查询分析瓶颈,之前使用过Hadoop对大量文本进行分类,这次决定采用Python来处理数据:硬件环境CPU:3.5 GHz Intel Cor转载 2017-12-03 13:47:25 · 1007 阅读 · 0 评论 -
python 使用set对列表去重,并保持列表原来顺序
# 收件人去重,并保持原来的收件人顺序mailto = ['cc', 'bbbb', 'afa', 'sss', 'bbbb', 'cc', 'shafa']addr_to = list(set(mailto))addr_to.sort(key = mailto.index)转载自:http://blog.csdn.net/shuifa2008/arti转载 2017-12-05 10:11:27 · 7035 阅读 · 0 评论 -
如何手动释放Python的内存
在上篇博客中,提到了对一个脚本进行的多次优化。当时以为已经优化得差不多了,但是当测试人员测试时,我才发现,踩到了Python的一个大坑。在上文的优化中,对每500个用户,会进行一些计算并记录结果在磁盘文件中。原本以为这么做,这些结果就在磁盘文件中了,而不会再继续占用内存;但实际上,Python的大坑就是Python不会自动清理这些内存。这是由其本身实现决定的。具体原因网上多有文章介绍,这里转载 2017-12-15 12:01:10 · 7033 阅读 · 0 评论 -
使用python时注意的内存、缓存问题
1. 在使用python时,常常会出现Memory Error,主要是由于python不会自动回收内存,造成内存一直占用,可以采取手动释放内存的方法,详见http://blog.csdn.net/nirendao/article/details/44426201/。2. 在使用python将结果输出到文件时,可以采取: 方法一:将结果保存至python的数据结构DataFrame中原创 2017-12-15 12:10:45 · 9094 阅读 · 0 评论 -
Python 网页爬虫 & 文本处理 & 科学计算 & 机器学习 & 数据挖掘兵器谱
Python 网页爬虫 & 文本处理 & 科学计算 & 机器学习 & 数据挖掘兵器谱曾经因为NLTK的缘故开始学习Python,之后渐渐成为我工作中的第一辅助脚本语言,虽然开发语言是C/C++,但平时的很多文本数据处理任务都交给了Python。离开腾讯创业后,第一个作品课程图谱也是选择了Python系的Flask框架,渐渐的将自己的绝大部分工作交给了Python。这些年来,接触转载 2017-11-28 10:52:08 · 364 阅读 · 0 评论 -
scikit-learn的基本用法——模型保存与加载
本文主要介绍scikit-learn中的模型的保存与加载。Demo 1import picklefrom sklearn.svm import SVCfrom sklearn import datasets# 定义分类器svm = SVC()# 加载iris数据集iris = datasets.load_iris()# 读取特征X = iris.data# 读取分转载 2017-12-23 11:22:56 · 1114 阅读 · 0 评论 -
python 读取中文文件名/中文路径
python直接读取中文路径的文件时失败,可做如下处理: inpath = 'D:/work/yuanxx/在线导航/驾车导航/walk_log/20130619_172355.txt' uipath = unicode(ipath , "utf8")然后用"uipath"经过编码后的路径去open()即可: fin = open(uipath)转载自:http转载 2018-01-15 15:57:02 · 3375 阅读 · 0 评论 -
linux上anaconda的卸载
声明:本文通过参考下面三个博文而归结出linux上anaconda的卸载方法。anaconda安装及停用方法参考博文:http://blog.csdn.net/x_lock/article/details/53170321卸载anaconda,启用spyder参考博文:http://blog.csdn.net/u010414589/article/details/51303502anaconda的...转载 2018-04-06 18:31:39 · 627 阅读 · 0 评论 -
spyder crashed during last session 解决办法
在Ubuntu上启动Anaconda的Spyder时出现以下错误:解决方法是敲入以下3行命令:conda install spydersudo apt-get install python3-pyqt*pip install -U spyder转载自:https://www.ubuntukylin.com/ukylin/forum.php?mod=viewthread&tid=26459相...转载 2018-04-06 21:02:54 · 4216 阅读 · 2 评论 -
ubuntu16.04安装Anaconda
Step1:官网下载linux版本的安装包下载链接:https://www.continuum.io/downloads#linuxAnaconda和Python版本是对应的,所以需要选择安装对应Python2.7版本的还是Python3.6版本的,根据自己的需要下载合适的安装包。如果ubuntu系统是64bit,记得下载64bit的:安装包大概有500M,下载得一段时间。Step2:安装Anac...转载 2018-04-06 22:07:48 · 589 阅读 · 0 评论 -
python pandas (ix & iloc &loc) 的区别
loc——通过行标签索引行数据 iloc——通过行号索引行数据 ix——通过行标签或者行号索引行数据(基于loc和iloc 的混合) 同理,索引列数据也是如此!举例说明: 1、分别使用loc、iloc、ix 索引第一行的数据: (1)locimport pandas as pddata=[[1,2,3],[4,5,6]]index=['a','b']#行号co转载 2017-12-14 17:32:42 · 1831 阅读 · 0 评论 -
python找出列表重复值
a = ['l','i','u','h','a','i','w','e','n']print [val forval in list(set(a)) ifa.count(val)==2][root@iZ94h14przhZ~]# python python_list.py ['i']转载 2017-12-06 09:21:43 · 2261 阅读 · 0 评论 -
Python中文编码问题
中文编码问题是用中文的程序员经常头大的问题,在python下也是如此,那么应该怎么理解和解决python的编码问题呢?我们要知道python内部使用的是unicode编码,而外部却要面对千奇百怪的各种编码,比如作为中国程序经常要面对的gbk,gb2312,utf8等,那这些编码是怎么转换成内部的unicode呢?首先我们先看一下源代码文件中使用字符串的情况。源代码文件作为文本文件就转载 2017-12-12 10:06:03 · 234 阅读 · 0 评论 -
Python 2.7 中文处理
首先我们在编写python代码文件时,文件本身会采用一种编码格式,如 utf-8 或 gbk这时我们需要在python文件的开头设置文件的编码格式,以告诉编译器。如果文件的编码格式是 utf-8, 则在文件的第一行需要添加如下语句#coding=utf-8如果文件的编码格式是 gbk, 则在文件的第一行需要添加如下语句#coding=gbk如果设置为转载 2017-12-04 17:32:56 · 550 阅读 · 0 评论 -
Anaconda的Spyder读取中文文件报错处理
在用Anaconda的Spyder读取包含中文的文件时,会出现中文乱码现象,也会报错如下:报错:'utf8' codec can't decode byte 0xbb in position 2: invalid start byte报错的意思大概是,无法解码,在位置0处有非法的开始字节。了解后发现,在utf-8编码文件中BOM在文件头部,占用三个字节,原创 2017-12-13 12:06:38 · 5421 阅读 · 0 评论 -
python的DataFrame排序问题
一、定义数据框DataFrameimport pandasframe = pandas.DataFrame({"a":[9,2,5,1],"b":[4,7,-3,2],"c":[6,5,8,3]})frameOut[53]: a b c0 9 4 61 2 7 52 5 -3 83 1 2 3二、按列对DataFrame排序1原创 2017-08-16 11:10:50 · 77493 阅读 · 2 评论 -
Python统计学一数据的概括性度量
一、数据的概括性度量1、统计学概括:统计学是应用数学的一个分支,主要通过利用概率论建立数学模型,收集所观察系统的数据,进行量化的分析、总结,并进而进行推断和预测,为相关决策提供依据和参考。统计学主要又分为描述统计学和推断统计学。给定一组数据,统计学可以摘要并且描述这份数据,这个用法称作为描述统计学。另外,观察者以数据的形态建立出一个用以解释其随机性和不确定性的数学模转载 2017-12-22 10:02:54 · 797 阅读 · 0 评论 -
python计算分位数
使用numpy包:import numpy as npa=np.array(([1,2,3,4]))np.median(a)#中位数np.percentile(a,95)#95%分位数参考: https://docs.scipy.org/doc/numpy/reference/generated/numpy.percentile.html转载自:http://blog.c转载 2017-12-22 11:01:44 · 3416 阅读 · 0 评论 -
Python 和 R 数据分析/挖掘工具互查
写在前面在此总结一些在数据分析/挖掘中可能用到的功能,方便大家索引或者从一种语言迁移到另一种。当然,这篇博客还会随时更新(不会另起一篇,为了方便大家索引),请大家如果有需要收藏到书签中。如果大家还知道哪些常用的命令,也可以在评论中回复我。我可以添加进来,方便更多地人更方便的检索。也希望大家可以转载。如果大家已经熟悉python和R的模块/包载入方式,那下面的表查找起来相对方便。转载 2017-12-22 11:21:16 · 482 阅读 · 0 评论 -
python中去除列表重复元素的方法汇总
NO.1 set输入代码A = ['a','b','X','a','b','G']B = list(set(A))print Aprint B1234显示如下['a', 'b', 'X', 'a', 'b', 'G']['a', 'X', 'b', 'G']12NO.2 发现上面虽然去掉了重复的元素,但顺序改变了,要是不想改变原列表的顺序A,应该这样转载 2017-12-06 09:20:29 · 471 阅读 · 0 评论