python
文章平均质量分 79
DM_learner
这个作者很懒,什么都没留下…
展开
-
使用Isolation forest算法处理大规模数据方法介绍
在做数据挖掘时,我们常常因为自身电脑的配置不高,所以在运行代码时出现,cpu利用率太高或者内存使用率直接爆表的情况。在这里我介绍一种处理方法,这种方法所传递的思想,也可以用到类似的场景中去。本文是基于Isolation forest处理异常数据所采用的方法,其中原始数据非常庞大,数据量超过千万条,虽然Isolation forest这个算法实用性非常大,但是当数据量达到一定程度时,对于电脑硬件也是...原创 2019-10-25 11:35:30 · 1282 阅读 · 2 评论 -
关于with open() as f 的一点小知识
with open('file name','r') as f 如果读取不存在的文件,就会显示出一个IOError的错误,并且给出错误码和详细的信息告诉你文件不存在。这时我们可以直接使用with open('file name' ,'w') as f ,它会自动先创建一个文件,然后写入内容。...原创 2018-10-18 10:30:08 · 24902 阅读 · 0 评论 -
关于热力图的绘制问题
关于地理热力图的绘制,我觉得很炫酷。在这里我使用了两种方法:结合python和百度地图api的方法;使用python的folium的方法。(1)结合python和百度地图api的方法1. 进入网站:http://lbsyun.baidu.com/,选择控制台。2.选择创建应用3. 获取密钥4. 再转到网址:http://lbsyun.baidu.com/jsd...原创 2018-10-18 16:01:36 · 3361 阅读 · 0 评论 -
关于问题TypeError: 'range' object doesn't support item deletion
在python3以上的版本中,range()返回的对象不是数组类型,在这里我们可以使用 dataIndex=list(range(m)) 来替换 dataIndex=range(m),即可解决问题原创 2018-10-08 17:02:01 · 899 阅读 · 0 评论 -
关于python中几种数据可视化图形
python中我们一般用的最多的是matplotlib图形库,本人在写文章,做报告时,深感matplotlib图形比较单一化,这里介绍几种关于python的图形库(1)seaborn 是基于matplotlib的高级版,主要针对的数据挖掘和机器学习的变量特征选取,可以用非常短小的代码就可以画出多维变量的可视化图形,seaborn的官方网站:http://seaborn.pydata.org/,...原创 2018-10-16 11:24:15 · 4168 阅读 · 1 评论 -
关于python3.6中 OSError: Initializing from file failed的问题
这里只需要在pandas的读取中加入:engine='python'即可即pd.read_csv(input_file,engine='python')就可以解决这个问题了。原创 2018-10-09 22:56:22 · 1535 阅读 · 1 评论 -
关于出现错误“The truth value of a Series is ambiguous. Use a.empty, a.bool(), a.item(), a.any”的解决方法
在pandas中我们有时会根据多条件进行数据筛选,比如:运行结果会出现错误:ValueError: The truth value of a Series is ambiguous. Use a.empty, a.bool(), a.item(), a.any() or a.all().这时我们的解决方法是:...原创 2019-09-16 16:29:47 · 4378 阅读 · 1 评论 -
关于使用django2.2.5出现“ImproperlyConfigured: mysqlclient 1.3.13 or newer is required; you have 0.9.3”的问题
随着django的更新,相对一些历经考验的老版本,本人出于尝鲜的考虑,就是使用了最新的django2.2.5版本,在配置数据库时,出现了“django.core.exceptions.ImproperlyConfigured: mysqlclient 1.3.13 or newer is required; you have 0.9.3.”的问题,.经查询是django2.2.5版本与py...原创 2019-09-29 21:34:31 · 482 阅读 · 0 评论 -
关于问题TypeError: only length-1 arrays can be converted to Python scalars 的解决方法
注意:关于math.exp()不能对矩阵直接进行操作,这里要使用np.exp(),即可解决问题。原创 2018-10-08 15:03:06 · 14646 阅读 · 3 评论 -
关于运用python读取PDF 文件的知识
pdf读取总刚要: (1) (2) (3) 代码如下:#!/usr/bin/env python3#coding=utf-8from pdfminer.pdfparser import PDFParser,PDFDocumentfrom pdfminer.pdfinterp import PDFResourceManager,PDFPa...转载 2018-07-31 18:02:21 · 434 阅读 · 0 评论 -
关于使用merge合并两个data_frame出现大量的空值的情况
cid total_sales c_name c1 n10 1101.0 7520675.03 NaN NaN NaN1 110201.0 5920098.53 NaN NaN NaN2 110202.0 11080813.26 NaN NaN ...原创 2018-03-27 21:16:39 · 7885 阅读 · 0 评论 -
数据库在python中的操作(1)
向表中插入新数据#!/usr/bin/env python3import sqlite3import csvcon=sqlite3.connect('C:\\Users\\Administrator\\Desktop\\Suppliers.db')c=con.cursor()create_table="""CREATE TABLE IF NOT EXISTS Suppliers原创 2018-02-01 14:25:49 · 478 阅读 · 0 评论 -
python中基本的读写文件(1)
#!/usr/bin/env python3#读取文件,并对文件格式进行转换with open('E:/研究生学习/python数据/图书数据/bookinfo_tmall_201701.csv','r',encoding='UTF-8') as filereader: with open('E:/研究生学习/python数据/图书数据/head_title.csv','w',enco原创 2018-01-10 15:04:32 · 368 阅读 · 0 评论 -
关于字段大于字段限制的问题
import csvwith open('some.csv', newline='') as f: reader = csv.reader(f) for row in reader: print(row)当在文本文件中出现非常大的字段时候,就可能出现这个问题:_csv.Error: field larger than field limit (131072转载 2018-01-10 21:07:43 · 10508 阅读 · 2 评论 -
用python处理excel文件(1)
#!/usr/bin/env python3import xlrdbook=xlrd.open_workbook('E:\\研究生学习\\python数据\\实验数据\\Excel文件实验数据\\SOWC 2014 Stat Tables_Table 9.xlsx')sheet=book.sheet_by_name('Table 9 ')data={}for i in range(14,原创 2018-01-27 15:54:52 · 2432 阅读 · 0 评论 -
python读取excel文件的三种方法
(1)方法一:#!/usr/bin/env python3from datetime import datefrom xlrd import open_workbook,xldate_as_tuplefrom xlwt import Workbookoutput_workbook=Workbook()output_worksheet=output_workbook.add_s原创 2018-01-28 16:00:34 · 164887 阅读 · 3 评论 -
在matplotlib中,解决中文乱码问题
#!/usr/bin/env python3import matplotlib.pyplot as pltfrom matplotlib.font_manager import FontPropertiesimport numpy as npfont = FontProperties(fname='C:\\Windows\\Fonts\\simsun.ttc', size=14)#将(0...转载 2018-03-05 15:33:28 · 520 阅读 · 0 评论 -
python3中使用csv模块的csv.writerow()产生的空行问题
#!/usr/env python3import csvcsv.field_size_limit(500 * 1024 * 1024)with open('E:/研究生学习/python数据/图书数据/bookinfo_tmall_201701.csv','r',encoding='UTF-8') as csv_in_file: with open('E:/研究生学习/python数转载 2018-01-11 18:29:22 · 1041 阅读 · 0 评论