DM_learner-CSDN博客

原创关于fbprophet环境配置的流程（本人亲测可行）

通过网上多位实践者的反馈，fbprophet的环境配置确实存在诸多的坑，本人经过多次尝试走出了一条亲测可行的道路，这里介绍给大家。fbprophet环境配置可以分为yixa

2021-03-03 16:18:58 742 4

原创使用Isolation forest算法处理大规模数据方法介绍

在做数据挖掘时，我们常常因为自身电脑的配置不高，所以在运行代码时出现，cpu利用率太高或者内存使用率直接爆表的情况。在这里我介绍一种处理方法，这种方法所传递的思想，也可以用到类似的场景中去。本文是基于Isolation forest处理异常数据所采用的方法，其中原始数据非常庞大，数据量超过千万条，虽然Isolation forest这个算法实用性非常大，但是当数据量达到一定程度时，对于电脑硬件也是...

2019-10-25 11:35:30 1236 2

原创关于使用django2.2.5出现“ImproperlyConfigured: mysqlclient 1.3.13 or newer is required; you have 0.9.3”的问题

随着django的更新，相对一些历经考验的老版本，本人出于尝鲜的考虑，就是使用了最新的django2.2.5版本，在配置数据库时，出现了“django.core.exceptions.ImproperlyConfigured: mysqlclient 1.3.13 or newer is required; you have 0.9.3.”的问题，.经查询是django2.2.5版本与py...

2019-09-29 21:34:31 443

原创关于出现错误“The truth value of a Series is ambiguous. Use a.empty, a.bool(), a.item(), a.any”的解决方法

在pandas中我们有时会根据多条件进行数据筛选，比如：运行结果会出现错误：ValueError: The truth value of a Series is ambiguous. Use a.empty, a.bool(), a.item(), a.any() or a.all().这时我们的解决方法是:...

2019-09-16 16:29:47 4215 1

原创关于使用hanlp进行中文分词时，出现错误 TypeError: must be str, not java.util.ArrayList 的解决方法

hanlp是基于java开发的，主要是用于生产环境下，如果使用python来调用hanlp的话，可以通过pyhanlp来使用它。但是我们直接使用from pyhanlp import *result=Hanlp.segment(data)print(result)那么就出现这样的结果：这是因为通过Hanl.segment(data) ，我们所获得的结果是java的ArrayLi...

2019-04-16 21:45:02 1052 1

原创关于热力图的绘制问题

关于地理热力图的绘制，我觉得很炫酷。在这里我使用了两种方法：结合python和百度地图api的方法；使用python的folium的方法。（1）结合python和百度地图api的方法1. 进入网站：http://lbsyun.baidu.com/，选择控制台。2.选择创建应用3. 获取密钥4. 再转到网址：http://lbsyun.baidu.com/jsd...

2018-10-18 16:01:36 3306

原创关于with open() as f 的一点小知识

with open（'file name','r'） as f 如果读取不存在的文件，就会显示出一个IOError的错误，并且给出错误码和详细的信息告诉你文件不存在。这时我们可以直接使用with open('file name' ,'w') as f ，它会自动先创建一个文件，然后写入内容。...

2018-10-18 10:30:08 24795

原创关于python中几种数据可视化图形

python中我们一般用的最多的是matplotlib图形库，本人在写文章，做报告时，深感matplotlib图形比较单一化，这里介绍几种关于python的图形库（1）seaborn 是基于matplotlib的高级版，主要针对的数据挖掘和机器学习的变量特征选取，可以用非常短小的代码就可以画出多维变量的可视化图形，seaborn的官方网站：http://seaborn.pydata.org/，...

2018-10-16 11:24:15 4116 1

原创关于python3.6中 OSError: Initializing from file failed的问题

这里只需要在pandas的读取中加入：engine='python'即可即pd.read_csv(input_file,engine='python')就可以解决这个问题了。

2018-10-09 22:56:22 1514 1

原创关于问题TypeError： 'range' object doesn't support item deletion

在python3以上的版本中，range()返回的对象不是数组类型，在这里我们可以使用 dataIndex=list(range(m)) 来替换 dataIndex=range(m)，即可解决问题

2018-10-08 17:02:01 872

原创关于问题TypeError: only length-1 arrays can be converted to Python scalars 的解决方法

注意：关于math.exp()不能对矩阵直接进行操作，这里要使用np.exp()，即可解决问题。

2018-10-08 15:03:06 14505 3

原创朴素贝叶斯

1. 朴素贝叶斯介绍朴素贝叶斯法是基于贝叶斯定理（）与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x, 利用贝叶斯定理求出后验概率最大的输出y。2. 朴素贝叶斯特点优点：在数据较少的情况下仍然有效，可以处理多类别问题缺点：对于输入数据的准备方式较为敏感。使用数据类型：标称型数据3. 朴素...

2018-09-24 14:35:28 385

原创 anaconda和tensorflow的安装

现在关于tensorflow和anaconda基本都是在一起安装使用的，下面介绍一些安装流程：（1）首先点击链接：https://www.anaconda.com/download/ ，进入如图所示页面：点击下面的：anaconda5.2的python3.6版本，我的电脑是64位系统，我选择第一个文件进行下载 ...

2018-09-20 16:32:27 351

原创（1）单层感知机

1. 概念介绍：假设输入空间（特征空间）是，输入空间是Y={+1，-1}. 输入表示实例的特征向量，对于应于输入空间（特征空间）的点；输出表示实例的类别.由输入空间到输出空间的如下函数：称为感知机。其中，w和b为感知机模型参数，叫做权...

2018-09-17 16:07:49 5554 1

原创决策树

决策树模型与学习1. 决策树模型决策树定义：分类决策树是一种描述对实例进行分类的树型结构。决策树由结点和有向边组成。结点有两种类型：内部结点和叶结点。内部结点表示一个特征或属性，叶子结点表示一个类。用决策树分类，从根结点开始，对实例的某一特征进行测试，根据测试结果，将实例分配到其他子结点；这时，每一个子结点对应着该特征的一个取值，如此递归地对实例进行分配，直至达到叶结点。最后将实例分到...

2018-09-14 10:15:39 1172

转载 k-近邻算法

1. 算法概述：是一种基本分类和回归的算法。k近邻法的输入为实例的特征向量，对应于特征空间的点；输出为实例的类别，可以取多类。k近邻法假设给定一个训练数据集，其中的实例类别已定。分类时，对新的实例，根据其k个最近邻的训练实例的类别，通过多数表决等方式进行预测。因此，k近邻不具有显示的学习过程。k近邻实际上是利用训练数据集对特征向量空间进行划分，并作为其分类的“模型”。k值的选择、距离度量及分类决策...

2018-09-07 19:50:19 1230

原创关于python连接mysql相关知识（2）

之前导入数据库的方法是SQL语句和集合python正常编程的方法，整个流程相对较复杂，在这里我介绍一种更加简便的方法：即结合pandas和sqlalchemy来将数据导入数据库，代码如下：#!/usr/bin/env python3#coding=utf-8import pymysqlimport pandas as pdfrom sqlalchemy import create...

2018-08-02 16:59:43 335

转载关于运用python读取PDF 文件的知识

pdf读取总刚要：（1）（2）（3）代码如下：#!/usr/bin/env python3#coding=utf-8from pdfminer.pdfparser import PDFParser,PDFDocumentfrom pdfminer.pdfinterp import PDFResourceManager,PDFPa...

2018-07-31 18:02:21 403

原创关于python连接mysql相关知识

第一步：首先安装mysql安装库，我用的是这种封装文件界面如图所式：启动它，显示mysq启动就可以了第二步：安装navicat构建可视化的mysql环境然后点击新建连接构建效果如图所示：第三步：使用python语言来将数据导入数据库（代码如下所示）#!/usr/bin/env python3#coding=utf-8import pym...

2018-07-31 09:02:38 219

原创在linux 安装wordcloud出现的问题

error: command 'x86_64-linux-gnu-gcc' failed with exit status 1解决方法: sudo apt-get install build-essential libssl-dev libffi-dev python3-dev这个是针对python 3X以上的版本

2018-04-20 20:02:38 1103

原创关于使用merge合并两个data_frame出现大量的空值的情况

cid total_sales c_name c1 n10 1101.0 7520675.03 NaN NaN NaN1 110201.0 5920098.53 NaN NaN NaN2 110202.0 11080813.26 NaN NaN ...

2018-03-27 21:16:39 7744

转载在matplotlib中，解决中文乱码问题

#!/usr/bin/env python3import matplotlib.pyplot as pltfrom matplotlib.font_manager import FontPropertiesimport numpy as npfont = FontProperties(fname='C:\\Windows\\Fonts\\simsun.ttc', size=14)#将（0...

2018-03-05 15:33:28 492

原创数据库在python中的操作(1)

向表中插入新数据#!/usr/bin/env python3import sqlite3import csvcon=sqlite3.connect('C:\\Users\\Administrator\\Desktop\\Suppliers.db')c=con.cursor()create_table="""CREATE TABLE IF NOT EXISTS Suppliers

2018-02-01 14:25:49 434

原创 python读取excel文件的三种方法

（1）方法一：#!/usr/bin/env python3from datetime import datefrom xlrd import open_workbook,xldate_as_tuplefrom xlwt import Workbookoutput_workbook=Workbook()output_worksheet=output_workbook.add_s

2018-01-28 16:00:34 161979 3

原创用python处理excel文件(1)

#!/usr/bin/env python3import xlrdbook=xlrd.open_workbook('E:\\研究生学习\\python数据\\实验数据\\Excel文件实验数据\\SOWC 2014 Stat Tables_Table 9.xlsx')sheet=book.sheet_by_name('Table 9 ')data={}for i in range(14,

2018-01-27 15:54:52 2412

转载 python3中使用csv模块的csv.writerow()产生的空行问题

#!/usr/env python3import csvcsv.field_size_limit(500 * 1024 * 1024)with open('E:/研究生学习/python数据/图书数据/bookinfo_tmall_201701.csv','r',encoding='UTF-8') as csv_in_file: with open('E:/研究生学习/python数

2018-01-11 18:29:22 1016

转载关于字段大于字段限制的问题

import csvwith open('some.csv', newline='') as f: reader = csv.reader(f) for row in reader: print(row)当在文本文件中出现非常大的字段时候，就可能出现这个问题：_csv.Error: field larger than field limit (131072

2018-01-10 21:07:43 10445 2

原创 python中基本的读写文件（1）

#!/usr/bin/env python3#读取文件，并对文件格式进行转换with open('E:/研究生学习/python数据/图书数据/bookinfo_tmall_201701.csv','r',encoding='UTF-8') as filereader: with open('E:/研究生学习/python数据/图书数据/head_title.csv','w',enco

2018-01-10 15:04:32 350

DM_learner的博客