- 博客(29)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 数据预处理
数据预处理是在数据清洗完成之后， 接着进行的的数据集成， 转换， 规约等一系列的处理的过程。数据预处理一方面是为了提高数据的质量， 另一方面是为了是数据更好地适应数据挖掘的技术和工具。 统计发现， 在数据挖掘的过程中， 数据预处理，工作量占到了整个过程的60%。显然， 是十分重要的一部分。 数据预处理技术： 1.数据清洗：空缺值处理、格式标准化...
2018-06-30 21:44:12
1595
原创 数据探索
通过检验数据集的数据质量， 绘制图表， 计算某些特征量等手段， 对样本的数据集的结构和规律性进行分析的过程就是数据探索。数据探索有助于选择合适的数据预处理和建模方法， 甚至可以解决一些通常由数据挖掘解决的问题。 数据探索是数据挖掘的重要组成，可能需要对具体业务的理解， 提取重要的特征，需要花费大量的时间 。 一、数据质量分析： 数据质量分析的主要任务是：...
2018-06-29 20:47:54
1209
原创 数据挖掘探索过程
1、数据挖掘建模过程：a,定义挖掘目标--->b,数据抽样--->c,数据探索--->d,数据预处理--->e,数据挖掘--->f,模型评估 数据抽样：抽取数据的标准是，一是相关性，二是可靠性，三是有效性，而不是动用全部的企业数据。 通过对数据的精选， 不仅能减少数据的处理量， 节省系统的资源， 还可以是我们想要寻找的规律性显现出来。 数据...
2018-06-28 20:12:14
908
原创 Python数据结构与算法-栈和递归函数
1.栈#coding=gbk#栈的常用操作# Stack() 建立一个空的栈对象# push() 把一个元素添加到栈的最顶层# pop() 删除栈最顶层的元素，并返回这个元素# peek() 返回最顶层的元素，并不删除它# isEmpty() 判断栈是否为空# size() 返回栈中元素的个数#使用Python中的列表进行对栈的实...
2018-06-27 21:58:49
474
原创 Windows环境下安装pygal
pygal是一个SVG图表库。SVG是一种矢量图格式。全称Scalable Vector Graphics -- 可缩放矢量图形。用浏览器打开svg，可以方便的与之交互。使用Windows终端命令，win+R ，输入cmdpython -m pip install --user pygal==1.7如果你的pip不是最新的，可以更新python -m pip instal...
2018-06-27 17:09:41
12553
1
原创 《Python编程：从入门到实践》最高温度， 最低温度可视化
1，模块名称为 csv_demo.py，，数据集是阿拉斯加2014年7月的温度数据，简单的 阿拉斯加最高温度的可视化#coding=gbk#《pyhotn 编程：从入门到实践》 第16章：下载数据import csv filename = r'D:\datasets\sitka_weather_07-2014.csv'with open(filename) as f: reader...
2018-06-27 16:23:56
2879
1
原创 《python编程：从入门到实践》随机漫步
创建一个模块放在 suiji_walk.py 当中:#coding=gbk#随机漫步#随机漫步是每次行走都是随机的，没有明确的方向， 结果是有一系列的随机决策所决定的。 #建立一个随机漫步的类from random import choiceimport randomclass RandomWalk(): def __init__(self, num_points = 5...
2018-06-26 21:59:51
1385
原创 Python数据分析（8）matplotlib库的使用：基本图像类型（直方图，条形图，饼图）
#coding=gbkimport matplotlib.pyplot as pltimport numpy as np#图像的基本 类型#1.线性图x=np.arange(-2*np.pi,2*np.pi,0.01)y1=np.sin(3*x)/xy2=np.sin(2*x)/xy3=np.sin(4*x)/xplt.plot(x,y1)plt.plot(x,y2,'k--...
2018-06-11 22:36:10
970
原创 Python数据分析（7）matplotlib库的使用：主要图像元素的用法
#coding=gbk#使用matplotlib库实现数据可视化import matplotlib.pyplot as pltimport numpy as np# plt.plot([1,2,3,4],linewidth=3,color='red') #linewidth 线宽 color 线的颜色# #plt.show()将注释#号删除，plt.show(),可以运行代码，得到...
2018-06-11 20:16:16
293
原创 Python数据分析（6）数据转换和数据聚合
#coding=gbk#数据处理import numpy as npimport pandas as pd#轴向旋转：按照行重新调整列的顺序，或者相反frame=pd.DataFrame(np.arange(9).reshape(3,3), index=['white','blue','black'], col...
2018-06-09 21:29:50
537
原创 Python数据分析（5）数据处理：数据合并、拼接和组合
#coding=gbk#数据处理import numpy as npimport pandas as pd#合并操作frame1=pd.DataFrame({'id':['pencil','pen','book','smug'], 'price':[12,14,23.5,66]})print(frame1)# id pric...
2018-06-09 16:56:40
19506
原创 Python数据分析（4）pandas库的使用：数据的读写
函数一览表：#coding=gbk#pandas数据读写#1csv和文本文件的读取import numpy as npimport pandas as pdmydata=pd.read_csv('D:\data\mydata.csv') #读取数据print(mydata)# color object name others# 0 ...
2018-06-09 15:14:02
685
原创 Python数据分析（3）pandas库的使用：索引，统计函数，排序和NaN数据值处理
#coding=gbk#pandas 库#索引对象的其他功能import numpy as npimport pandas as pd#1，更换索引 reindex()frame=pd.Series([1,5,6,3],index=[0,3,5,6])print(frame)# 0 1# 3 5# 5 6# 6 3# dtype: int64pr...
2018-06-08 21:09:02
1051
原创 Python数据分析（2）pandas库的使用：Series对象，DataFrame对象，Index对象
pandas 库使用索引机制，有Series 和 DataFrame 2种数据结构，得益于pandas的索引机制，我们可以很方便地对数据的行，和列进行操作。#coding=gbk#pandas 库的使用#pandas 库使用索引机制，有Series 和 DataFrame 2种数据结构import pandas as pdimport numpy as npprint("----...
2018-06-07 21:49:44
1710
原创 Python数据分析（1）Numpy库使用方法
Numpy是一个开源的Python科学计算库，它是python科学计算库的基础库，许多其他著名的科学计算库如Pandas，Scikit-learn等都要用到Numpy库的一些功能。Numpy数组通常是由相同种类的元素组成的，即数组中的数据项的类型一致。这样有一个好处，由于知道数组元素的类型相同，所以能快速确定存储数据所需空间的大小。Numpy数组能够运用向量化运算来处理整个数组，速度较快；而P...
2018-06-07 16:32:40
665
原创 解决安装了numpy，pandas等库，eclipse不能使用的问题（Windows环境下）
在使用pip install xxxx 安装好了numpy库，就是一直在eclipse上不能使用。。。。。。。。。。。荒废了好多时间，艾，最怕配置什么环境。。。。巴拉巴拉的了。。。。费时间前提是：已经安装好numpy库。1，在使用Windows终端还是可以使用numpy库的：2，但是在eclipse上不能使用，报错：Traceback (most recent call...
2018-06-07 12:08:04
4687
2
原创 Windows环境下安装使用Numpy、Scipy、matplotlib，pandas、xgboost库
一、安装环境Windows7 64、python3.4所有库的下载地址：https://www.lfd.uci.edu/~gohlke/pythonlibs/二、Numpy下载1、下载Numpy:下载地址:https://www.lfd.uci.edu/~gohlke/pythonlibs/#numpycp34表示python3.4，因为我的python是amd64的，...
2018-06-06 21:23:42
1769
1
原创 Python34安装pip-9.0.3（Windows环境下）
Windows 7环境下，按win + R ， 输入cmd打开终端打开pip安装文件，如：D：\Python D:cd Pythonpython setup.py install如图，表示成功了。之前，按照下列方式时一直报错：cd D:cd Pythonpython setup.py install报错：python: can't open...
2018-06-06 15:36:36
1960
转载 使用Python画小猪佩奇（turtle库）
这坐标要算多久？？？尬笑！？# coding:utf-8import turtle as tt.pensize(4) # 设置画笔的大小t.colormode(255) # 设置GBK颜色范围为0-255t.color((255,155,192),"pink") # 设置画笔颜色和填充颜色(pink)t.setup(840,500) # 设置主窗口的大小为840*500t.speed(...
2018-06-05 21:01:10
27368
11
原创 Python基础（14）多线程编程
现代操作系统比如Mac OS X，UNIX，Linux，Windows等，都是支持“多任务”的操作系统。什么叫“多任务”呢？简单地说，就是操作系统可以同时运行多个任务。打个比方，你一边在用浏览器上网，一边在听MP3，一边在用Word赶作业，这就是多任务，至少同时有3个任务正在运行。还有很多任务悄悄地在后台同时运行着，只是桌面上没有显示而已。现在，多核CPU已经非常普及了，但是，即使过去的单核CPU...
2018-06-05 20:09:41
224
原创 Python基础（13）正则表达式
#coding=gbk#正则表达式import re #导入正则表示式模块resr=re.findall('d', 'goodddness') #返回匹配结果print(sr) #['d', 'd', 'd']#正则表达式的元字符包括：^ $ * + ? { } [ ] \ | ( )#如果需要作为普通字符，则需要转义，如：\$print(re.findall('fo',...
2018-06-04 22:20:40
232
原创 Python（12）时间和日期（不完整）
#coding=gbk#时间和日期import timeprint(time.localtime())#输出time.struct_time(tm_year=2018, tm_mon=6, tm_mday=4, tm_hour=16, tm_min=57, tm_sec=26, #对应年月日，小时，分钟，秒，2018-6-4 16:57:26#tm_wday=0, tm_yday=15...
2018-06-04 19:31:39
628
原创 Python基础（11）deque , heapq , array ,bisect
#coding=gbk#数据结构#deque对象，双端队列，collection.deque,支持从任何一段删除和增加元素，deque是线程安全的，内存高效的队列#deque 作为栈，栈是先进后出的，使用append，pop即可from collections import *dp=deque()dp.append(1)dp.append(2)dp.append(3)prin...
2018-06-04 15:24:00
635
原创 Python基础（10）迭代器和生成器
#coding=gbk#迭代器和生成器#可迭代对象的迭代：iter函数和next函数from asyncio.windows_events import _WindowsSelectorEventLoopt=(1,2,3,4,5)#元组fetch=iter(t)# iter 函数获取迭代器while True: try: i=next(fetch) # n...
2018-06-03 19:43:19
320
原创 Python中a,b=a,a+b和a=b,b=a+b的区别
最近学习Python的时候遇到的一个问题，问题还是早点解决为好，特此记录。#coding=gbk#a,b=b,a+b的情形a=0b=1a,b=b,a+b #先计算第一个‘=’号右边的值，暂时不考虑左边的值，先看a,b初始值。 #即：b还是1；a+b=1 #在将右边的值赋予给左边的值,所以a,b都是1print(a,b) #输出1,1...
2018-06-03 16:38:02
8672
1
原创 Python基础（8）类和对象
#coding=gbkimport math#类的练习class Person: country='china' #属性 def __init__(self,name,age): #构造函数,可以向__init__()方法传递参数 self.name=name self.age=age def say_hello(self): ...
2018-06-02 22:37:01
235
原创 Python基础（7）函数和函数编程
#coding=gbk#函数和函数编程function defdef my_add(a,b): return(a+b)print(my_add(10, 20)) #可选参数def babble(words,times=1): print(words* times) babble('hello world',3)#times 为可选参数，这里可以自行设置 ...
2018-06-01 21:50:23
1032
原创 Python基础（6）文件和I/O流
#coding=gbk#文本文件with open(r'C:\Users\Administrator\Desktop\mysal\Python\data.txt','r') as f:#with语句自动关闭文件流 for s in f.readlines():#readlines()读入多行内容 print(s,end="")with open(r'C:\Users\...
2018-06-01 19:36:22
262
原创 Python基础（5）字典（dict）和集合类型（set，frozenset）
元组，列表，字典，集合的格式：s1=(1,23,4)print(type(s1)) #tuple 元组s2=[1,2,5]print(type(s2)) #<class 'list'>,list 列表s3={1:'s2',2:'s4'}print(type(s3)) #<class 'dict'> dict字典s4={1,2,3,1,1....
2018-06-01 10:12:00
677
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人