![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
数据挖掘与人工智能
文章平均质量分 83
数据挖掘算法总结,pthon实战数据挖掘、案例分享
蜘蛛侠不会飞
关注公众号【不至于编程】,回复【CS】获取30本豆瓣高分计算机就书籍,包括操作系统、计算机网络、数据结构与算法等
展开
-
R语言杂七杂八的笔记
1、决策树(Decision Tree):是在已知各种情况发生概率的基础上,通过构成决策树来求取净现值的期望值大于等于零的概率,评价项目风险,判断其可行性的决策分析方法,是直观运用概率分析的一种图解法。(即分类的属性均在数据表中,不能决策出不存在的属性) 2、...原创 2018-05-09 17:33:26 · 621 阅读 · 0 评论 -
决策树
决策树是基于树结构来进行决策,这恰是人类在面临决策问题时一种很自然的处理机制。例如,我们要对“这是好瓜吗?”这样的问题进行决策时,通常会进行一系列的判断或“子决策”:我们先看“它是什么颜色?”,如果是“青绿色”,则我们再看“它的根蒂是什么形态?”,如果是“蜷缩”,我们再判断“它敲起来是什么声音?”,最后我们得出决策:这是一个好瓜。这个决策如图所示: ...转载 2018-05-08 22:36:42 · 1656 阅读 · 0 评论 -
使用R语言的plot()函数画图
plot()函数是R中画x-y两个变量的函数用runif()函数产生了两列随机数:x1,y1,然后用plot()函数直接画图:1.简单使用> x1<-round(runif(20,min=0,max=100))> x1 [1] 88 34 93 40 3 75 27 72 25 71 22 84 62 69 70 97 44 69 3 45> y1<-rou...原创 2018-05-08 20:57:36 · 21404 阅读 · 2 评论 -
FP-growth算法
相较于Apriori 算法:FP-growth算法对于挖掘长的短的频繁模式,都是有效和可以伸缩的,并比Apriopri算法快了1 个数量级;但当数据库很大时,构造基于内存的FP-tree 是不太现实的。关于关联分析算法有一个非常有名的故事:”尿布和啤酒”。故事是这样的:美国的妇女们经常会嘱咐她们的丈夫下班后为孩子买尿布,而丈夫在买完尿布后又要顺手买回自己爱喝的啤酒,因此啤酒和尿布在一...转载 2018-04-18 21:34:12 · 5660 阅读 · 0 评论 -
R、RStudio下载与安装方法
现如今,R语言是统计领域广泛使用的工具,是属于GNU系统的一个自由、免费、源代码开放的软件,是用于统计计算和统计绘图的优秀工具。而RStudio是R的集成开发环境,用它进行R编程的学习和实践会更加轻松和方便。下面就教大家如何下载并安装R和RStudio,比较简单。R的维护工作由一个国际化的开发者团队负责。R软件的官方下载页面叫作The Comprehensive R Archive Networ...转载 2018-04-14 10:21:01 · 160703 阅读 · 15 评论 -
莫烦的python可视化:基于matplotlib.pyplot
相关的练习:#coding=gbk'''Created on 2018年10月5日这是来自于视频博主 莫烦的 plt 的基础教学,@author: Administrator'''import matplotlib.pyplot as plt import numpy as npdef test_figure(show=False, show_figure1=False,...原创 2018-10-05 22:39:59 · 593 阅读 · 0 评论 -
PySpark机器学习-分类与回归实例
1. 二元分类预测网页是 暂时性的, 还是 长青的 (ephemeral, evergreen)》读取文件,创建DataFrame 格式数据from pyspark.context import SparkContext from pyspark.sql.session import SparkSession# sc = SparkContext("local")# s...原创 2019-06-07 23:02:36 · 6789 阅读 · 4 评论 -
PySpark实战指南:准备数据建模
准备数据建模:from pyspark.context import SparkContextfrom pyspark.sql.session import SparkSessionsc = SparkContext('local')spark = SparkSession(sc)df = spark.createDataFrame([ (1, 144.5, 5....原创 2019-06-04 21:42:07 · 3566 阅读 · 0 评论 -
PySpark 基础知识-RDD 弹性分布式数据集 和 DataFrame
1.RDD(弹性分布式数据集)创建第一种:读取一个外部数据集。比如,从本地文件加载数据集,或者从HDFS文件系统、HBase、Amazon S3等外部数据源中加载数据集。 第二种:调用SparkContext的parallelize方法,在Driver中一个已经存在的集合(数组)上创建。>>> data = sc.parallelize(range(10))&g...原创 2019-06-04 19:55:47 · 1039 阅读 · 0 评论 -
window 下安装scala 和 spark,绝对成功!!
安装Scala和spark的坑有点多呀,scala的版本与spark的版本是相关的。jdk版本最好是:jdk1.8,可能其他版本会不成功 jdk(重要) scala spark hadoop 1.8.0_152 2.11.8 2.3.1 ...原创 2018-12-06 09:35:01 · 840 阅读 · 0 评论 -
使用python依次读取文件中的所有csv格式的数据
使用python依次读取文件中的所有csv格式的数据:#coding=gbkimport pandas as pd import ospath = r'D:\ml_datasets\PHM\c6'def get_file(): #创建一个空列表 files =os.listdir(path) files.sort() #排序 ...原创 2018-10-10 22:22:13 · 14236 阅读 · 0 评论 -
数据分析实例-MovieLens 1M 数据集
MovieLens 1M数据集含有来自6000名用户对4000部电影的100万条评分数据。分为三个表:评分,用户信息,电影信息。这些数据都是dat文件格式。读取3个数据集:#coding=gbk# MovieLens 1M数据集含有来自6000名用户对4000部电影的100万条评分数据。# 分为三个表:评分,用户信息,电影信息。这些数据都是dat文件格式# ,可以通...原创 2018-08-01 17:05:22 · 8757 阅读 · 1 评论 -
数据分析实例-USA 政府的数据集
2011年,短链接服务商(URL shortening service)Bitly和美国政府网站USA.gov合作,提供了一份从用户中收集来的匿名数据,这些用户使用了结尾为.gov或.mil的短链接。在2011年,这些数据的动态信息每小时都会保存一次,并可供下载。不过在2017年,这项服务被停掉了。数据是每小时更新一次,文件中的每一行都用JOSN(JavaScript Object Notat...原创 2018-07-27 21:52:42 · 1719 阅读 · 0 评论 -
pandas时间序列
时间序列(time series)数据是一种重要的结构化数据形式,。在多个时间点观察或测量到的任何时间都可以形成一段时间序列。很多时间, 时间序列是固定频率的, 也就是说, 数据点是根据某种规律定期出现的(比如每15秒。。。。)。时间序列也可以是不定期的。时间序列数据的意义取决于具体的应用场景。主要由以下几种:1.时间戳;(timestamp)特定的时刻2.固定时间:(perio...原创 2018-07-25 22:12:35 · 11728 阅读 · 0 评论 -
pandas中 transform 函数和 apply 函数的区别
There are two major differences between thetransformandapplygroupby methods.applyimplicitly passes all the columns for each group as aDataFrameto the custom function, whiletransformpasses ...原创 2018-07-25 16:16:56 · 10785 阅读 · 1 评论 -
数组聚合和分组运算
对数据集进行分组并对各组应用一个函数(无论是聚合还是转换), 这是数据分析工作的重要环节。 在数据集准备好之后, 通常任务就是计算分组统计或者生产透视表。pandas提供了一个灵活的高效的groupby 功能, 它使你能以一种自然的方式对数据集进行切片, 切块,摘要等操作。 goupby 技术: split - apply - combine (拆分- 应用- 合并)。例如...原创 2018-07-23 17:31:17 · 2227 阅读 · 0 评论 -
Python数据挖掘入门与实践--用转换器抽取特征
数据来源:https://archive.ics.uci.edu/ml/datasets/Adult所使用的数据是描述人及其所处的环境,背景及其生活状况,挖掘目标是:预测一个人是否年收入要多于5 万美元 1.特征抽取: 特征抽取是数据挖掘中最为重要的一个环节,一般而言,它最终的结果影响要高于数据挖掘算法本身。不幸的是,关于如何选取好的特征,还没有严格的...原创 2018-07-29 22:22:27 · 683 阅读 · 0 评论 -
Python数据挖掘入门与实践---用决策树预测获胜球队
数据集来源:1.2013-14NBASchedule and Results 2.2013年 NBA 赛季排名情况参考书籍:《Python数据挖掘入门与实践》1.加载数据集:使用pandas加载数据集,有1319行数据, 8个特征, 查看前5项数据集,并查找是否有重复数据#coding=gbk#使用决策树来预测获胜...原创 2018-07-20 17:22:40 · 3020 阅读 · 3 评论 -
PyTorch回归训练
1. 创建用于回归的虚拟数据集2. 划分训练集和测试集3. 参数初始化比较4 批训练方法#!/usr/bin/env python# -*- coding: utf-8 -*-"""__title__ = ''"""import torchfrom torch import nnimport torch.nn.functional as Fimport torc...原创 2019-05-31 17:59:42 · 5667 阅读 · 0 评论 -
Windows环境下安装pygal
pygal是一个SVG图表库。SVG是一种矢量图格式。全称Scalable Vector Graphics -- 可缩放矢量图形。用浏览器打开svg,可以方便的与之交互。使用Windows终端命令,win+R ,输入cmdpython -m pip install --user pygal==1.7如果你的pip不是最新的,可以更新python -m pip instal...原创 2018-06-27 17:09:41 · 12544 阅读 · 1 评论 -
解决安装了numpy,pandas等库,eclipse不能使用的问题(Windows环境下)
在使用pip install xxxx 安装好了numpy库,就是一直在eclipse上不能使用。。。。。。。。。。。荒废了好多时间,艾,最怕配置什么环境。。。。巴拉巴拉的了。。。。费时间前提是:已经安装好numpy库。1,在使用Windows终端还是可以使用numpy库的:2,但是在eclipse上不能使用,报错:Traceback (most recent call...原创 2018-06-07 12:08:04 · 4685 阅读 · 2 评论 -
Windows环境下安装使用Numpy、Scipy、matplotlib,pandas、xgboost库
一、安装环境Windows7 64、python3.4所有库的下载地址:https://www.lfd.uci.edu/~gohlke/pythonlibs/二、Numpy下载1、下载Numpy:下载地址:https://www.lfd.uci.edu/~gohlke/pythonlibs/#numpycp34表示python3.4,因为我的python是amd64的,...原创 2018-06-06 21:23:42 · 1764 阅读 · 1 评论 -
Python34安装pip-9.0.3(Windows环境下)
Windows 7环境下,按win + R , 输入cmd打开终端打开pip安装文件,如:D:\Python D:cd Pythonpython setup.py install如图,表示成功了。之前,按照下列方式时一直报错:cd D:cd Pythonpython setup.py install报错:python: can't open...原创 2018-06-06 15:36:36 · 1955 阅读 · 0 评论 -
Python数据分析(8)matplotlib库的使用:基本图像类型(直方图,条形图,饼图)
#coding=gbkimport matplotlib.pyplot as pltimport numpy as np#图像的基本 类型#1.线性图x=np.arange(-2*np.pi,2*np.pi,0.01)y1=np.sin(3*x)/xy2=np.sin(2*x)/xy3=np.sin(4*x)/xplt.plot(x,y1)plt.plot(x,y2,'k--...原创 2018-06-11 22:36:10 · 964 阅读 · 0 评论 -
Python数据分析(7)matplotlib库的使用:主要图像元素的用法
#coding=gbk#使用matplotlib库实现数据可视化import matplotlib.pyplot as pltimport numpy as np# plt.plot([1,2,3,4],linewidth=3,color='red') #linewidth 线宽 color 线的颜色# #plt.show()将注释#号删除,plt.show(),可以运行代码,得到...原创 2018-06-11 20:16:16 · 291 阅读 · 0 评论 -
Python数据分析(6)数据转换和数据聚合
#coding=gbk#数据处理import numpy as npimport pandas as pd#轴向旋转:按照行重新调整列的顺序,或者相反frame=pd.DataFrame(np.arange(9).reshape(3,3), index=['white','blue','black'], col...原创 2018-06-09 21:29:50 · 535 阅读 · 0 评论 -
Python数据分析(5)数据处理:数据合并、拼接和组合
#coding=gbk#数据处理import numpy as npimport pandas as pd#合并操作frame1=pd.DataFrame({'id':['pencil','pen','book','smug'], 'price':[12,14,23.5,66]})print(frame1)# id pric...原创 2018-06-09 16:56:40 · 19494 阅读 · 0 评论 -
Python数据分析(4)pandas库的使用:数据的读写
函数一览表:#coding=gbk#pandas数据读写#1csv和文本文件的读取import numpy as npimport pandas as pdmydata=pd.read_csv('D:\data\mydata.csv') #读取数据print(mydata)# color object name others# 0 ...原创 2018-06-09 15:14:02 · 682 阅读 · 0 评论 -
Python数据分析(3)pandas库的使用:索引,统计函数,排序和NaN数据值处理
#coding=gbk#pandas 库#索引对象的其他功能import numpy as npimport pandas as pd#1,更换索引 reindex()frame=pd.Series([1,5,6,3],index=[0,3,5,6])print(frame)# 0 1# 3 5# 5 6# 6 3# dtype: int64pr...原创 2018-06-08 21:09:02 · 1048 阅读 · 0 评论 -
Python数据分析(2)pandas库的使用:Series对象,DataFrame对象,Index对象
pandas 库使用索引机制,有Series 和 DataFrame 2种数据结构,得益于pandas的索引机制,我们可以很方便地对数据的行,和列进行操作。#coding=gbk#pandas 库的使用#pandas 库使用索引机制,有Series 和 DataFrame 2种数据结构import pandas as pdimport numpy as npprint("----...原创 2018-06-07 21:49:44 · 1708 阅读 · 0 评论 -
Python数据分析(1)Numpy库使用方法
Numpy是一个开源的Python科学计算库,它是python科学计算库的基础库,许多其他著名的科学计算库如Pandas,Scikit-learn等都要用到Numpy库的一些功能。Numpy数组通常是由相同种类的元素组成的,即数组中的数据项的类型一致。这样有一个好处,由于知道数组元素的类型相同,所以能快速确定存储数据所需空间的大小。Numpy数组能够运用向量化运算来处理整个数组,速度较快;而P...原创 2018-06-07 16:32:40 · 663 阅读 · 0 评论 -
超参数调节
1.网格搜索参数GridSearchCV 类class sklearn.model_selection.GridSearchCV(estimator, param_grid, scoring=None, fit_params=None, n_jobs=1, iid=True, refit=True, cv=None, verbose=0, pre_dispatch=‘2*n_jobs’, ...原创 2018-07-20 21:45:50 · 1670 阅读 · 0 评论 -
参数检验和非参数检验
一、参数检验1、基本思想2、两类错误3.、检验步骤4、检验的p值在一个假设检验问题中, 拒绝原假设H0的最小显著性水平称为检验的p值.5、单正态总体参数的检验(1)(2)(3)6、两正态总体参数的检验(1)(2)7、成对数据的t检验所谓成对数据, 是指两个样本的样本容量相等, 且两个样本之间除均值之外没有另的差异.8、单样本比率的检验(1)比率p的精确检验(2)比率p的近似检验9、两样本比率的检验...转载 2018-05-22 21:34:33 · 44180 阅读 · 1 评论 -
从SVM中获取支持向量
1.KKT条件(不等式约束条件)设目标函数f(x),不等式约束为g(x),等式约束条件h(x)。此时的约束优化问题描述如下:则我们定义不等式约束下的拉格朗日函数L,则L表达式为:其中f(x)是原目标函数,hj(x)是第j个等式约束条件,λj是对应的约束系数,gk是不等式约束,uk是对应的约束系数。0此时若要求解上述优化问题,...原创 2019-05-16 21:27:33 · 3369 阅读 · 0 评论 -
非正态分布数据转换成正态分布
常用的变量变换方法有对数变换、平方根变换、倒数变换、平方根反正弦变换等,应根据资料性质选择适当的变量变换方法。1. 对数变换即将原始数据X的对数值作为新的分布数据:X’=lgX当原始数据中有小值及零时,亦可取X’=lg(X+1)还可根据需要选用X’=lg(X+k)或X’=lg(k-X)对数变换常用于(1)使服从对数正态分布的数据正态化。如环境中某些污染物的分布,人体中某些...原创 2018-11-22 22:32:58 · 39428 阅读 · 3 评论 -
Python中使用sklearn 的 Pipeline 管道机制
pipeline管道机制使用方法:流水线的输入为一连串的数据挖掘步骤,其中最后一步必须是估计器(Estimator),可理解成分类器前几步是转换器(Transformer)。输入的数据集经过转换器的处理后,输出的结果作为下一步的输入。最后,用位于流水线最后一步的估计器对数据进行分类。每一步都用元组( ‘名称’,步骤)来表示。现在来创建流水线。pipe = Pipeline([('sc',Stand...原创 2018-07-10 16:20:58 · 23380 阅读 · 2 评论 -
Python数据挖掘入门与实践---使用scikit-learn 估计器分类
本章的几个概念: 估计器(estimator) 用于分类、聚类和回归分析 转换器(transformer):用于数据预处理回来数据转换 流水线(pipeline): 组合数据挖掘流程, 便于在此使用 1.scikit-learn估计器数据集下载地址:UCI加载数据集:#coding=gbk #python 数据...原创 2018-07-16 17:15:24 · 1073 阅读 · 0 评论 -
数据挖掘建模-Logistic回归
逻辑回归的基本过程:a建立回归或者分类模型--->b 建立代价函数 ---> c 优化方法迭代求出最优的模型参数 --->d 验证求解模型的好坏。1.逻辑回归模型:逻辑回归(Logistic Regression):基于线性回归的分类算法。一般用于解决二分类问题。线性回归模型如下:逻辑回归思想是基于线性回归(Logistic Reg...原创 2018-07-01 21:07:45 · 2683 阅读 · 0 评论 -
数据挖掘-决策树
1.什么是决策树: 决策树是以树状结构表示数据分类的结果非叶子结点代表测试的条件。分支代表测试的结果2.如何构建决策树:´1.信息熵(informationentropy):是度量样本集合纯度最常用的一种指标。2.基尼系数(gini):是度量样本集合不确定性指标。(基尼指数与熵可近似看做是统一概念,都是越大,确定性越差)...原创 2018-07-02 20:19:40 · 11999 阅读 · 0 评论 -
数据挖掘建模(1)分类与预测
经过数据探索和数据预处理, 得到了可以直接建模的数据。 根据挖掘目标, 和数据形式可以建立分类与预测、聚类分析、关联规则、时序模型和偏差检测等模型, 帮助企业提取数据中蕴含的商业价值, 提高企业的竞争力。分类与预测:分类模型的实现步骤:常用的分类与预测算法:可参考: 逻辑回归(Logistic Regression)分类算法 决策树(De...原创 2018-07-01 20:01:19 · 5882 阅读 · 0 评论