- 博客(64)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 欠拟合与过拟合
欠拟合与过拟合机器学习中的泛化，泛化即是，模型学习到的概念在它处于学习的过程中时模型没有遇见过的样本时候的表现。在机器学习领域中，当我们讨论一个机器学习模型学习和泛化的好坏时，我们通常使用术语：过拟合和欠拟合。我们知道模型训练和测试的时候有两套数据，训练集和测试集。在对训练数据进行拟合时，需要照顾到每个点，而其中有一些噪点，当某个模型过度的学习训练数据中的细节和噪音，以至于模型在新的数据上表现很...
2020-04-11 12:28:20
665
原创 cifar10数据集的读取
cifar10数据集----加载数据# 由于数据是被序列化以后存储的，因此我们需要使用Python中的pickle包将它们读进来# https://www.cnblogs.com/fmgao-technology/p/9078918.htmlimport pickle# 定义load_cifar10_batch函数来获取batch中的features和labelsdef load_c...
2020-04-10 20:40:21
3417
原创 用Python对案例进行Ridge算法和Lasso算法的比较
文章目录1. 加载数据2.数据处理3.划分数据4.搭建管道5.数据分割6. 画图7. 特别说明1. 加载数据import numpy as npimport matplotlib as mplimport matplotlib.pyplot as pltimport pandas as pdimport warnings # 警告处理from sklearn.linear_mod...
2020-04-07 20:55:03
1267
原创 Python----Linear regression
回归算法之线性回归线性回归的定义是：目标值预期是输入变量的线性组合。线性模型形式简单、易于建模，但却蕴含着机器学习中一些重要的基本思想。线性回归，是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。优点：结果易于理解，计算不复杂缺点：对非线性的数据拟合不好适用数据类型：数值型和标称型对于单变量线性回归，例如：前面房价例子中房子的大小...
2020-04-06 21:05:43
8254
1
原创 机器学习中分类器的性能评估
分类器性能评估在许多实际问题中，衡量分类器任务的成功程度是通过固定的性能指标来获取。一般最常见使用的是准确率，即预测结果正确的百分比。然而有时候，我们关注的是负样本是否被正确诊断出来。例如，关于肿瘤的的判定，需要更加关心多少恶性肿瘤被正确的诊断出来。也就是说，在二类分类任务下，预测结果(Predicted Condition)与正确标记(True Condition)之间存在四种不同的组合，构成...
2020-04-02 21:14:34
1155
原创 求解逻辑回归----梯度下降
文章目录案例简介数据可视化建立分类器（求解出三个参数θ0、θ1、θ2）[sigmoid : 映射到概率的函数](http://pengfoo.com/post/machine-learning/2016-08-07)model : 返回预测结果值cost : 根据参数计算损失gradient : 计算每个参数的梯度方向descent : 进行参数更新精度案例简介https://www.jian...
2020-04-01 20:37:29
630
1
原创 Logistic回归----葡萄酒案例
import numpy as npimport matplotlib as mplimport matplotlib.pyplot as pltimport pandas as pdimport warningsfrom sklearn.linear_model import LogisticRegressionCV # 逻辑回归模型from sklearn.linear_mod...
2020-03-31 21:14:04
4656
1
原创 分类算法学习（三）决策树
文章目录分类算法之决策树特征选择信息的度量和作用信息增益信息增益的计算method决策树本地保存决策树优缺点分析集成方法（分类）之随机森林学习算法属性方法波士顿房屋租赁价格预测完整代码分类算法之决策树决策树是一种基本的分类方法，当然也可以用于回归。我们一般只讨论用于分类的决策树。决策树模型呈树形结构。在分类问题中，表示基于特征对实例进行分类的过程，它可以认为是if-then规则的集合。在决策树...
2020-03-30 20:19:21
1783
原创 分类算法学习（二）逻辑回归
文章目录分类算法之逻辑回归逻辑回归属性特点分析案例----乳腺癌分类第一步：导入需要的各种包第二步：设置显示中文字体和正常显示符号第三步：拦截异常第四步：读取数据第五步：异常数据处理第六步：数据提取以及数据分割第七步：数据分割第八步：数据归一化第九步：模型训练第十步：模型评估第十一步：数据预测第十二步：画图分类算法之逻辑回归逻辑回归（Logistic Regression），简称LR。它的特点...
2020-03-29 19:29:36
533
原创 机器学习分类算法中的朴素贝叶斯算法
文章目录朴素贝叶斯概率论基础互联网新闻分类性能测试朴素贝叶斯算法进行分类朴素贝叶斯朴素贝叶斯（Naive Bayes）是一个非常简单，但是实用性很强的分类模型。朴素贝叶斯分类器的构造基础是贝叶斯理论。概率论基础概率定义为一件事情发生的可能性。事情发生的概率可以 通过观测数据中的事件发生次数来计算，事件发生的概率等于改事件发生次数除以所有事件发生的总次数。举一些例子：扔出一个硬币，结果头...
2020-03-28 21:15:25
501
原创 用案例来实现决策树
import operatorfrom math import log# 计算给定数据集的香农熵# H(x) = -sum{p(i)log[p(i)]}def calcShannonEnt(dataSet): numEntries = len(dataSet) # 计算数据集的数目 labelCounts = {} # 创建空字典，key为标签，value为数据集中为key标签...
2020-03-25 21:07:01
313
原创 k近邻算法---理解
import numpy as np # 科学计算包Numpyimport operator # 运算符模块"""对未知类别属性的数据集中的每个点依次执行一下操作：（1）计算已知类别数据集中的点与当前点之间的距离 （2）按照距离递增次序排序 （3）选取与当前点距离最小的k个点 （4）确定前k个点所在类别的出现频数 （5）返回当前k个点出现频数最高的类别作为当前点的预测分类...
2020-03-24 19:37:37
411
原创 k近邻案例（二）
文章目录第一步：导入模块第二步：导入数据及数据预处理第三步：创建训练集和测试集第四步：创建模型效果验证第五步：调用模型设置实际值进行预测第一步：导入模块# 导入Pandas进行数据处理import pandas as pd# 导入机器学习库中的K近邻回归模型from sklearn.neighbors import KNeighborsRegressor# 导入机器学习库中的均方误差回...
2020-03-20 15:27:30
1122
原创 k-近邻算法案例分析
文章目录读入Iris数据集细节资料对Iris数据集进行分割对特征数据进行标准化读入Iris数据集细节资料from sklearn.datasets import load_iris# 使用加载器读取数据并且存入变量irisiris = load_iris()# 查验数据规模iris.data.shape# 查看数据说明print(iris.DESCR)Iris Plants D...
2020-03-05 20:53:39
1063
原创 python学习笔记第二十四天--------sklearn与特征工程
文章目录1. sklearn与特征工程1.1 数据的特征工程1.2 特征工程的意义1.3 特征工程之特征处理1.4 特征工程之特征抽取与特征选择2. 数据2.1 数据的类型2.2 数据的特征抽取2.2.1 分类特征变量提取2.2.2 文本特征提取2.3 数据的特征预处理2.3.1 单个特征2.3.2 多个特征2.4 数据的特征选择3. sklearn数据集与机器学习组成3.1 scikit-le...
2020-03-05 20:37:43
682
原创 案例--------数据降维
数据来源：https://www.kaggle.com/c/instacart-market-basket-analysis/data数据下载：https://pan.baidu.com/s/1wr8caSCkTW8RKuO1YfK6Pw提取码：1zf7import pandas as pdfrom sklearn.decomposition import PCAfrom sklearn...
2020-03-03 13:18:02
713
原创 python学习笔记第二十三天--------特征抽取实例
文章目录1. 特征1.1 特征抽取1.2 字典特征抽取1.3 文本特征抽取1.4 TF-IDF2. 数据的特征处理2.1 归一化2.2 标准化2.3 缺失值处理2.4 特征选择2.5 特征降维1. 特征# 特征抽取，特征抽取针对非连续型数据和对文本等进行特征值化# 1. 导入Scikit-learn库# sklearn特征抽取API--------sklearn.feature_extr...
2020-03-02 16:00:52
704
原创 python学习笔记第二十二天--------NumPy（一）
文章目录ndarray 的随机创建ndarray的序列创建ndarray 的arage 和reshape数组的数据类型转换ndarray 的随机创建# 导入numpy,别名是npimport numpy as np# 导入matplotlib，别名pltimport matplotlib.pyplot as plt# random表示常见随机数，rand表示创建一个随机的浮点数数组...
2020-02-29 21:04:42
371
原创 python学习笔记第二十二天--------NumPy（三）
import numpy as nparr = np.random.randn(3, 4)arrarray([[-0.88890007, 0.43451555, -0.32082365, -0.66832376], [ 1.21584378, -1.1086847 , 0.28206634, 0.81483576], [ 1.19277385, -1.3...
2020-02-29 21:03:50
356
原创 python学习笔记第二十二天--------NumPy（二）
文章目录ndarray的矩阵运算ndarray 的切片、索引操作ndarray 的条件索引ndarray的维数转换 transpose()ndarray的矩阵运算import numpy as nparr = np.arange(10)print(arr)[0 1 2 3 4 5 6 7 8 9]# 矩阵之间的运算，是按矩阵级的运算，每一个元素和对应索引的运算进行运算prin...
2020-02-29 21:02:32
333
原创 Pandas案例--------PM2.5数据统计
文章目录数据读取数据整理PeriodIndex函数----时间段优化数据来源： https://www.kaggle.com/uciml/pm25-data-for-five-chinese-cities数据读取from matplotlib import font_managerfrom matplotlib import pyplot as pltimport pandas as p...
2020-02-29 20:52:11
694
原创 python学习笔记第二十一天------------数据分析工具Pandas
文章目录1. 数据分析工具Pandas2. Pandas的数据结构2.1 Series2.1.1 通过list构建Series2.1.2 获取数据和索引2.1.3 通过索引获取数据2.1.4 索引与数据的对应关系不被运算结果影响2.1.5 通过dict构建Series2.1.6 name属性2.2 DataFrame2.2.1 通过ndarray构建Data...
2020-02-18 14:45:44
1047
原创 python学习笔记第二十天------------ndarray的元素处理
文章目录一. 元素计算函数二. 元素统计函数三. 元素判断函数四. 元素去重排序函数一. 元素计算函数ceil(): 向上最接近的整数，参数是 number 或 arrayfloor(): 向下最接近的整数，参数是 number 或 arrayrint(): 四舍五入，参数是 number 或 arrayisnan(): 判断元素是否为 NaN(Not a Number)，参数是 n...
2020-02-14 15:12:38
415
原创 python学习笔记第二十天------------ndarray的矩阵运算
一. ndarray的矩阵运算数组是编程中的概念，矩阵、矢量是数学概念。在计算机编程中，矩阵可以用数组形式定义，矢量可以用结构定义!1.1 矢量运算相同大小的数组间运算应用在元素上示例代码（1）：# 矢量与矢量运算 arr = np.array([[1, 2, 3], [4, 5, 6]]) print("元素相乘：") print(arr * arr) print("矩阵相加：...
2020-02-14 15:12:23
399
原创 python学习笔记第二十天------------ndarray的创建与数据类型
文章目录一. Numpy（Numerical Python）二. Scipy三. Numpy 的基本用法3.1 ndarray 多维数组(N Dimension Array)3.2 ndarray的随机创建3.3 ndarray的序列创建3.3.1 np.array(collection)3.3.2 np.zeros()3.3.3 np.ones()3.3.4 np.empty()...
2020-02-14 15:12:00
467
原创 python学习笔记第二十天------------数据分析之建模理论基础
文章目录一、工作环境准备及数据分析建模理论基础1.1 Python版本1.2 Python环境及IDE二、编码回顾和Python 3.x新特性2.1 字符串编码格式回顾：2.2 Python3.x 常用的新特性三、数据分析3.1 什么是数据分析3.2 数据分析的过程3.3 数据分析的工具四、数据建模基础4.1 大数据分析场景和模型应用4.2 常见的数据建模分类4.2.1 分类与回归4.2.2 聚类...
2020-02-14 15:11:05
672
原创 python学习笔记第十九天------------mini-web框架添加路由、MySQL功能
文章目录1. 伪静态、静态和动态的区别1.1 静态URL1.2 动态URL1.3 伪静态URL2. mini web框架----路由3. mini-web框架----实现伪静态url4. mini-web框架-从mysql中查询数据4.1 准备数据4.1.1 创建数据库4.1.2 选择数据库4.1.4 表结构如下4.2 my_web.py5. mini-web框架----组装数据...
2020-02-11 14:36:02
493
1
原创 python学习笔记第十九天------------元类实现ORM
文章目录1. mini-web框架----路由支持正则2. mini-web框架----mysql（增加）3. mini-web框架----mysql（删除）4. mini-web框架----mysql（修改）5. mini-web框架----url编码5.1 python3对url编解码5.2 my_web.py6. logging日志模块6.1 日志级别6.2 日志输出6.2.1 将日志输...
2020-02-11 14:35:01
374
转载 python学习笔记第十八天------------闭包和装饰器
文章目录1. 闭包1.1 函数引用1.2 什么是闭包1.3 闭包的实例1.4 修改外部函数中的变量2. 装饰器2.1 代码2.2 实例2.3 再议装饰器2.4 装饰器(decorator)功能2.5 装饰器示例1. 闭包1.1 函数引用def test1(): print("--- in test1 func----")# 调用函数test1()# 引用函数re...
2020-02-09 20:07:10
449
原创 python学习笔记第十八天------------服务器动态资源请求
文章目录1. 服务器动态资源请求1.1 浏览器请求动态页面过程1.2 WSGI1.3 定义WSGI接口1.4 web服务器WSGI协议----web框架 传递的字典2. 应用程序示例3. Web动态服务器----基本实现3.1 文件结构3.2 web/my_web.py3.3 web_server.py4. mini web框架----文件结构4.1 文件结构4.2 my_web.py4.3...
2020-02-09 20:06:47
490
原创 如何正确的在虚拟机中安装 Ubuntu系统
在虚拟机中安装 Ubuntu步骤安装前的准备和基本安装设置语言环境安装常用软件1. 安装前的准备和基本安装1.1 安装前的准备访问 http://cn.ubuntu.com/download/ 下载 Ubuntu 16.04 版本在操作系统上安装 VMWare 虚拟机软件为什么要使用虚拟机？不需要准备 额外的电脑在虚拟机中可以 大胆尝试任何操作，不用担心造成不可逆...
2020-02-08 19:21:03
1024
原创 python学习笔记第十七天------------MySQL数据库
文章目录1. 数据库简介1.1 RDBMS1.2 SQL1.3 MySQL 简介2. 数据完整性3. 数据库的指令4. 数据表的指令5. 增删改查(curd)6. 数据库设计7. MySQL-基本使用7.1 MySQL-查询7.1.1 创建数据库、数据表**7.1.2 准备数据**7.1.3 消除重复行7.2 条件7.2.1 比较运算符7.2.2 逻辑运算符7....
2020-02-08 14:54:45
3861
转载 MySQL的卸载与安装
1. CentOS下MySQL的彻底卸载因为多次尝试安装MySQL导致很多文件发生冲突，所以为了避免冲突先将以前安装的MySQL彻底删除。2. CentOS下MySQL的彻底卸载
2020-02-07 16:49:49
387
原创 python学习笔记第十六天------------网络编程之http协议、web并发服务器
文章目录1. http协议1.1 HTTP协议简介1.2 HTTP请求1.2.1 步骤11.2.2 步骤21.2.3 步骤31.3 HTTP格式1.3.1 HTTP GET请求的格式1.3.2 HTTP POST请求的格式1.3.3 HTTP响应的格式2. Web静态服务器----显示固定的页面3. Web静态服务器----显示需要的页面4. Web静态服务器----多进程5. Web静态服务器...
2020-02-06 13:36:44
485
原创 python学习笔记第十六天------------网络编程之正则表达式概述
文章目录1. 正则表达式概述2. re模块操作2.1 re模块的使用过程2.2 re模块示例3. 匹配单个字符4. 匹配多个字符5. 匹配开头结尾6. 匹配分组7. re模块的高级用法7.1 search7.2 findall7.3 sub 将匹配到的数据进行替换7.4 split 根据匹配进行切割字符串，并返回一个列表8. 贪婪和非贪婪9. r的作用1. 正则表达式概述场景1：在一个文件中，...
2020-02-06 13:35:38
381
原创 应用--------并发下载器
应用--------并发下载器并发下载原理from gevent import monkeyimport geventimport urllib.request# 有耗时操作时需要monkey.patch_all()def my_downLoad(url): print('GET: %s' % url) resp = urllib.request.urlopen(...
2020-02-05 20:02:52
382
原创 python学习笔记第十五天------------网络编程之协程
文章目录1. 迭代器1.1 可迭代对象1.2 如何判断一个对象是否可以迭代1.3 可迭代对象的本质1.4 iter()函数与next()函数1.5 如何判断一个对象是否是迭代器1.6 迭代器Iterator1.7 for...in...循环的本质1.8 迭代器的应用场景1.9 并不是只有for循环能接收可迭代对象2. 生成器2.1 生成器2.2 创建生成器方法12.3 创建生成器方法22.4 使用...
2020-02-05 20:01:23
461
1
原创 应用--------文件夹copy器（多进程版）
应用：文件夹copy器（多进程版）import multiprocessingimport osimport timeimport randomdef copy_file(queue, file_name,source_folder_name, dest_folder_name): """copy文件到指定的路径""" f_read = open(source_fo...
2020-02-05 19:53:48
352
原创 python学习笔记第十五天------------网络编程之进程
文章目录1. 进程1.1 进程1.2 进程的状态2. 进程的创建-multiprocessing2.1 2个while循环一起执行2.2 进程pid2.3 Process语法结构如下2.4 给子进程指定的函数传递参数2.5 进程间不同享全局变量3. 进程、线程对比3.1 功能3.2 定义的不同3.3 区别3.4 优缺点4. 进程间通信-Queue4.1 Queue的使用4.2 Queue...
2020-02-05 19:53:09
429
原创 应用--------多任务版udp聊天器
案例：多任务版udp聊天器说明编写一个有2个线程的程序线程1用来接收数据然后显示线程2用来检测键盘数据然后通过udp发送数据要求实现上述要求总结多任务程序的特点参考代码:import socketimport threadingdef send_msg(udp_socket): """获取键盘数据，并将其发送给对方""" while Tr...
2020-02-05 14:44:55
365
breast-cancer-wisconsin.data
2020-03-29
名片管理系统.rar
2020-01-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人