赖德发的博客_开心果汁_CSDN博客-数据科学--python,数据科学--机器学习,数据开发-mysql领域博主

原创【python 可视化】精美展示你的机器学习项目

1、包介绍 Streamlit是一个开放源代码的Python库，可轻松构建用于机器学习和数据科学的精美自定义Web应用程序。要使用它，只需导入它，然后编写几行代码，然后使用运行脚本即可。Streamlit监视每次保存时的更改，并在编码时实时更新应用程序。代码从上到下运行，始终从干净状态开始，不需...

2020-06-02 09:51:28 11 0

原创【模型图片展示】OSError: `pydot` failed to call GraphViz.Please install GraphViz

1、安装包 pip install pydot-ng pip install graphviz pip install pydot 2.安装了以上模块，但是还是报错误,发现GraphViz的可执行文件没有，需要下载可执行文件。下载地址： win10下载地址下载安装好之后，配置环境变量...

2020-05-28 13:51:37 33 0

原创【python 获取本地mac地址】python获取本地ip、mac地址

python 获取本地mac 地址，本地ip地址 # -*- encoding=utf-8 -*- # 获取本机mac地址 import uuid def get_mac_address(): mac=uuid.UUID(int = uuid.getnode()).hex[-12:] ...

2020-05-18 17:28:50 62 0

原创【python 加速方法】破剑式-numba 提高python速度

python一直被病垢运行速度太慢，但是实际上python的执行效率并不慢，慢的是python用的解释器Cpython运行效率太差。“一行代码让python的运行速度提高100倍”这绝不是哗众取宠的论调。下面我们来看个例子：从1一直累加到1亿。 import time def foo(x,y...

2020-04-26 16:38:53 111 0

原创【回归算法评价指标】MAE,MSE,RMSE,R-square计算函数

回归算法，经常需要用到一些评估指标，它们分别是MAE,MSE,RMSE，R方，python实现如下： # -*- coding: utf-8 -*- import math import numpy as np import pandas as pd # 回归评估指标计算，平均绝对误差，均方误...

2020-04-22 09:16:49 200 0

原创【强化学习--Qlearning】快速入门Q-learning强化学习思想

强化学习是一类算法，是让计算机从什么都不懂，脑袋里一点想法都没有，通过不断地尝试，从错误中学习，最后找到规律，学习到达到目标的方法。这就是一个完整的强化学习过程。如为了实现自走的路径，并尽量避免障碍，设计一个路径。如图所示，当机器人在图中的任意网格中时，怎样让它明白周围环境，最终到达目标位置。...

2020-04-19 13:00:18 158 0

原创【tensorflow2.0 图片数据】tensorflow中准备图片数据的常用方案

在tensorflow中准备图片数据的常用方案有两种，第一种是使用tf.keras中的ImageDataGenerator工具构建图片数据生成器。第二种是使用tf.data.Dataset搭配tf.image中的一些图片处理方法构建数据管道。第一种方法更为简单 from keras.prepr...

2020-04-09 09:30:12 264 0

原创【GPU linux环境搭建】10分钟了解下centos 下 GPU搭建过程

主要内容 1、深度学习显卡驱动安装 2、cudatoolkit安装 3、cudnn安装 4、验证安装成功一、基本环境信息显卡：GeForce GTX 1660 操作系统：CentOS 7.4 二、基础环境验证验证系统是否能正常识别 GPU lspci | grep -i nvidia ...

2020-03-22 14:12:20 337 0

原创【mysql 时间戳】mysql时间戳timestamp类型时间不对

mysql数据库的系统时区，其实是分两种的，一种是mysql的全局时区，另外一种是当前会话的时区，如果当前会话不指定时区，就默认使用全局时区。执行如下命令，用于查看当前MySQL设置的时区信息： show variables like "%time_zone%"; +---...

2020-03-21 10:50:04 175 0

原创【深度学习模型压缩】10分钟了解下模型压缩的常用方法

一、什么是模型压缩？模型压缩的目标是保证模型预测效果的前提下，尽可能地降低模型的大小二、为什么要进行模型压缩？ 1. 模型压缩后，模型很小，进行推断的运算量小，利于在移动端部署。 2. 诸如Bert等深度学习的参数太多了，模型太大了，消耗的计算资源过多，进一步加大了深度学习爱好者们的“贫富差...

2020-03-17 11:12:13 228 0

原创【python 算法接口】FastAPI如何编写POST请求部分

FastAPI 定义请求体，需要 Pydantic 模型。你需要从pydantic中导入BaseModel。 import BaseModel from pydantic 创建数据类型然后，声明你的数据模型为一个类，且该类继承 BaseModel. # 创建数据模型 class Item(Bas...

2020-03-16 10:49:06 1377 0

原创【python 算法接口】使用FastAPI框架快速构建高性能的api服务

一、FastAPI 干啥的？ FastAPI 是用来构建 API 服务的一个高性能框架。二、为什么选择 FastAPI ? FastAPI 是一个现代、高性能 web 框架，用于构建 APIs，基于 Python 3.6 及以上版本。最大特点：快！性能极高，可与 NodeJS, Go 媲美。 ...

2020-02-25 17:28:46 1352 0

原创【python 全局解释锁】10分钟理解CPython的全局解释锁GIL

一、什么是GIL? 全局解释器锁[Global Interpreter Lock]是计算机程序设计语言解释器用于同步线程的一种机制，它使得任何时刻仅有一个线程在执行。即便在多核处理器上，使用 GIL 的解释器也只允许同一时间执行一个线程，常见的使用 GIL 的解释器有CPython与Ruby MR...

2020-02-23 15:18:42 176 0

原创【tensorflow 使用错误】tensorflow2.0 过程中出现 Error : Failed to get convolution algorithm

如果在使用 tensorflow 过程中出现 Error : Failed to get convolution algorithm ，这是因为显卡内存被耗尽了。解决办法：在代码的开头加入如下两句，动态分配显存 physical_device = tf.config.experimental....

2020-02-23 15:02:02 244 1

原创【gitlab 上传代码】gitlab 推送本地代码到远程仓库

1、安装git。 2、新建项目，只勾选私有，或者公开，注意不要勾选readme 3、添加和配置SSH公钥 cd ~/.ssh 如果提示 “ No such file or directory”，手动的创建一个 .ssh文件夹即可 mkdir ~/.ssh git config --global...

2020-02-21 20:17:38 141 0

原创【Anaconda 安装】10分钟快速搭建Linux下python环境

1、进入root，mkdir software 2、cd software 3、下载anaconda3软件，下载地址：https://repo.continuum.io/archive/index.html 下载Anaconda3-2019.10-Linux-x86_64.sh 4、安装Anac...

2020-02-20 10:03:07 176 0

原创【python 机器学习】机器学习算法之CatBoost

主要内容：一、算法背景二、CatBoost简介三、CatBoost的优点四、CatBoost的安装与使用五、CatBoost回归实战六、CatBoost调参模块七、CatBoost 参数详解一、算法背景： 2017年俄罗斯的搜索巨头 Yandex 开源 Catboost 框架。Ca...

2020-01-08 14:19:49 220 0

原创【python 机器学习】正态分布检验以及异常值处理3σ原则

正态曲线呈钟型，两头低，中间高，左右对称因其曲线呈钟形，因此人们又经常称之为钟形曲线。使用K-S检验一个数列是否服从正态分布、两个数列是否服从相同的分布。下面介绍 Python 中常用的几种正态性检验方法： scipy.stats.kstest 异常值是指样本中的个别值，其数值明显偏离其余...

2020-01-07 11:24:54 1400 1

原创【深度学习误差计算】10分钟了解下均方差和交叉熵损失函数

常见的误差计算函数有均方差、交叉熵、KL 散度、Hinge Loss 函数等，其中均方差函数和交叉熵函数在深度学习中比较常见，均方差主要用于回归问题，交叉熵主要用于分类问题。下面我们来深刻理解下这两个概念。 1、均方差MSE。预测值与真实值之差的平方和，再除以样本量。均方差广泛应用在回归问题中...

2020-01-02 21:01:20 127 0

原创【python 机器学习】机器学习算法之LightGBM

算法介绍： LightGBM 由微软2017年提出，主要用于解决 GDBT 在海量数据中遇到的问题，以便其可以更好更快地用于工业实践中。从 LightGBM 名字我们可以看出其是轻量级（Light）的梯度提升机（GBM），其相对 XGBoost 具有训练速度快、内存占用低的特点。实际上，XGBo...

2019-12-31 16:58:38 133 0

原创【机器学习非线性回归模型】10分钟了解下8种常见的非线性回归模型

线性回归模型请看上篇文章，本篇文章介绍的是非线性回归模型线性回归模型链接在目前的机器学习领域中，最常见的三种任务就是：回归分析、分类分析、聚类分析。那么什么是回归呢？回归分析是一种预测性的建模技术，它研究的是因变量（目标）和自变量（预测器）之间的关系。回归分析在机器学习领域应用非常广泛，例如，...

2019-12-29 22:06:27 1045 0

原创【matlab 圆周率计算】matlab 求圆周率的两种算法实现比较

%author:laidefa %data:2014-09-19 %丘德诺夫斯基公式求圆周率 function mpi=qdnfsj(m) i=m; s=13591409; for n=1:i A=(factorial(6*n)(13591409+54514013*n))/(...

2019-12-29 22:05:20 7010 0

原创【机器学习线性模型】10分钟了解下6种常见的线性模型

在目前的机器学习领域中，最常见的三种任务就是：回归分析、分类分析、聚类分析。那么什么是回归呢？回归分析是一种预测性的建模技术，它研究的是因变量（目标）和自变量（预测器）之间的关系。回归分析在机器学习领域应用非常广泛，例如，商品的销量预测问题，交通流量预测问题。下面介绍几种常见的线性回归模型。常用...

2019-12-29 12:08:47 168 0

原创【python 数据可视化】美丽漂亮的画图神器--pyecharts

今天我们介绍下pyechats 的用法和一个简单的例子。安装： pip install pyecharts 步骤1：导入相关包： # 导入包 import pandas as pd from pyecharts.charts import * from pyecharts import op...

2019-12-28 14:21:47 168 0

原创【机器学习模型调参】GridSearchCV模型调参利器

导入模块sklearn.model_selection from sklearn.model_selection import GridSearchCV GridSearchCV 称为网格搜索交叉验证调参，它通过遍历传入的参数的所有排列组合，通过交叉验证的方式，返回所有参数组合下的评价指标得分，...

2019-12-26 12:35:34 185 0

原创【深度学习走进tensorflow2.0】TensorFlow 2.0 常用模块tf.config

本篇文章将会教大家如何合理分配显卡资源，设置显存使用策略。主要使用tf.config模块进行设置。下面我们一起了解下具体用法和例子。一、指定当前程序使用的 GPU 例如，在一台具有 4 块 GPU 和一个 CPU 的工作站上运行以下代码： import tensorflow as tf gp...

2019-12-21 12:00:04 134 0

原创【深度学习项目实战】一个简单的LSTM实现时间序列预测

我们将通过一个简单实例来讲解LSTM建模过程以及模型的使用方法。实例描述如下，我们有一个整数序列[10, 20, 30, 40, 50, 60, 70]，整数序列中共有7个数字，我们的目的或者说我们要解决的问题是，利用已有的这个整数序列来建立模型，用模型预测整数序列的下一个数字应该是多少？也就是整...

2019-12-19 12:22:12 447 0

原创【深度学习项目实战】Keras深度学习多变量时间序列预测的LSTM模型

本篇文章将介绍基于Keras深度学习的多变量时间序列预测的LSTM模型。项目名称：空气污染预测一、主要内容：如何将原始数据集转换为可用于时间序列预测的内容。如何准备数据并使LSTM适合多变量时间序列预测问题。如何进行预测并将结果重新缩放为原始单位。二、数据下载在本教程中，我们将使用...

2019-12-19 10:47:09 244 0

原创【深度学习走进tensorflow2.0】window10安装GPU 版本 TensorFlow 安装指南

版本信息： python 3.7.5 cuda 10.0 cudnn 7.6.4 window 10 pip install tensorflow_gpu==2.0.0 本机显卡：GeForce GTX 1650 显卡驱动已从官方下载安装成功。一、下面我们安装cuda10.0：下载地址：...

2019-12-18 09:49:51 160 0

原创【深度学习走进tensorflow2.0】tensorflow.python.framework.errors_impl.UnknownError: Fail to find the dnn imp

windows10 使用tensorflow_gpu==2.0.0 版本跑代码时报错误：错误描述： Could not create cudnn handle: CUDNN_STATUS_ALLOC_FAILED tensorflow.python.framework.errors_impl.U...

2019-12-18 09:34:03 594 0

原创【深度学习走进tensorflow2.0】TensorFlow 2.0 常用模块TFRecord

主要介绍TensorFlow 另一个数据处理的利器——TFRecord。一、什么是TFRecord ？ TFRecord 是 TensorFlow 中的数据集存储格式。当我们将数据集整理成 TFRecord 格式后，TensorFlow 就可以高效地读取和处理这些数据集，从而帮助我们更高效地进行...

2019-12-17 12:34:20 621 3

原创【深度学习走进tensorflow2.0】TensorFlow 2.0 常用模块：tf.data 数据流加速

上一篇文章TensorFlow 2.0 常用模块tf.data 介绍了基本的使用读取数据方法，下面我们介绍如何通过 prefetch 和 map 的并行化参数，让 tf.data 的性能得到明显提升。当训练模型时，我们希望充分利用计算资源，减少 CPU/GPU 的空载时间。然而有时，数据集的准备...

2019-12-17 09:28:23 84 0

原创【深度学习走开tensorflow2.0】TensorFlow 2.0 常用模块tf.TensorArray

在部分网络结构，尤其是涉及到时间序列的结构中，我们可能需要将一系列张量以数组的方式依次存放起来，以供进一步处理。当然，在 Eager Execution 下，你可以直接使用一个 Python 列表（List）存放数组。不过，如果你需要基于计算图的特性（例如使用 @tf.function 加速模型运...

2019-12-17 09:16:07 79 0

原创【深度学习走进tensorflow2.0】TensorFlow 2.0 常用模块tf.data

背景：很多时候，我们希望使用自己的数据集来训练模型。然而，面对一堆格式不一的原始数据文件，将其预处理并读入程序的过程往往十分繁琐，甚至比模型的设计还要耗费精力。为此，TensorFlow 提供了 tf.data 这一模块，包括了一套灵活的数据集构建 API，能够帮助我们快速、高效地构建数据输入的...

2019-12-16 09:17:14 232 0

原创【深度学习走进tensorflow2.0】TensorFlow binary was not compiled to use: AVX2

window10 本地安装tensorflow cpu 版本 pip install tensorflow==2.0.0 安装完成之后运行时总会显示如下警告信息： Your CPU supports instructions that this TensorFlow binary was n...

2019-12-15 20:43:08 63 0

原创【深度学习走进tensorflow2.0】TensorFlow 2.0 常用模块@tf.function

1、@tf.function 是干什么用的？虽然默认的 Eager Execution 为我们带来了灵活及易调试的特性，但在特定的场合（例如追求高性能或部署模型）时，我们依然希望使用图模式，将模型转换为 TensorFlow 图模型。此时，TensorFlow 2.0 为我们提供了 tf.fun...

2019-12-15 15:07:28 201 0

原创【深度学习走进tensorflow2.0】建立一个递归神经网络（LSTM）对MNIST数字集进行分类

大家都知道卷积神经网络可以用来做图片分类，那么循环神经网络可不可以同样用来做图片分类呢，答案是可以滴，下面我们使用TensorFlow 2.0构建循环神经网络LSTM，一起从minist 学习下吧。数据集特点：该数据集包含60,000个用于训练的示例和10,000个用于测试的示例。这些数字已经...

2019-12-14 20:49:16 275 0

原创【python pip换源】5分钟了解下window10和linux 下换源操作

使用过默认的pip 安装包的同学们都知道，默认的pip 安装起包来速度没有那么快，那么有没有更快速的方法安装起包来呢？有，使用国内的清华镜像源，直接在国内下载安装包，弯道超车起步更快，总比去国外下载包来得更快哦。下面我们一起来了解下具体用法。一、临时使用清华镜像源安装包 pip install ...

2019-12-14 19:42:54 68 0

原创【python 数据处理】数据框行转列以及分组取第一个

一、python数据框按某列分组取第一个核心： df.sort_values(['date_time2','value'],ascending=[1,1],inplace=True) grouped = df.groupby(['date...

2019-12-11 10:48:03 110 0

原创【python 文件合并】合并同一文件下所有格式一样的txt、csv文件

在同一个目录下有很多格式一样的txt 或者csv文件，怎么把他们合并成一个大的txt或者一个大的csv文件呢？解决方案：合并同一个文件下所有的txt: # -*- coding: utf-8 -*- import pandas as pd import os # 设定所有文件存放路径 sa...

2019-12-11 10:34:08 128 0