东华果汁哥-CSDN博客

原创【python 全局解释锁】10分钟理解CPython的全局解释锁GIL

一、什么是GIL?全局解释器锁[Global Interpreter Lock]是计算机程序设计语言解释器用于同步线程的一种机制，它使得任何时刻仅有一个线程在执行。即便在多核处理器上，使用 GIL 的解释器也只允许同一时间执行一个线程，常见的使用 GIL 的解释器有CPython与Ruby MRI。可以看到GIL并不是Python独有的特性，是解释型语言处理多线程问题的一种机制而非语言特性。多...

2020-02-23 15:18:42 670

原创【tensorflow 使用错误】tensorflow2.0 过程中出现 Error : Failed to get convolution algorithm

如果在使用 tensorflow 过程中出现 Error : Failed to get convolution algorithm ，这是因为显卡内存被耗尽了。解决办法：在代码的开头加入如下两句，动态分配显存physical_device = tf.config.experimental.list_physical_devices("GPU")tf.config.experimental...

2020-02-23 15:02:02 1393 1

原创【gitlab 上传代码】gitlab 推送本地代码到远程仓库

1、安装git。2、新建项目，只勾选私有，或者公开，注意不要勾选readme3、添加和配置SSH公钥cd ~/.ssh如果提示 “ No such file or directory”，手动的创建一个 .ssh文件夹即可 mkdir ~/.sshgit config --global user.name "赖德发"git config --global user.email "la...

2020-02-21 20:17:38 2016

原创【Anaconda 安装】10分钟快速搭建Linux下python环境

1、进入root，mkdir software2、cd software3、下载anaconda3软件，下载地址：https://repo.continuum.io/archive/index.html下载Anaconda3-2019.10-Linux-x86_64.sh4、安装Anaconda3-2019.10-Linux-x86_64.sh，执行如下命令：bash Anaconda...

2020-02-20 10:03:07 588

原创【python 机器学习】机器学习算法之CatBoost

主要内容：一、算法背景二、CatBoost简介三、CatBoost的优点四、CatBoost的安装与使用五、CatBoost回归实战六、CatBoost调参模块七、CatBoost 参数详解一、算法背景：2017年俄罗斯的搜索巨头 Yandex 开源 Catboost 框架。Catboost（Categorical Features+Gradient Boosting）采用的策略...

2020-01-08 14:19:49 9716

原创【python 机器学习】正态分布检验以及异常值处理3σ原则

正态曲线呈钟型，两头低，中间高，左右对称因其曲线呈钟形，因此人们又经常称之为钟形曲线。使用K-S检验一个数列是否服从正态分布、两个数列是否服从相同的分布。下面介绍 Python 中常用的几种正态性检验方法：scipy.stats.kstest异常值是指样本中的个别值，其数值明显偏离其余的观测值。异常值也称离群点，异常值的分析也称为离群点的分析。在进行机器学习过程中，需要对数据集进行异...

2020-01-07 11:24:54 23992 7

原创【深度学习误差计算】10分钟了解下均方差和交叉熵损失函数

常见的误差计算函数有均方差、交叉熵、KL 散度、Hinge Loss 函数等，其中均方差函数和交叉熵函数在深度学习中比较常见，均方差主要用于回归问题，交叉熵主要用于分类问题。下面我们来深刻理解下这两个概念。1、均方差MSE。预测值与真实值之差的平方和，再除以样本量。均方差广泛应用在回归问题中，在分类问题中也可以应用均方差误差。2、交叉熵再介绍交叉熵损失函数之前，我们首先来介绍信息学中熵(...

2020-01-02 21:01:20 1403

原创【python 机器学习】机器学习算法之LightGBM

算法介绍：LightGBM 由微软2017年提出，主要用于解决 GDBT 在海量数据中遇到的问题，以便其可以更好更快地用于工业实践中。从 LightGBM 名字我们可以看出其是轻量级（Light）的梯度提升机（GBM），其相对 XGBoost 具有训练速度快、内存占用低的特点。实际上，XGBoost和lightGBM都属于GBDT的一种实现，旨在优化算法的性能，提升算法的训练速度，与XGBoo...

2019-12-31 16:58:38 1610

原创【机器学习非线性回归模型】10分钟了解下8种常见的非线性回归模型

线性回归模型请看上篇文章，本篇文章介绍的是非线性回归模型线性回归模型链接在目前的机器学习领域中，最常见的三种任务就是：回归分析、分类分析、聚类分析。那么什么是回归呢？回归分析是一种预测性的建模技术，它研究的是因变量（目标）和自变量（预测器）之间的关系。回归分析在机器学习领域应用非常广泛，例如，商品的销量预测问题，交通流量预测问题。下面介绍几种常见的非线性回归模型。1、SVR众所周知，支持向...

2019-12-29 22:06:27 27425

原创【matlab 圆周率计算】matlab 求圆周率的两种算法实现比较

%author:laidefa %data:2014-09-19 %丘德诺夫斯基公式求圆周率 function mpi=qdnfsj(m) i=m; s=13591409; for n=1:i A=(factorial(6*n)(13591409+54514013*n))/(factorial(3*n)*factorial(n)^3(-640320)^(3*n));

2019-12-29 22:05:20 13524

原创【机器学习线性模型】10分钟了解下6种常见的线性模型

在目前的机器学习领域中，最常见的三种任务就是：回归分析、分类分析、聚类分析。那么什么是回归呢？回归分析是一种预测性的建模技术，它研究的是因变量（目标）和自变量（预测器）之间的关系。回归分析在机器学习领域应用非常广泛，例如，商品的销量预测问题，交通流量预测问题。下面介绍几种常见的线性回归模型。常用的线性回归算法1、线性回归线性回归拟合一个带系数的线性模型，以最小化数据中的观测值与线性预测值之间...

2019-12-29 12:08:47 7533

原创【python 数据可视化】美丽漂亮的画图神器--pyecharts

今天我们介绍下pyechats 的用法和一个简单的例子。安装：pip install pyecharts步骤1：导入相关包：# 导入包import pandas as pdfrom pyecharts.charts import *from pyecharts import options as optsfrom pyecharts.globals import *from ...

2019-12-28 14:21:47 1243

原创【机器学习模型调参】GridSearchCV模型调参利器

导入模块sklearn.model_selectionfrom sklearn.model_selection import GridSearchCVGridSearchCV 称为网格搜索交叉验证调参，它通过遍历传入的参数的所有排列组合，通过交叉验证的方式，返回所有参数组合下的评价指标得分，GridSearchCV 函数的参数详细解释如下：class sklearn.model_selec...

2019-12-26 12:35:34 1793

原创【深度学习走进tensorflow2.0】TensorFlow 2.0 常用模块tf.config

本篇文章将会教大家如何合理分配显卡资源，设置显存使用策略。主要使用tf.config模块进行设置。下面我们一起了解下具体用法和例子。一、指定当前程序使用的 GPU例如，在一台具有 4 块 GPU 和一个 CPU 的工作站上运行以下代码：import tensorflow as tfgpus = tf.config.experimental.list_physical_devices(d...

2019-12-21 12:00:04 1957 1

原创【深度学习项目实战】一个简单的LSTM实现时间序列预测

我们将通过一个简单实例来讲解LSTM建模过程以及模型的使用方法。实例描述如下，我们有一个整数序列[10, 20, 30, 40, 50, 60, 70]，整数序列中共有7个数字，我们的目的或者说我们要解决的问题是，利用已有的这个整数序列来建立模型，用模型预测整数序列的下一个数字应该是多少？也就是整数序列的第8个数字应该是多少？一眼就能看出来，下一个数字应该是80，但是我们需要的是让模型预测出来这个...

2019-12-19 12:22:12 4870 3

原创【深度学习项目实战】Keras深度学习多变量时间序列预测的LSTM模型

本篇文章将介绍基于Keras深度学习的多变量时间序列预测的LSTM模型。项目名称：空气污染预测一、主要内容：如何将原始数据集转换为可用于时间序列预测的内容。如何准备数据并使LSTM适合多变量时间序列预测问题。如何进行预测并将结果重新缩放为原始单位。二、数据下载在本教程中，我们将使用空气质量数据集。该数据集报告了美国驻中国大使馆五年来每小时的天气和污染水平。数据包括日期时间，称为PM...

2019-12-19 10:47:09 4674 1

原创【深度学习走进tensorflow2.0】window10安装GPU 版本 TensorFlow 安装指南

版本信息：python 3.7.5 cuda 10.0cudnn 7.6.4window 10pip install tensorflow_gpu==2.0.0本机显卡：GeForce GTX 1650 显卡驱动已从官方下载安装成功。一、下面我们安装cuda10.0：下载地址：cuda 10.0 下载地址一直下一步就可以了。二、下面我们安装cudann 7.6.4cud...

2019-12-18 09:49:51 1377

原创【深度学习走进tensorflow2.0】tensorflow.python.framework.errors_impl.UnknownError: Fail to find the dnn imp

windows10 使用tensorflow_gpu==2.0.0 版本跑代码时报错误：错误描述：Could not create cudnn handle: CUDNN_STATUS_ALLOC_FAILEDtensorflow.python.framework.errors_impl.UnknownError: Fail to find the dnn implementation. [...

2019-12-18 09:34:03 3323 1

原创【深度学习走进tensorflow2.0】TensorFlow 2.0 常用模块TFRecord

主要介绍TensorFlow 另一个数据处理的利器——TFRecord。一、什么是TFRecord ？TFRecord 是 TensorFlow 中的数据集存储格式。当我们将数据集整理成 TFRecord 格式后，TensorFlow 就可以高效地读取和处理这些数据集，从而帮助我们更高效地进行大规模的模型训练。TFRecord 可以理解为一系列序列化的 tf.train.Example 元素...

2019-12-17 12:34:20 1834 3

原创【深度学习走进tensorflow2.0】TensorFlow 2.0 常用模块：tf.data 数据流加速

上一篇文章TensorFlow 2.0 常用模块tf.data介绍了基本的使用读取数据方法，下面我们介绍如何通过 prefetch 和 map 的并行化参数，让 tf.data 的性能得到明显提升。当训练模型时，我们希望充分利用计算资源，减少 CPU/GPU 的空载时间。然而有时，数据集的准备处理非常耗时，使得我们在每进行一次训练前都需要花费大量的时间准备待训练的数据，而此时 GPU 只能空载...

2019-12-17 09:28:23 1034

原创【深度学习走开tensorflow2.0】TensorFlow 2.0 常用模块tf.TensorArray

在部分网络结构，尤其是涉及到时间序列的结构中，我们可能需要将一系列张量以数组的方式依次存放起来，以供进一步处理。当然，在 Eager Execution 下，你可以直接使用一个 Python 列表（List）存放数组。不过，如果你需要基于计算图的特性（例如使用 @tf.function 加速模型运行或者使用 SavedModel 导出模型），就无法使用这种方式了。因此，TensorFlow 提供了...

2019-12-17 09:16:07 539

原创【深度学习走进tensorflow2.0】TensorFlow 2.0 常用模块tf.data

背景：很多时候，我们希望使用自己的数据集来训练模型。然而，面对一堆格式不一的原始数据文件，将其预处理并读入程序的过程往往十分繁琐，甚至比模型的设计还要耗费精力。为此，TensorFlow 提供了 tf.data 这一模块，包括了一套灵活的数据集构建 API，能够帮助我们快速、高效地构建数据输入的流水线，尤其适用于数据量巨大的场景。1、小数据集对象的建立:tf.data 的核心是 tf.dat...

2019-12-16 09:17:14 1359

原创【深度学习走进tensorflow2.0】TensorFlow binary was not compiled to use: AVX2

window10 本地安装tensorflow cpu 版本pip install tensorflow==2.0.0 安装完成之后运行时总会显示如下警告信息：Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX2如果你想忽略警告信息：import osos...

2019-12-15 20:43:08 319

原创【深度学习走进tensorflow2.0】TensorFlow 2.0 常用模块@tf.function

1、@tf.function 是干什么用的？虽然默认的 Eager Execution 为我们带来了灵活及易调试的特性，但在特定的场合（例如追求高性能或部署模型）时，我们依然希望使用图模式，将模型转换为 TensorFlow 图模型。此时，TensorFlow 2.0 为我们提供了 tf.function 模块，结合 AutoGraph 机制，使得我们仅需加入一个简单的 @tf.function...

2019-12-15 15:07:28 966

原创【深度学习走进tensorflow2.0】建立一个递归神经网络（LSTM）对MNIST数字集进行分类

大家都知道卷积神经网络可以用来做图片分类，那么循环神经网络可不可以同样用来做图片分类呢，答案是可以滴，下面我们使用TensorFlow 2.0构建循环神经网络LSTM，一起从minist 学习下吧。数据集特点：该数据集包含60,000个用于训练的示例和10,000个用于测试的示例。这些数字已经过尺寸标准化并位于图像中心，图像是固定大小(28x28像素)，值为0到255。为简单起见，每个图像都被...

2019-12-14 20:49:16 1787

原创【python pip换源】5分钟了解下window10和linux 下换源操作

使用过默认的pip 安装包的同学们都知道，默认的pip 安装起包来速度没有那么快，那么有没有更快速的方法安装起包来呢？有，使用国内的清华镜像源，直接在国内下载安装包，弯道超车起步更快，总比去国外下载包来得更快哦。下面我们一起来了解下具体用法。一、临时使用清华镜像源安装包pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pandas...

2019-12-14 19:42:54 414

原创【python 数据处理】数据框行转列以及分组取第一个

一、python数据框按某列分组取第一个核心： df.sort_values(['date_time2','value'],ascending=[1,1],inplace=True) grouped = df.groupby(['date_time2']).head(1)按date_time2 分组取 value值的第一个# -*- coding: utf-8 -*-impo...

2019-12-11 10:48:03 1904

原创【python 文件合并】合并同一文件下所有格式一样的txt、csv文件

在同一个目录下有很多格式一样的txt 或者csv文件，怎么把他们合并成一个大的txt或者一个大的csv文件呢？解决方案：合并同一个文件下所有的txt:# -*- coding: utf-8 -*-import pandas as pdimport os# 设定所有文件存放路径save_path='D:/结果数据/'# 设定合并数据集存放路径save_merge_path='D...

2019-12-11 10:34:08 1920

原创【navicat 连接失败】出现1251- Client does not support authentication protocol 错误解决方法

原因分析：原因是在mysql8之前的版本中加密规则为mysql_native_password而在mysql8以后的加密规则为caching_sha2_password。因此需要重新修改密码哦。解决方案如下：进入MySQL的bin目录，然后输入mysql -u root -p，输入密码我一开始安装的密码设置是123456回车接下来修改用户密码执行下面两句即可。这里我把密码设置...

2019-12-10 15:52:07 1654

原创【机器学习 Alink开源】10分钟了解下阿里开源机器学习平台alink

1、什么是Alink?Alink 是阿里巴巴计算平台事业部PAI团队从 2017 年开始基于实时计算引擎 Flink 研发的新一代机器学习算法平台，提供丰富的算法组件库和便捷的操作框架，开发者可以一键搭建覆盖数据处理、特征工程、模型训练、模型预测的算法模型开发全流程。github下载地址：https://github.com/alibaba/Alink2、pyalink 安装方式确保使用...

2019-12-07 16:44:02 1533

原创【深度学习模型性能】10分钟了解下4个小技巧提高AI模型效果

在做深度学习项目的过程中，我们总会遇到困难或者说障碍，下面我们谈谈四个比较常见的问题。如何解决。目录：问题一：缺少训练数据怎么办？问题二：训练的模型过拟合怎么办？问题三：训练的模型欠拟合怎么办？问题四：模型训练时间太长怎么办？详解：1.1 缺少训练数据怎么办？深度学习模型通常需要大量的训练数据，一般来说，数据越多，模型的性能就越好。一般我们缺少训练数据，用得上一种技术，那就是数...

2019-11-29 14:37:33 1152

原创【python 图片可视化】使用 Cufflinks 和 Plotly 绘制 Pandas 数据

通常呢，大家绘制图片，立马想到的是matplotlib这个包，也就是说，你只需调用 .plot() 方法，即可快速绘制简单的 pd.DataFrame 或 pd.Series。如下：import matplotlib.pyplot as pltimport pandas as pdimport numpy as nplines_df=pd.DataFrame(np.random.rand...

2019-11-27 16:50:35 1249

原创【深度学习走进tensorflow2.0】ValueError: Cannot create group in read only mode.

导入训练好的权重文件时，报如下错误：错误1： File "/home/dongli/.conda/envs/tf2/lib/python3.7/site-packages/tensorflow_core/python/keras/saving/hdf5_format.py", line 165, in load_model_from_hdf5 raise ValueError('No ...

2019-11-12 21:03:32 2486

原创【深度学习走进tensorflow2.0】使用RNN进行文本分类

此文本分类教程在IMDB大电影评论数据集上训练递归神经网络，以进行情感分析。主要步骤：文本数据集处理。文本模型训练文本模型预测1、模型训练：# -*- coding: utf-8 -*-from __future__ import absolute_import, division, print_function, unicode_literalsimport tensorf...

2019-11-07 18:05:31 1892 1

原创【深度学习图像预处理】深度学习的图像预处理每个图片减去均值

做深度学习图片预处理的时候，每个图片都要减去均值，原因是为什么呢？原因如下：在图像送入网络训练之前，减去图片的均值，这算是一种归一化操作，那为什么一定要做这个归一化操作呢。其主要的原因就是对于我们的图像其实是一种平稳的分布，减去数据对应维度的统计平均值，来消除公共部分。以凸显个体之前的差异和特征。...

2019-11-07 17:18:37 1898

原创【python 动态拼接where查询】where条件动态变化

应用场景：有些查询sql接口地方where条件动态变化。后端如何根据where条件变化。下面是一个简单的实现。# -*- coding:utf-8 -*-import cx_Oraclefrom DBUtils.PooledDB import PooledDBfrom webapi_function import *from config import *dsn = cx_Orac...

2019-11-07 11:32:09 2079

原创【hive 数据查询下载】hue UDF 使用方法以及下载数据到服务器

在服务器端有个com.dsj361.hive.udf.FilterHtmlUdf，如何使用呢、--评论create temporary function filter_html as 'com.dsj361.hive.udf.FilterHtmlUdf';insert overwrite table tempon.tl_dongli_comment_contentselect filte...

2019-11-07 10:38:18 605

原创【python flask】flask request获取表单数据

用flask 写接口，如何获取请求参数数据呢。1、get 参数 if request.method == "get": text = request.args.get('text')2、post 参数 if request.method == "POST": id=request.form.get('id') word=request.form.get...

2019-11-05 15:49:56 5653

原创【深度学习走进tensorflow2.0】Windows10安装tensorflow2.0

1.安装anaconda目前anaconda官网的python版本是3.7的，目前python3.7不太支持tensorflow，推荐使用旧的python3.6版本的anaconda.下载地址：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-5.1.0-Windows-x86_64.exe清华大学镜像源：h...

2019-11-04 18:03:35 674

原创【深度学习走进tensorflow2.0】tensorflow2.0 如何做图像分类模型训练和预测

创建一个数据集文件夹并命名（如 dataset）在数据集文件中创建一个名称为 train 的子文件夹在数据集文件中创建一个名称为 val 的子文件夹在 train 文件夹中，为每个你要训练的对象创建文件夹并命名在 val 文件夹中，为每个你要训练的对象创建文件夹并命名把每个对象的图像放在 train 文件夹下对应名称的子文件夹，这些图像是用于训练模型的图像，为了训练出精准度较高的模型，我...

2019-11-01 20:07:08 8000 5

gbdt和xgboost算法详解

空空如也