赖德发的博客_开心果汁_CSDN博客-数据科学--python,数据科学--机器学习,数据开发-mysql领域博主

原创【python圆周率计算】python计算圆周率π的值到任意位

一、需求分析输入想要计算到小数点后的位数，计算圆周率π的值。二、算法：马青公式π/4=4arctan1/5-arctan1/239这个公式由英国天文学教授约翰·马青于1706年发现。他利用这个公式计算到了100位的圆周率。马青公式每计算一项可以得到1.4位的十进制精度。因为它的计算过程中被乘数和被除数都不大于长整数，所以可以很容易地在计算机上编程实现。三、python语言编写出求圆周率到任意位的

2021-01-11 18:35:30 29743 3

原创【企业微信报警机器人】python10分钟制作一个企业微信报警机器人

第一步：创建一个企业微信群，鼠标右键添加机器人，然后把机器人的url 复制出来第二部：将url 填入dsj_url# -*- coding: utf-8 -*-# author:laidefaimport requestsimport jsondef send_msg(dsj_url,send_message): data1=json.dumps({'msgtype':"text", "text":{ "

2021-01-11 11:05:21 26

原创【CNN 4个系列网络】图像分类4 个系列模型值得一看

InceptionV3是 Google 对 InceptionV2 的一种改进。首先，InceptionV3 设计和使用了更多种类的Inception 模块，部分 Inception 模块将较大的方形二维卷积拆成两个较小的非对称卷积，从而大幅度节省参数量；GhostNet是华为于 2020 年提出的一种全新的轻量化网络结构。通过引入 Ghostmodule，大大缓解了传统深度网络中特征的冗余计算问题，使得网络的参数量和计算量大大降低；ResNeSt系列模型是 2020 年提出的。在原有的 ResN.

2020-12-30 10:24:23 130

原创【base64 图片转换】python base64格式与图片之间的互相转换

# 图片转换成base64def picture2base(path): with open(path, 'rb') as img_file: img_b64encode = base64.b64encode(img_file.read()) s = img_b64encode.decode() resbase64='data:image/jpeg;base64,%s' % s return resbase64# base64转换

2020-12-01 19:02:02 77

原创【数仓概念理解】数据仓库建设：数据分层

数据分层的目的是更好的管理数据，对数据能有一个更加清晰的掌控。数据分层使的数据具有清晰的数据结构，便于进行数据血缘追踪，能够把复杂问题简单化，减少重复开发，屏蔽原始数据的异常和业务的影响。每个企业或组织由于各自业务、规范、目标不尽相同，分层的策略可能会有一些区分，通用的数据分层结构如下图所示。DIM(维表层) 所有维度表的集合DM(数据集市层) 面向数据应用，提供决策支撑DWS(数据服务层) 面向业务分析-维度建模-解决灵活分析DWD(数据明细层) 面向业务过程-3NF建模-解决上层分析的可复用性

2020-10-14 09:18:32 104

原创【NLP 自然语言处理】自然语言处理技术难点和挑战

一、**NLP 技术对标注数据依赖性较高，难以在标注数据稀缺的任务、语言或领域内发挥作用。**此前小米首席 NLP 科学家王斌在接受 InfoQ 采访时也曾表示，获得大规模的高质量标注数据永远是个难题。当前主流方法的效果取决于标注数据的规模和质量。为解决这一问题，可以采用基于大规模无监督数据的预训练模型，或者尝试半监督或无监督的方法，包括零样本学习（Zero-Shot Learning）或小样本学习（Few-Shot Learning）方法。二、第二是轻量级优质模型问题。当前的主流模型需要消耗大量资源进

2020-10-14 09:15:52 681

原创【python docker部署】docker 部署 Flask服务

Docker是一个用于开发，发布和运行应用程序的开放平台。Docker使您能够将应用程序与基础架构分开，从而可以快速交付软件。借助Docker，您可以以与管理应用程序相同的方式来管理基础架构。通过利用Docker的方法来快速交付，测试和部署代码，您可以大大减少编写代码和在生产环境中运行代码之间的延迟。1、docker安装一键安装命令：curl -sSL https://get.daocloud.io/docker | sh2、docker 部署Flask 服务创建文件夹docker_test，执

2020-09-30 13:07:39 98

原创【linux 内存占满】linux 内存排查技巧

1、执行 free -h 查看内存使用情况(base) [root@HK-AI sinoma]# free -htotal used free shared buff/cache availableMem: 31G 24G 766M 121M 6.2G 6.3GSwap: 15G 0B 15G(base) [root@HK-AI sinoma]# 2、内存不足，查看使用top5 内存的进程，命令：top -d 5(base) [root@HK-AI sinoma]# top -d 5

2020-09-30 08:52:32 243

原创【python 读取hbase数据】happybase 轻松读取hbase数据集

HappyBase是开发人员友好的Python库，可与Apache HBase进行交互。HappyBase设计用于标准HBase设置，并为应用程序开发人员提供了Pythonic API以与HBase进行交互。在表面之下，HappyBase使用Python Thrift库通过其Thrift网关连接到HBase ，该网关包含在标准HBase 0.9x版本中。这个包非常好用，简单高效读取。官方文档学习点这里import happybaseconnection = happybase.Connection

2020-09-27 18:54:45 262

原创【pip 错误】No module named ‘pip._internal‘ 解决

pip 坏了，先执行python -m pip install --upgrade pipcmd下，输入如下命令： curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py python get-pip.py --force-reinstall即可解决。

2020-09-27 18:33:16 207

原创【XGBoost 时间序列预测】XGBoost做时间序列预测

XGBoost是用于分类和回归问题的梯度提升集成方法的一个实现。XGBoost是为表格式数据集的分类和回归问题而设计的，也可以用于时间序列预测。通过使用滑动时间窗口表示，时间序列数据集可以适用于有监督学习。下面我们一起来学习下：1、xgboost安装：pip install xgboost也可以使用scikit-learn API中的XGBRegressor包装类2、例子讲解让我们用一个例子来具体学习。设想我们有这样一组时间序列数据：time measure1 1002 1103

2020-09-05 14:30:41 518

原创【python 3.7.5 求解二次规划】MATLAB函数quadprog的python 实现

matlab 使用quadprog 函数，求解线性规划，二次规划等问题。那么如何保持跟matlab 相同的参数，python使用习惯呢，下面定义一个函数，符合matlab用户的使用习惯。简单例子如下：import numpy as npimport cvxoptdef quadprog(H, f, L=None, k=None, Aeq=None, beq=None, lb=None, ub=None): """ Input: Numpy arrays, the forma...

2020-09-02 11:12:54 337

原创【cvxopt 二次规划求解】python3.x安装凸优化cvxopt包求解二次规划

python 版本：3.7.5一、Windows 平台安装：1、下载cvxopt-1.2.5-cp37-cp37m-win_amd64.whl 文件https://www.lfd.uci.edu/~gohlke/pythonlibs/#cvxopt2、下载 numpy-1.19.1+mkl-cp37-cp37m-win_amd64.whlhttps://www.lfd.uci.edu/~gohlke/pythonlibs/#numpy进入cmd 命令，进入下载路径，执行如下命令：pip u

2020-08-25 15:19:37 292

原创【python openopc】python3安装OpenOPC教程

Python安装OpenOPCOPC是一个工业数据读写标准，用户开发OPC客户端，进行连接OPC服务器，访问开放的数据接口，进行读写数据。下面我们进行python3 连接 opcwindows平台：以管理员身份运行cmd在以管理员身份运行的cmd窗口中输入命令 pip install OpenOPC-Python3x ，回车即可安装OpenOPC模块成功，如下图所示。安装成功后就可以使用import OpenOPC命令导入模块，如下图所示。linux 平台：linux 平台直接用 pi

2020-08-18 13:53:09 660

原创【python 共享文件夹】python开启共享文件夹服务

进入cmd命令：cd D:\深度学习\数据集python -m http.server 6789执行命令 python -m http.server 端口号，我这里演示指定端口号为： 6789 ，执行完成在浏览器上访问：http://127.0.0.1:6789/这个搭建是不是非常简单了，但这个共享服务却是非常实用的。...

2020-06-20 16:47:47 750

原创【redis 过期清理】10分钟了解下redis key过期如何清理

在Redis中，对于过期key的清理主要有惰性清除，定时清理，内存不够时清理三种方法，下面我们就来具体看看这三种清理方法。(1)惰性清除在访问key时，如果发现key已经过期，那么会将key删除。(2)定时清理Redis配置项hz定义了serverCron任务的执行周期，默认每次清理时间为25ms，每次清理会依次遍历所有DB，从db随机取出20个key，如果过期就删除，如果其中有5个key过期，那么就继续对这个db进行清理，否则开始清理下一个db。(3)内存不够时清理当执行写入命令时，如果发现内

2020-06-09 09:06:05 604

原创【python 可视化】精美展示你的机器学习项目

1、包介绍Streamlit是一个开放源代码的Python库，可轻松构建用于机器学习和数据科学的精美自定义Web应用程序。要使用它，只需导入它，然后编写几行代码，然后使用运行脚本即可。Streamlit监视每次保存时的更改，并在编码时实时更新应用程序。代码从上到下运行，始终从干净状态开始，不需要回调。这是一个简单而强大的应用程序模型，可让您快速构建丰富的UI。2、包安装pip install Streamlit3、官方文档https://docs.streamlit.io/en/latest.

2020-06-02 09:51:28 318

原创【模型图片展示】OSError: `pydot` failed to call GraphViz.Please install GraphViz

1、安装包pip install pydot-ng pip install graphviz pip install pydot 2.安装了以上模块，但是还是报错误,发现GraphViz的可执行文件没有，需要下载可执行文件。下载地址：win10下载地址下载安装好之后，配置环境变量，加入path中去。...

2020-05-28 13:51:37 143

原创【python 获取本地mac地址】python获取本地ip、mac地址

python 获取本地mac 地址，本地ip地址# -*- encoding=utf-8 -*-# 获取本机mac地址import uuiddef get_mac_address(): mac=uuid.UUID(int = uuid.getnode()).hex[-12:] return ":".join([mac[e:e+2] for e in range(0,11,2)])import socket#获取本机电脑名myname = socket.getfqdn(s

2020-05-18 17:28:50 334

原创【python 加速方法】破剑式-numba 提高python速度

python一直被病垢运行速度太慢，但是实际上python的执行效率并不慢，慢的是python用的解释器Cpython运行效率太差。“一行代码让python的运行速度提高100倍”这绝不是哗众取宠的论调。下面我们来看个例子：从1一直累加到1亿。import timedef foo(x,y): tt = time.time() s = 0 for i in range(x,y): ...

2020-04-26 16:38:53 545

原创【回归算法评价指标】MAE,MSE,RMSE,R-square计算函数

回归算法，经常需要用到一些评估指标，它们分别是MAE,MSE,RMSE，R方，python实现如下：# -*- coding: utf-8 -*-import mathimport numpy as npimport pandas as pd# 回归评估指标计算，平均绝对误差，均方误差，均方根误差def compute_mae_mse_rmse(target,prediction)...

2020-04-22 09:16:49 1080 1

原创【强化学习--Qlearning】快速入门Q-learning强化学习思想

强化学习是一类算法，是让计算机从什么都不懂，脑袋里一点想法都没有，通过不断地尝试，从错误中学习，最后找到规律，学习到达到目标的方法。这就是一个完整的强化学习过程。如为了实现自走的路径，并尽量避免障碍，设计一个路径。如图所示，当机器人在图中的任意网格中时，怎样让它明白周围环境，最终到达目标位置。Q-learning的想法奖赏机制在一个陌生的环境中，机器人首先的方向是随机选择的，当它从起点...

2020-04-19 13:00:18 352

原创【tensorflow2.0 图片数据】tensorflow中准备图片数据的常用方案

在tensorflow中准备图片数据的常用方案有两种，第一种是使用tf.keras中的ImageDataGenerator工具构建图片数据生成器。第二种是使用tf.data.Dataset搭配tf.image中的一些图片处理方法构建数据管道。第一种方法更为简单from keras.preprocessing.image import ImageDataGeneratortrain_dir...

2020-04-09 09:30:12 624

原创【GPU linux环境搭建】10分钟了解下centos 下 GPU搭建过程

主要内容1、深度学习显卡驱动安装2、cudatoolkit安装3、cudnn安装4、验证安装成功一、基本环境信息显卡：GeForce GTX 1660操作系统：CentOS 7.4二、基础环境验证验证系统是否能正常识别 GPUlspci | grep -i nvidia这里看到有2块显卡。三、检查系统需要的驱动版本安装yum erase kmod-nvidiayu...

2020-03-22 14:12:20 1050

原创【mysql 时间戳】mysql时间戳timestamp类型时间不对

mysql数据库的系统时区，其实是分两种的，一种是mysql的全局时区，另外一种是当前会话的时区，如果当前会话不指定时区，就默认使用全局时区。执行如下命令，用于查看当前MySQL设置的时区信息：show variables like "%time_zone%";+------------------+--------+| Variable_name | Value |+-------...

2020-03-21 10:50:04 1099 1

原创【深度学习模型压缩】10分钟了解下模型压缩的常用方法

一、什么是模型压缩？模型压缩的目标是保证模型预测效果的前提下，尽可能地降低模型的大小二、为什么要进行模型压缩？1. 模型压缩后，模型很小，进行推断的运算量小，利于在移动端部署。2. 诸如Bert等深度学习的参数太多了，模型太大了，消耗的计算资源过多，进一步加大了深度学习爱好者们的“贫富差距”，不够和谐。以Bert-large为例，训练一次需要64G显存的google TPU，按照每小时6...

2020-03-17 11:12:13 972 1

原创【python 算法接口】FastAPI如何编写POST请求部分

FastAPI 定义请求体，需要 Pydantic 模型。你需要从pydantic中导入BaseModel。import BaseModel from pydantic创建数据类型然后，声明你的数据模型为一个类，且该类继承 BaseModel.# 创建数据模型class Item(BaseModel): name: str description: str = None...

2020-03-16 10:49:06 5738 2

原创【python 算法接口】使用FastAPI框架快速构建高性能的api服务

一、FastAPI 干啥的？FastAPI 是用来构建 API 服务的一个高性能框架。二、为什么选择 FastAPI ?FastAPI 是一个现代、高性能 web 框架，用于构建 APIs，基于 Python 3.6 及以上版本。最大特点：快！性能极高，可与 NodeJS, Go 媲美。基于 Starlette 和 Pydantic，是 FastAPI 如此高性能的重要原因。还具备代...

2020-02-25 17:28:46 3221

原创【python 全局解释锁】10分钟理解CPython的全局解释锁GIL

一、什么是GIL?全局解释器锁[Global Interpreter Lock]是计算机程序设计语言解释器用于同步线程的一种机制，它使得任何时刻仅有一个线程在执行。即便在多核处理器上，使用 GIL 的解释器也只允许同一时间执行一个线程，常见的使用 GIL 的解释器有CPython与Ruby MRI。可以看到GIL并不是Python独有的特性，是解释型语言处理多线程问题的一种机制而非语言特性。多...

2020-02-23 15:18:42 423

原创【tensorflow 使用错误】tensorflow2.0 过程中出现 Error : Failed to get convolution algorithm

如果在使用 tensorflow 过程中出现 Error : Failed to get convolution algorithm ，这是因为显卡内存被耗尽了。解决办法：在代码的开头加入如下两句，动态分配显存physical_device = tf.config.experimental.list_physical_devices("GPU")tf.config.experimental...

2020-02-23 15:02:02 749 1

原创【gitlab 上传代码】gitlab 推送本地代码到远程仓库

1、安装git。2、新建项目，只勾选私有，或者公开，注意不要勾选readme3、添加和配置SSH公钥cd ~/.ssh如果提示 “ No such file or directory”，手动的创建一个 .ssh文件夹即可 mkdir ~/.sshgit config --global user.name "赖德发"git config --global user.email "la...

2020-02-21 20:17:38 770

原创【Anaconda 安装】10分钟快速搭建Linux下python环境

1、进入root，mkdir software2、cd software3、下载anaconda3软件，下载地址：https://repo.continuum.io/archive/index.html下载Anaconda3-2019.10-Linux-x86_64.sh4、安装Anaconda3-2019.10-Linux-x86_64.sh，执行如下命令：bash Anaconda...

2020-02-20 10:03:07 298

原创【python 机器学习】机器学习算法之CatBoost

主要内容：一、算法背景二、CatBoost简介三、CatBoost的优点四、CatBoost的安装与使用五、CatBoost回归实战六、CatBoost调参模块七、CatBoost 参数详解一、算法背景：2017年俄罗斯的搜索巨头 Yandex 开源 Catboost 框架。Catboost（Categorical Features+Gradient Boosting）采用的策略...

2020-01-08 14:19:49 800

原创【python 机器学习】正态分布检验以及异常值处理3σ原则

正态曲线呈钟型，两头低，中间高，左右对称因其曲线呈钟形，因此人们又经常称之为钟形曲线。使用K-S检验一个数列是否服从正态分布、两个数列是否服从相同的分布。下面介绍 Python 中常用的几种正态性检验方法：scipy.stats.kstest异常值是指样本中的个别值，其数值明显偏离其余的观测值。异常值也称离群点，异常值的分析也称为离群点的分析。在进行机器学习过程中，需要对数据集进行异...

2020-01-07 11:24:54 5366 1

原创【深度学习误差计算】10分钟了解下均方差和交叉熵损失函数

常见的误差计算函数有均方差、交叉熵、KL 散度、Hinge Loss 函数等，其中均方差函数和交叉熵函数在深度学习中比较常见，均方差主要用于回归问题，交叉熵主要用于分类问题。下面我们来深刻理解下这两个概念。1、均方差MSE。预测值与真实值之差的平方和，再除以样本量。均方差广泛应用在回归问题中，在分类问题中也可以应用均方差误差。2、交叉熵再介绍交叉熵损失函数之前，我们首先来介绍信息学中熵(...

2020-01-02 21:01:20 289

原创【python 机器学习】机器学习算法之LightGBM

算法介绍：LightGBM 由微软2017年提出，主要用于解决 GDBT 在海量数据中遇到的问题，以便其可以更好更快地用于工业实践中。从 LightGBM 名字我们可以看出其是轻量级（Light）的梯度提升机（GBM），其相对 XGBoost 具有训练速度快、内存占用低的特点。实际上，XGBoost和lightGBM都属于GBDT的一种实现，旨在优化算法的性能，提升算法的训练速度，与XGBoo...

2019-12-31 16:58:38 271

原创【机器学习非线性回归模型】10分钟了解下8种常见的非线性回归模型

线性回归模型请看上篇文章，本篇文章介绍的是非线性回归模型线性回归模型链接在目前的机器学习领域中，最常见的三种任务就是：回归分析、分类分析、聚类分析。那么什么是回归呢？回归分析是一种预测性的建模技术，它研究的是因变量（目标）和自变量（预测器）之间的关系。回归分析在机器学习领域应用非常广泛，例如，商品的销量预测问题，交通流量预测问题。下面介绍几种常见的非线性回归模型。1、SVR众所周知，支持向...

2019-12-29 22:06:27 4445

原创【matlab 圆周率计算】matlab 求圆周率的两种算法实现比较

%author:laidefa %data:2014-09-19 %丘德诺夫斯基公式求圆周率 function mpi=qdnfsj(m) i=m; s=13591409; for n=1:i A=(factorial(6*n)(13591409+54514013*n))/(factorial(3*n)*factorial(n)^3(-640320)^(3*n));

2019-12-29 22:05:20 9905

原创【机器学习线性模型】10分钟了解下6种常见的线性模型

在目前的机器学习领域中，最常见的三种任务就是：回归分析、分类分析、聚类分析。那么什么是回归呢？回归分析是一种预测性的建模技术，它研究的是因变量（目标）和自变量（预测器）之间的关系。回归分析在机器学习领域应用非常广泛，例如，商品的销量预测问题，交通流量预测问题。下面介绍几种常见的线性回归模型。常用的线性回归算法1、线性回归线性回归拟合一个带系数的线性模型，以最小化数据中的观测值与线性预测值之间...

2019-12-29 12:08:47 802

原创【python 数据可视化】美丽漂亮的画图神器--pyecharts

今天我们介绍下pyechats 的用法和一个简单的例子。安装：pip install pyecharts步骤1：导入相关包：# 导入包import pandas as pdfrom pyecharts.charts import *from pyecharts import options as optsfrom pyecharts.globals import *from ...

2019-12-28 14:21:47 369

gbdt和xgboost算法详解

开心果汁的留言板

空空如也