- 博客(909)
- 资源 (1)
- 收藏
- 关注
原创 【windows10 安装PostgreSQL10.18】postgresql-10.18windows版本快速安装教程
一、下载安装包postgresql 下载地址>>PostgreSQL 官方下载地址打开页面下载windows X86-64安装包二、安装步骤1、双击下载安装包,开始安装2、修改安装路径,将C盘改成D盘3、选择安装组件,不懂的选就是全部勾上:4、设置数据库路径,这里同样修改C盘为D盘5、设置超级用户的密码,这个密码一定要记住保存下来,后面登录需要用到哦。6、设置端口号,可以直接用默认5432就行7、一直点next,直到最后安装完成。8、最后一步,去掉勾选,直接点
2021-10-22 10:18:41 2047
原创 【python transformer】使用Transformer模型进行文本分类
Happy Transformer是基于构建的软件包,可轻松利用最新的NLP模型。高效简单使用,简单训练。下面我们一起来学习学习。步骤一:安装Happy Transformerpip install happytransformer步骤二:测试例子# -*- coding: utf-8 -*-from happytransformer import HappyTextClassification# 加载预训练模型happy_tc = HappyTextClassification("BERT
2021-10-15 16:26:56 2379
原创 【高并发架构| 消息队列】你必须了解的高阶功法MQ第二讲
第一讲请戳>高并发架构| 消息队列】你必须了解的高阶功法MQ第一讲下面我们进行第二讲,如何保证消息队列的高可用?开场白:如果有人问到你 MQ 的知识,高可用是必问的。上一讲提到,MQ 会导致系统可用性降低。所以只要你用了 MQ,接下来问的一些要点肯定就是围绕着 MQ 的那些缺点怎么来解决了。要是你傻乎乎的就干用了一个 MQ,各种问题从来没考虑过,那你就杯具了,面试官对你的感觉就是,只会简单使用一些技术,没任何思考,马上对你的印象就不太好了。这样的同学招进来要是做个 20k 薪资以内的普通小弟还凑
2021-06-16 23:12:40 170 1
原创 【高并发架构| 消息队列】你必须了解的高阶功法MQ第一讲
开场白:做过后端开发或者算法的同学,想必都或多或少接触多消息队列,今天果汁哥来扒一扒。NO1:消息队列到底是什么东西,你们系统里为什么要用消息队列这个东西?很多人用过redis,kafka等等之类的消息队列,但是其实他并不知道自己为什么要用这个东西。其实说白了,就是为了用而用,或者是别人设计的架构,他从头到尾都没思考过。没有对自己的架构问过为什么的人,一定是平时没有思考的人,没有思考的灵魂,高阶功法如何进阶修炼呢。所以要想修炼好武功,必须沉下心思来思考和修炼哦。NO2:你既然用了消息队列这个东西,你
2021-06-15 23:37:52 247
原创 【Pytorch Flask】通过使用 Flask 的 REST API 在 Python 中部署 PyTorch
我们将使用 Flask 部署 PyTorch 模型。这是在生产中部署 PyTorch 模型的系列教程第一篇。 到目前为止,以这种方式使用 Flask 是开始为 PyTorch 模型提供服务的最简单方法。代码和文件下载见>>github 链接1、安装环境pip install Flask==1.0.3pip install torchvision==0.3.02、Rest API 实例import ioimport jsonfrom torchvision import mode
2021-06-03 13:41:03 331
原创 【算法 独孤九剑】算法模型训练的一般流程
这篇文章主要分享一下模型训练的一般流程,这里将其命名为【独孤九剑】,哈哈尊重风清扬老前辈,目的是让大家明白做一个算法模型过程中会涉及的流程和数据特征在算法模型中的重要性。作为一名算法工程师训练模型可谓是家常便饭,不管是做推荐中的召回模型、排序模型还是其他领域的分类模型等,都应该有一个规范化的流程,这样在做模型的过程中也会更加清晰,当然也不一定完全遵循这个流程,只是说基本过程应该是一致的。1、总诀式——定义问题What,How,Why。首先要弄清楚自己要干什么,然后调研相关的技术确定怎么解决问题,最后反
2021-05-24 12:16:25 1198
原创 【python圆周率计算】python计算圆周率π的值到任意位
一、需求分析 输入想要计算到小数点后的位数,计算圆周率π的值。二、算法:马青公式π/4=4arctan1/5-arctan1/239这个公式由英国天文学教授约翰·马青于1706年发现。他利用这个公式计算到了100位的圆周率。马青公式每计算一项可以得到1.4位的十进制精度。因为它的计算过程中被乘数和被除数都不大于长整数,所以可以很容易地在计算机上编程实现。三、python语言编写出求圆周率到任意位的
2021-01-11 18:35:30 38906 5
原创 【企业微信 报警机器人】python10分钟制作一个企业微信报警机器人
第一步:创建一个企业微信群,鼠标右键添加机器人 ,然后把机器人的url 复制出来第二部:将url 填入dsj_url# -*- coding: utf-8 -*-# author:laidefaimport requestsimport jsondef send_msg(dsj_url,send_message): data1=json.dumps({'msgtype':"text", "text":{ "
2021-01-11 11:05:21 905 1
原创 【CNN 4个系列网络】 图像分类4 个系列模型值得一看
InceptionV3是 Google 对 InceptionV2 的一种改进。首先,InceptionV3 设计和使用了更多种类的Inception 模块,部分 Inception 模块将较大的方形二维卷积拆成两个较小的非对称卷积,从而大幅度节省参数量;GhostNet是华为于 2020 年提出的一种全新的轻量化网络结构。通过引入 Ghostmodule,大大缓解了传统深度网络中特征的冗余计算问题,使得网络的参数量和计算量大大降低;ResNeSt系列模型是 2020 年提出的。在原有的 ResN.
2020-12-30 10:24:23 1383
原创 【base64 图片转换】python base64格式与图片之间的互相转换
# 图片转换成base64def picture2base(path): with open(path, 'rb') as img_file: img_b64encode = base64.b64encode(img_file.read()) s = img_b64encode.decode() resbase64='data:image/jpeg;base64,%s' % s return resbase64# base64转换
2020-12-01 19:02:02 1103
原创 【数仓 概念理解】数据仓库建设:数据分层
数据分层的目的是更好的管理数据,对数据能有一个更加清晰的掌控。数据分层使的数据具有清晰的数据结构,便于进行数据血缘追踪,能够把复杂问题简单化,减少重复开发,屏蔽原始数据的异常和业务的影响。每个企业或组织由于各自业务、规范、目标不尽相同,分层的策略可能会有一些区分,通用的数据分层结构如下图所示。DIM(维表层) 所有维度表的集合DM(数据集市层) 面向数据应用,提供决策支撑DWS(数据服务层) 面向业务分析-维度建模-解决灵活分析DWD(数据明细层) 面向业务过程-3NF建模-解决上层分析的可复用性
2020-10-14 09:18:32 604
原创 【NLP 自然语言处理】自然语言处理技术难点和挑战
一、**NLP 技术对标注数据依赖性较高,难以在标注数据稀缺的任务、语言或领域内发挥作用。**此前小米首席 NLP 科学家王斌在接受 InfoQ 采访时也曾表示,获得大规模的高质量标注数据永远是个难题。当前主流方法的效果取决于标注数据的规模和质量。为解决这一问题,可以采用基于大规模无监督数据的预训练模型,或者尝试半监督或无监督的方法,包括零样本学习(Zero-Shot Learning)或小样本学习(Few-Shot Learning)方法。二、第二是轻量级优质模型问题。当前的主流模型需要消耗大量资源进
2020-10-14 09:15:52 5176
原创 【python docker部署】docker 部署 Flask服务
Docker是一个用于开发,发布和运行应用程序的开放平台。Docker使您能够将应用程序与基础架构分开,从而可以快速交付软件。借助Docker,您可以以与管理应用程序相同的方式来管理基础架构。通过利用Docker的方法来快速交付,测试和部署代码,您可以大大减少编写代码和在生产环境中运行代码之间的延迟。1、docker安装一键安装命令:curl -sSL https://get.daocloud.io/docker | sh2、docker 部署Flask 服务创建文件夹docker_test,执
2020-09-30 13:07:39 630
原创 【linux 内存占满】linux 内存排查技巧
1、执行 free -h 查看内存使用情况(base) [root@HK-AI sinoma]# free -htotal used free shared buff/cache availableMem: 31G 24G 766M 121M 6.2G 6.3GSwap: 15G 0B 15G(base) [root@HK-AI sinoma]# 2、内存不足,查看使用top5 内存的进程,命令 :top -d 5(base) [root@HK-AI sinoma]# top -d 5
2020-09-30 08:52:32 2753
原创 【python 读取hbase数据】happybase 轻松读取hbase数据集
HappyBase是开发人员友好的Python库,可与Apache HBase进行交互。HappyBase设计用于标准HBase设置,并为应用程序开发人员提供了Pythonic API以与HBase进行交互。在表面之下,HappyBase使用Python Thrift库通过其Thrift网关连接到HBase ,该网关包含在标准HBase 0.9x版本中。这个包非常好用,简单高效读取。官方文档学习点这里import happybaseconnection = happybase.Connection
2020-09-27 18:54:45 1990
原创 【pip 错误】No module named ‘pip._internal‘ 解决
pip 坏了,先执行python -m pip install --upgrade pipcmd下,输入如下命令: curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py python get-pip.py --force-reinstall即可解决。
2020-09-27 18:33:16 7826 5
原创 【XGBoost 时间序列预测】XGBoost做时间序列预测
XGBoost是用于分类和回归问题的梯度提升集成方法的一个实现。XGBoost是为表格式数据集的分类和回归问题而设计的,也可以用于时间序列预测。通过使用滑动时间窗口表示,时间序列数据集可以适用于有监督学习。下面我们一起来学习下:1、xgboost安装:pip install xgboost也可以使用scikit-learn API中的XGBRegressor包装类2、例子讲解让我们用一个例子来具体学习。设想我们有这样一组时间序列数据:time measure1 1002 1103
2020-09-05 14:30:41 4759
原创 【python 3.7.5 求解二次规划】MATLAB函数quadprog的python 实现
matlab 使用quadprog 函数,求解线性规划,二次规划等问题。那么如何保持跟matlab 相同的参数,python使用习惯呢,下面定义一个函数,符合matlab用户的使用习惯。简单例子如下:import numpy as npimport cvxoptdef quadprog(H, f, L=None, k=None, Aeq=None, beq=None, lb=None, ub=None): """ Input: Numpy arrays, the forma...
2020-09-02 11:12:54 3705 5
原创 【cvxopt 二次规划求解】python3.x安装凸优化cvxopt包求解二次规划
python 版本:3.7.5一、Windows 平台安装:1、下载cvxopt-1.2.5-cp37-cp37m-win_amd64.whl 文件https://www.lfd.uci.edu/~gohlke/pythonlibs/#cvxopt2、下载 numpy-1.19.1+mkl-cp37-cp37m-win_amd64.whlhttps://www.lfd.uci.edu/~gohlke/pythonlibs/#numpy进入cmd 命令,进入下载路径,执行如下命令:pip u
2020-08-25 15:19:37 1054
原创 【python openopc】python3安装OpenOPC教程
Python安装OpenOPCOPC是一个工业数据读写标准,用户开发OPC客户端,进行连接OPC服务器,访问开放的数据接口,进行读写数据。下面我们进行python3 连接 opcwindows平台:以管理员身份运行cmd在以管理员身份运行的cmd窗口中输入命令 pip install OpenOPC-Python3x ,回车即可安装OpenOPC模块成功,如下图所示。安装成功后就可以使用import OpenOPC命令导入模块,如下图所示。linux 平台:linux 平台直接用 pi
2020-08-18 13:53:09 3916
原创 【python 共享文件夹】python开启共享文件夹服务
进入cmd命令:cd D:\深度学习\数据集python -m http.server 6789执行命令 python -m http.server 端口号,我这里演示指定端口号为: 6789 ,执行完成在浏览器上访问:http://127.0.0.1:6789/这个搭建是不是非常简单了,但这个共享服务却是非常实用的。...
2020-06-20 16:47:47 2411
原创 【redis 过期清理】10分钟了解下redis key过期如何清理
在Redis中,对于过期key的清理主要有惰性清除,定时清理,内存不够时清理三种方法,下面我们就来具体看看这三种清理方法。(1)惰性清除在访问key时,如果发现key已经过期,那么会将key删除。(2)定时清理Redis配置项hz定义了serverCron任务的执行周期,默认每次清理时间为25ms,每次清理会依次遍历所有DB,从db随机取出20个key,如果过期就删除,如果其中有5个key过期,那么就继续对这个db进行清理,否则开始清理下一个db。(3)内存不够时清理当执行写入命令时,如果发现内
2020-06-09 09:06:05 1764
原创 【python 可视化】精美展示你的机器学习项目
1、包介绍Streamlit是一个开放源代码的Python库,可轻松构建用于机器学习和数据科学的精美自定义Web应用程序。要使用它,只需导入它,然后编写几行代码,然后使用运行脚本即可。Streamlit监视每次保存时的更改,并在编码时实时更新应用程序。代码从上到下运行,始终从干净状态开始,不需要回调。这是一个简单而强大的应用程序模型,可让您快速构建丰富的UI。2、包安装pip install Streamlit3、官方文档https://docs.streamlit.io/en/latest.
2020-06-02 09:51:28 761
原创 【模型 图片展示】OSError: `pydot` failed to call GraphViz.Please install GraphViz
1、安装包pip install pydot-ng pip install graphviz pip install pydot 2.安装了以上模块,但是还是报错误,发现GraphViz的可执行文件没有,需要下载可执行文件。下载地址:win10下载地址下载安装好之后,配置环境变量,加入path中去。...
2020-05-28 13:51:37 240
原创 【python 获取本地mac地址】python获取本地ip、mac地址
python 获取 本地mac 地址,本地ip地址# -*- encoding=utf-8 -*-# 获取本机mac地址import uuiddef get_mac_address(): mac=uuid.UUID(int = uuid.getnode()).hex[-12:] return ":".join([mac[e:e+2] for e in range(0,11,2)])import socket#获取本机电脑名myname = socket.getfqdn(s
2020-05-18 17:28:50 1127
原创 【python 加速方法】破剑式-numba 提高python速度
python一直被病垢运行速度太慢,但是实际上python的执行效率并不慢,慢的是python用的解释器Cpython运行效率太差。“一行代码让python的运行速度提高100倍”这绝不是哗众取宠的论调。下面我们来看个例子:从1一直累加到1亿。import timedef foo(x,y): tt = time.time() s = 0 for i in range(x,y): ...
2020-04-26 16:38:53 884
原创 【回归算法 评价指标】MAE,MSE,RMSE,R-square计算函数
回归算法,经常需要用到一些评估指标,它们分别是MAE,MSE,RMSE,R方,python实现如下:# -*- coding: utf-8 -*-import mathimport numpy as npimport pandas as pd# 回归评估指标计算,平均绝对误差,均方误差,均方根误差def compute_mae_mse_rmse(target,prediction)...
2020-04-22 09:16:49 8657 2
原创 【强化学习--Qlearning】快速入门Q-learning强化学习思想
强化学习是一类算法,是让计算机从什么都不懂,脑袋里一点想法都没有,通过不断地尝试,从错误中学习,最后找到规律,学习到达到目标的方法。这就是一个完整的强化学习过程。如为了实现自走的路径,并尽量避免障碍,设计一个路径。如图所示,当机器人在图中的任意网格中时,怎样让它明白周围环境,最终到达目标位置。Q-learning的想法奖赏机制在一个陌生的环境中,机器人首先的方向是随机选择的,当它从起点...
2020-04-19 13:00:18 891
原创 【tensorflow2.0 图片数据】tensorflow中准备图片数据的常用方案
在tensorflow中准备图片数据的常用方案有两种,第一种是使用tf.keras中的ImageDataGenerator工具构建图片数据生成器。第二种是使用tf.data.Dataset搭配tf.image中的一些图片处理方法构建数据管道。第一种方法更为简单from keras.preprocessing.image import ImageDataGeneratortrain_dir...
2020-04-09 09:30:12 1426
原创 【GPU linux环境搭建】10分钟了解下centos 下 GPU搭建过程
主要内容1、深度学习显卡驱动安装2、cudatoolkit安装3、cudnn安装4、验证安装成功一、基本环境信息显卡:GeForce GTX 1660操作系统:CentOS 7.4二、基础环境验证验证系统是否能正常识别 GPUlspci | grep -i nvidia这里看到有2块显卡。三、检查系统需要的驱动版本安装yum erase kmod-nvidiayu...
2020-03-22 14:12:20 2261
原创 【mysql 时间戳】mysql时间戳timestamp类型 时间不对
mysql数据库的系统时区,其实是分两种的,一种是mysql的全局时区,另外一种是当前会话的时区,如果当前会话不指定时区,就默认使用全局时区。执行如下命令,用于查看当前MySQL设置的时区信息:show variables like "%time_zone%";+------------------+--------+| Variable_name | Value |+-------...
2020-03-21 10:50:04 3804 1
原创 【深度学习 模型压缩】10分钟了解下模型压缩的常用方法
一、什么是模型压缩?模型压缩的目标是保证模型预测效果的前提下,尽可能地降低模型的大小二、为什么要进行模型压缩?1. 模型压缩后,模型很小,进行推断的运算量小,利于在移动端部署。2. 诸如Bert等深度学习的参数太多了,模型太大了,消耗的计算资源过多,进一步加大了深度学习爱好者们的“贫富差距”,不够和谐。以Bert-large为例,训练一次需要64G显存的google TPU,按照每小时6...
2020-03-17 11:12:13 5397 1
原创 【python 算法接口】FastAPI如何编写POST请求部分
FastAPI 定义请求体,需要 Pydantic 模型。你需要从pydantic中导入BaseModel。import BaseModel from pydantic创建数据类型然后,声明你的数据模型为一个类,且该类继承 BaseModel.# 创建数据模型class Item(BaseModel): name: str description: str = None...
2020-03-16 10:49:06 31778 6
原创 【python 算法接口】使用FastAPI框架快速构建高性能的api服务
一、FastAPI 干啥的?FastAPI 是用来构建 API 服务的一个高性能框架。二、为什么选择 FastAPI ?FastAPI 是一个现代、高性能 web 框架,用于构建 APIs,基于 Python 3.6 及以上版本。最大特点:快!性能极高,可与 NodeJS, Go 媲美。基于 Starlette 和 Pydantic,是 FastAPI 如此高性能的重要原因。还具备代...
2020-02-25 17:28:46 5222 4
原创 【python 全局解释锁】10分钟理解CPython的全局解释锁GIL
一、什么是GIL?全局解释器锁[Global Interpreter Lock]是计算机程序设计语言解释器用于同步线程的一种机制,它使得任何时刻仅有一个线程在执行。即便在多核处理器上,使用 GIL 的解释器也只允许同一时间执行一个线程,常见的使用 GIL 的解释器有CPython与Ruby MRI。可以看到GIL并不是Python独有的特性,是解释型语言处理多线程问题的一种机制而非语言特性。多...
2020-02-23 15:18:42 641
原创 【tensorflow 使用错误】tensorflow2.0 过程中出现 Error : Failed to get convolution algorithm
如果在使用 tensorflow 过程中出现 Error : Failed to get convolution algorithm ,这是因为显卡内存被耗尽了。解决办法:在代码的开头加入如下两句,动态分配显存physical_device = tf.config.experimental.list_physical_devices("GPU")tf.config.experimental...
2020-02-23 15:02:02 1335 1
原创 【gitlab 上传代码】gitlab 推送本地代码到远程仓库
1、安装git。2、新建项目,只勾选私有,或者公开,注意不要勾选readme3、添加和配置SSH公钥cd ~/.ssh如果提示 “ No such file or directory”,手动的创建一个 .ssh文件夹即可 mkdir ~/.sshgit config --global user.name "赖德发"git config --global user.email "la...
2020-02-21 20:17:38 1886
原创 【Anaconda 安装】10分钟快速搭建Linux下python环境
1、进入root,mkdir software2、cd software3、下载anaconda3软件,下载地址:https://repo.continuum.io/archive/index.html下载Anaconda3-2019.10-Linux-x86_64.sh4、安装Anaconda3-2019.10-Linux-x86_64.sh,执行如下命令:bash Anaconda...
2020-02-20 10:03:07 561
原创 【python 机器学习】机器学习算法之CatBoost
主要内容:一、算法背景二、CatBoost简介三、CatBoost的优点四、CatBoost的安装与使用五、CatBoost回归实战六、CatBoost调参模块七、CatBoost 参数详解一、算法背景:2017年俄罗斯的搜索巨头 Yandex 开源 Catboost 框架。Catboost(Categorical Features+Gradient Boosting)采用的策略...
2020-01-08 14:19:49 8945
原创 【python 机器学习】正态分布检验以及异常值处理3σ原则
正态曲线呈钟型,两头低,中间高,左右对称因其曲线呈钟形,因此人们又经常称之为钟形曲线。使用K-S检验一个数列是否服从正态分布、两个数列是否服从相同的分布。下面介绍 Python 中常用的几种正态性检验方法:scipy.stats.kstest异常值是指样本中的个别值,其数值明显偏离其余的观测值。异常值也称离群点,异常值的分析也称为离群点的分析。在进行机器学习过程中,需要对数据集进行异...
2020-01-07 11:24:54 21969 7
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人