自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(186)
  • 收藏
  • 关注

原创 特征工程——交互特征(多项式特征)

一、交互特征定义两个特征的乘积可以组成一对简单的交互特征,这种相乘关系可以用逻辑操作符AND来类比,它可以表示出由一对条件形成的结果:“该购买行为来自于邮政编码为98121的地区”AND“用户年龄在18和35岁之间”。这种特征在基于决策树的模型中极其常见,在广义线性模型中也经常使用。简单线性模型使用独立输入特征, , …, 的线性组合来预测结果变量:。很容易对线性模型进行扩展,使之包含输...

2023-02-04 12:46:00

原创 (Z-Score,0-1,稳健标准化RobustScaler, L_p归一化normalizer,小数定标, Logistic)标准化方法的优缺点和适用范围...

1. Z-Score标准化对数据系列中的每一个数据点作减去均值并除以方差的操作,使得处理后的数据近似符合(0,1) 的标准正态分布:xi∗=(xi−μ)/σx_i^*=(x_i-μ)/σ优点:1) 计算相对简单,在计算机编程软件中操作方便;2) 能够消除量级为数据分析带来的不便,不受数据量级的影响,保证了数据间的可比性.缺点:1) 计算时需要得到总体的均值及标准差,在数据较多时难...

2023-02-02 14:11:00 3

原创 特征工程——数据的标准化(Z-Score,Maxmin,MaxAbs,RobustScaler,Normalizer)

数据标准化是一个常用的数据预处理操作,目的是处理不同规模和量纲的数据,使其缩放到相同的数据区间和范围,以减少规模、特征、分布差异等对模型的影响。比如线性回归模型、逻辑回归模型或包含矩阵的模型,它们会受到输入尺度(量纲)的影响。相反,那些基于树的模型则根本不在乎输入尺度(量纲)有多大。如果模型对输入特征的尺度(量纲)很敏感,就需要进行特征缩放。顾名思义,特征缩放会改变特征的尺度,有些人将其称为...

2023-01-31 15:14:00 22

原创 python sorted 自带函数模块 排序方法使用

该sorted()函数按特定顺序(升序或降序)对给定迭代的元素进行排序,并将其作为列表返回。例子numbers = [4, 2, 12, 8]sorted_numbers = sorted(numbers)print(sorted_numbers)# Output: [2, 4, 8, 12] 运行代码 sorted() 的语法该sorted()函数的语...

2022-07-05 15:32:00 141

原创 解除/配置 linux/nginx 的 tcp 连接(nginx配置文件日常配置推荐)

nginx 文档 参数介绍: http://shouce.jb51.net/nginx-doc/Text/3.1_httpcore.htmlnginx 优化由于业务场景需要,近期将生产环境由阿里云的 SLB 更换为自建 nginx,之前在测试环境使用了一段时间一直没有问题,但是上周上到生产后出现了一系列问题,因此对 nginx 做了一些优化,记录下以备以后需要。高并发优化生产...

2022-01-06 17:31:00 585

原创 更改Ubuntu的apt源

转:https://blog.csdn.net/l18710006370/article/details/78180467万万没想到 有一天我会在下载上出问题 (*/ω\*) (好的运维应该不会让碰到这个坑,如果必须自己维护, 更新一下下载源吧)以下是apt的各种源,但是目前清华源是最好用的更换方式:编辑源列表文件sudo vim /etc/apt/sources.list...

2021-12-27 17:10:00 223

原创 ubuntu/linux 下载安装并配置mongo(db)

官方:https://docs.mongodb.com/v3.6/tutorial/install-mongodb-enterprise-on-ubuntu/有条件的可以直接看官网, 下面是我个人用到的一些, 多余的部分就被我减掉了将GPG_Key 添加到本机# import the MongoDB public GPG Key fromhttps://www.mong...

2021-12-27 16:33:00 274

原创 在ubuntu上通过nginx + uwsgi 运行 flask

安装nginx:apt-get install nginx#如果是使用本机安装测试,由于默认不是最高权限使用以下命令即可:sudo apt-get install nginx 安装uwsgi:pip install uwsgi#查看是否安装成功uwsgi --version配置nginx:cd /etc/nginx/conf.dvim conf_name.conf ...

2021-12-14 17:54:00 193

原创 python3 sort 指定字典后的value值

dic = {'a': 1, 'b': 3, 'c':2}dic = {k: v for k, v in sorted(dic.items(), key=lambda item: item[1])}print(dic)==> {'a': 1, 'c': 2, 'b':3}

2021-12-07 15:27:00 54

原创 anaconda 各版本的下载地址

所有版本在这个网站都可以下载:https://repo.continuum.io/archive/https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/ (推荐,清华大学开源软件镜像站进行下载并配置镜像)Anaconda3-4.3.0.1-Windows-x86_64.exe 对应 python3.6.0Anaconda3-5.1.0-W...

2021-11-16 16:19:00 1053

原创 python 图像处理(13):高级滤波

本文提供更多更强大的滤波方法,这些方法放在filters.rank子模块内。这些方法需要用户自己设定滤波器的形状和大小,因此需要导入morphology模块来设定。1、autolevel这个词在photoshop里面翻译成自动色阶,用局部直方图来对图片进行滤波分级。该滤波器局部地拉伸灰度像素值的直方图,以覆盖整个像素值范围。格式:skimage.filters.rank.autole...

2021-04-27 12:22:00 176

原创 python 图像处理(12):基本形态学滤波

对图像进行形态学变换。变换对象一般为灰度图或二值图,功能函数放在morphology子模块内。1、膨胀(dilation)原理:一般对二值图像进行操作。找到像素值为1的点,将它的邻近像素点都设置成这个值。1值表示白,0值表示黑,因此膨胀操作可以扩大白色值范围,压缩黑色值范围。一般用来扩充边缘或填充小的孔洞。功能函数:skimage.morphology.dilation(image,s...

2021-04-27 12:20:00 445

原创 python 图像处理(11):基本图形的绘制

图形包括线条、圆形、椭圆形、多边形等。在skimage包中,绘制图形用的是draw模块,不要和绘制图像搞混了。1、画线条函数调用格式为:skimage.draw.line(r1,c1,r2,c2)r1,r2: 开始点的行数和结束点的行数c1,c2: 开始点的列数和结束点的列数返回当前绘制图形上所有点的坐标,如:rr, cc =draw.line(1, 5, 8, 2)表示...

2021-04-27 12:19:00 322

原创 python 图像处理(10):图像自动阈值分割

图像阈值分割是一种广泛应用的分割技术,利用图像中要提取的目标区域与其背景在灰度特性上的差异,把图像看作具有不同灰度级的两类区域(目标区域和背景区域)的组合,选取一个比较合理的阈值,以确定图像中每个像素点应该属于目标区域还是背景区域,从而产生相应的二值图像。在skimage库中,阈值分割的功能是放在filters模块中。我们可以手动指定一个阈值,从而来实现分割。也可以让系统自动生成一个阈值,...

2021-04-27 12:17:00 1235

原创 python 图像处理(9):图像简单滤波

对图像进行滤波,可以有两种效果:一种是平滑滤波,用来抑制噪声;另一种是微分算子,可以用来检测边缘和特征提取。skimage库中通过filters模块进行滤波操作。1、sobel算子sobel算子可用来检测边缘函数格式为:skimage.filters.sobel(image,mask=None)from skimage import data,filtersimport mat...

2021-04-27 12:16:00 850

原创 python 图像处理(8):直方图与均衡化

在图像处理中,直方图是非常重要,也是非常有用的一个处理要素。在skimage库中对直方图的处理,是放在exposure这个模块中。1、计算直方图函数:skimage.exposure.histogram(image,nbins=256)在numpy包中,也提供了一个计算直方图的函数histogram(),两者大同小义。返回一个tuple(hist, bins_center), 前一...

2021-04-27 12:15:00 1141

原创 python 图像处理(7):对比度与亮度调整

图像亮度与对比度的调整,是放在skimage包的exposure模块里面1、gamma调整原理:I=Ig对原图像的像素,进行幂运算,得到新的像素值。公式中的g就是gamma值。如果gamma>1, 新图像比原图像暗如果gamma<1,新图像比原图像亮函数格式为:skimage.exposure.adjust_gamma(image,gamma=1)gamma参数默认...

2021-04-27 12:14:00 3110

原创 python 图像处理(6):图像的形变与缩放

图像的形变与缩放,使用的是skimage的transform模块,函数比较多,功能齐全。1、改变图片尺寸resize函数格式为:skimage.transform.resize(image,output_shape)image: 需要改变尺寸的图片output_shape: 新的图片尺寸from skimage import transform,dataimport mat...

2021-04-27 12:13:00 669

原创 python 图像处理(5):图像的批量处理

有些时候,我们不仅要对一张图片进行处理,可能还会对一批图片处理。这时候,我们可以通过循环来执行处理,也可以调用程序自带的图片集合来处理。图片集合函数为:skimage.io.ImageCollection(load_pattern,load_func=None)这个函数是放在io模块内的,带两个参数,第一个参数load_pattern, 表示图片组的路径,可以是一个str字符串。第二个参...

2021-04-27 12:12:00 2562 3

原创 python 图像处理(4):图像的绘制

实际上前面我们就已经用到了图像的绘制,如:io.imshow(img) 这一行代码的实质是利用matplotlib包对图片进行绘制,绘制成功后,返回一个matplotlib类型的数据。因此,我们也可以这样写:import matplotlib.pyplot as pltplt.imshow(img)imshow()函数格式为:matplotlib.pyplot.imshow(...

2021-04-27 12:11:00 1056

原创 python 图像处理(3):图像数据类型及颜色空间转换

一、图像数据类型及转换在skimage中,一张图片就是一个简单的numpy数组,数组的数据类型有很多种,相互之间也可以转换。这些数据类型及取值范围如下表所示:Data typeRangeuint80 to 255uint160 to 65535uint320 to 232float-1 to 1 or 0 to 1int8-128 to 12...

2021-04-27 12:10:00 873

原创 python 图像处理 (2):图像像素的访问与裁剪

图片读入程序中后,是以numpy数组存在的。因此对numpy数组的一切功能,对图片也适用。对数组元素的访问,实际上就是对图片像素点的访问。彩色图片访问方式为:img[i,j,c]i表示图片的行数,j表示图片的列数,c表示图片的通道数(RGB三通道分别对应0,1,2)。坐标是从左上角开始。灰度图片访问方式为:gray[i,j]例1:输出小猫图片的G通道中的第20行30列的像素值f...

2021-04-27 12:08:00 264

原创 python 读取图像的几种方法

方法一:利用PIL中的Image函数,这个函数读取出来不是array格式 这时候需要用 np.asarray(im) 或者np.array()函数区别是 np.array() 是深拷贝,np.asarray() 是浅拷贝from PIL import Imageimport numpy as np I = Image.open('./cc_1.png') I.show() ...

2021-04-27 11:57:00 500

原创 python 图像处理:图像的读取、显示与保存

skimage提供了io模块,顾名思义,这个模块是用来图片输入输出操作的。为了方便练习,也提供一个data模块,里面嵌套了一些示例图片,我们可以直接使用。引入skimage模块可用:from skimage import ioskimage包的全称是scikit-imageSciKit (toolkit forSciPy) ,它对scipy.ndimage进行了扩展,提供了更多...

2021-04-27 11:55:00 2060 4

原创 NLP 正向、逆向 分词

最大匹配法:最大匹配是指以词典为依据,取词典中最长单词为第一个次取字数量的扫描串,在词典中进行扫描(为提升扫描效率,还可以跟据字数多少设计多个字典,然后根据字数分别从不同字典中进行扫描)。例如:词典中最长词为“中华人民共和国”共7个汉字,则最大匹配起始字数为7个汉字。然后逐字递减,在对应的词典中进行查找。下面以“我们在野生动物园玩”为例详细说明一下正向与逆向最大匹配方法:1、正向最大匹配...

2021-04-23 11:21:00 204 1

原创 Python 正则表达式匹配中文

参照Python正则表达式指南在使用Python的过程中,由于需求原因,我们经常需要在文本或者网页元素中用Python正则表达式匹配中文,但是我们经常所熟知的正则表达式却只能匹配英文,而对于中文编码却望尘莫及,于是我大量Google,几经Baidu,花了两个多个小时测试,终于发现解决的办法。特记录如下从字符串的角度来说,中文不如英文整齐、规范,这是不可避免的现实。本文结合网上资料以及个人经...

2021-03-31 10:13:00 4430 2

原创 36 Questions for Increasing Closeness

How to Do ItIdentify someone with whom you’d like to become closer. It could be someone you know well or someone you’re just getting to know. Although this exercise has a reputation for making...

2021-02-24 15:22:00 66

原创 pyecharts教程

前言¶????本项目整理了目前pyecharts支持的所有图表以及基础配置项~????所有代码均基于Pyecharts v1.7.1版本,均已全部运行通过;⚠️如遇图表显示空白,可尝试刷新页面重新进入;????篇幅较长,建议先Fork~❗️转载需注明来源;转:https://www.kesci.com/mw/project/5eb7958f366f4d002d783d4...

2021-02-04 12:45:00 27

原创 pysftp-tools

?1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162636465...

2020-12-31 11:58:00 237

原创 Pysftp

作为一个轻量级的直接远程操作目标机器的模块,直接上代码, 具体用法请参考相关文档(自己上网查 =。=)。class SFTP(object): def __init__(self): self.port = 22 self.hostname = '' self.user_name = '' self.pwd = '' ...

2020-12-31 11:56:00 289 1

原创 ipynb文件 转换为py文件

jupyter提供了这个转换功能,运行jupyter notebook,运行后将打开一个网页上传ipynb文件,然后选择File—>Download as—>python(.py)然后就可以生成Python文件了在.ipynb 文件所在的目录下打开一个终端,然后输入:jupyter nbconvert --to script *.ipynbjupyter nb...

2020-12-24 10:57:00 196

原创 Linux\Centos 7安装MongoDB(简单/详细)

.markdown-body { line-height: 1.75; font-weight: 400; font-size: 15px; overflow-x: hidden; color: rgba(51, 51, 51, 1) }.markdown-body h1, .markdown-body h2, .markdown-body h3, .markdown-body h4,...

2020-11-09 11:29:00 108

原创 centos7安装redis

方法一:源文件安装(推荐安装)在CentOS和Red Hat系统中,首先添加EPEL仓库,然后更新yum源:sudo yum install epel-releasesudo yum update然后安装Redis数据库:sudo yum -y install redis安装好后启动Redis服务即可:sudo systemctl start redis这里...

2020-11-05 18:38:00 49

原创 centos 安装python3时遇到 ssl报错,更新ssl/ Python 3 No module named '_ssl'

原文:https://blog.51cto.com/13544424/2149473pip3报错安装python3.7.0后发现使用pip会出现如下报错: [root@localhost ~]# /usr/local/python3/bin/pip3 install virtualenv pip is configured with locations that requ...

2020-11-05 15:25:00 231

原创 js破解-学习笔记

具体的数据如下查看页面源代码发现,一个好玩的事情,源代码中使用了大量的CSS3的语法 下图,我标注的部分就是关键的一些数据了,大概在600行之后。反爬措施展示源文件数据刹车/<span class='hs_kw86_baikeIl'></span>安全系统页面显示数据一些关键数据被处理过了。爬取关键信息我们要把源代码中的关键信息先获取到...

2020-11-02 19:07:00 127

原创 mongo.conf 配置信息

# mongod.conf# for documentation of all options, see:# http://docs.mongodb.org/manual/reference/configuration-options/# where to write logging data.systemLog: destination: file logAp...

2020-09-23 11:38:00 148

原创 新安装的pip3,使用出现No module named 'lsb_release'的问题

报错:Exception:Traceback (most recent call last): File "/usr/local/python3/lib/python3.6/site-packages/pip/basecommand.py", line 215, in main status = self.run(options, args) File "/usr/...

2020-08-17 17:22:00 773 1

原创 Centos 安装python3

安装步骤一、检查是否有 GCCgcc --version # 查看gcc版本# 若没有输出,执行安装命令yum -y install gcc二、安装依赖  如果不安装依赖,在安装 Python 的时候会报错yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-deve...

2020-08-14 12:32:00 46

原创 Matplotlib 入门教程

Matplotlib 入门教程来源:Introduction to Matplotlib and basic line在线阅读PDF格式EPUB格式MOBI格式代码仓库第一章 Matplotlib 简介欢迎阅读 Python 3+ Matplotlib 系列教程。 在本系列中,我们将涉及 Matplotlib 数据可视化模块的多个方面。 Matplotlib 能够创建多数...

2020-08-12 12:52:00 35

原创 MatPlotLib 的各种画图使用

1.Matplotlib简介Matplotlib是非常强大的python画图工具Matplotlib可以画图线图、散点图、等高线图、条形图、柱形图、3D图形、图形动画等。2.Matplotlib安装pip3 install matplotlib#python33.Matplotlib引入import matplotlib.pyplot as plt#为方便简介为pl...

2020-08-11 12:41:00 374

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除