- 博客(193)
- 收藏
- 关注
RSS订阅原创 ML --Softmax Function (Multiclass Classification) --Andrew Ng ---- Optional Lab
Optional Lab - Softmax Function¶In this lab, we will explore the softmax function. This function is used in both Softmax Regression and in Neural Networks when solving Multiclass Classificati...
2023-03-26 14:15:00
307
原创 Tensflow & Numpy to implement Linear Regresssion and Logistic Regression
Optional Lab - Neurons and Layers¶In this lab we will explore the inner workings of neurons/units and layers. In particular, the lab will draw parallels to the models you have mastered in Course 1, ...
2023-03-26 11:40:00
313
原创 Andrew Ng ---- Optional Lab: Multiple Variable Linear Regression
1.1 Goals¶Extend our regression model routines to support multiple featuresExtend data structures to support multiple featuresRewrite prediction, cost and gradient routines to support mult...
2023-03-19 12:18:00
285
原创 machine-learning-specialization ---- first week optional lab
1. 使用python和numpy实现一个线性回归要求使用梯度下降法，可视化 l o s s loss loss随着迭代次数的变化曲线2. 说明2.1 拟合函数 f w , b ( x ( i ) ) = w x ( i ) + b f_{w,b}(x^{(i)})=wx^{(i)}+b fw,b(x(i))=wx(i)+b2.2 均方误差损失函数 J ( w , b ) = ...
2023-03-13 22:00:00
159
原创 Andrew Ng -- machine learning ex2/吴恩达机器学习ex2
这个项目包含了吴恩达机器学习ex2的python实现，主要知识点为逻辑回归、正则化，题目内容可以查看数据集中的ex2.pdf代码来自网络(原作者黄广海的github)，添加了部分对于题意的中文翻译，以及修改成与习题一致的结构，方便大家理解另，原来代码中的高次项有些问题，以及缺少作图部分，已经修改补全其余练习的传送门ex1：线性回归ex2：逻辑回归、正则化...
2023-03-13 19:04:00
159
原创 Andrew Ng -- machine learning ex1/吴恩达机器学习ex1
这个项目包含了吴恩达机器学习ex1的python实现，主要知识点为线性回归，题目内容可以查看数据集中的ex1.pdf代码来自网络(原作者黄广海的github)，添加了部分对于题意的中文翻译，以及修改成与习题一致的结构，方便大家理解其余练习的传送门项目 fork 地址： https://github.com/fengdu78/Coursera-ML-AndrewNg-Notes/blob...
2023-03-13 18:38:00
132
原创 Feature scaling- mean normalization
在我们面对多维特征问题的时候，我们要保证这些特征都具有相近的尺度，这将帮助梯度下降算法更快地收敛。以房价问题为例，假设我们使用两个特征，房屋的尺寸和房间的数量，尺寸的值为 0-2000 平方英尺，而房间数量的值则是 0-5，以两个参数分别为横纵坐标，绘制代价函数的等高线图能，看出图像会显得很扁，梯度下降算法需要非常多次的迭代才能收敛。解决的方法是尝试将所有特征的尺度都尽量缩放到-1 到 ...
2023-03-09 12:23:00
65
原创 特征工程——交互特征（多项式特征）
一、交互特征定义两个特征的乘积可以组成一对简单的交互特征，这种相乘关系可以用逻辑操作符AND来类比，它可以表示出由一对条件形成的结果：“该购买行为来自于邮政编码为98121的地区”AND“用户年龄在18和35岁之间”。这种特征在基于决策树的模型中极其常见，在广义线性模型中也经常使用。简单线性模型使用独立输入特征, , …, 的线性组合来预测结果变量：。很容易对线性模型进行扩展，使之包含输...
2023-02-04 12:46:00
915
原创 （Z-Score，0-1，稳健标准化RobustScaler， L_p归一化normalizer，小数定标, Logistic）标准化方法的优缺点和适用范围...
1. Z-Score标准化对数据系列中的每一个数据点作减去均值并除以方差的操作，使得处理后的数据近似符合(0,1) 的标准正态分布：xi∗=(xi−μ)/σx_i^*=(x_i-μ)/σ优点：1) 计算相对简单，在计算机编程软件中操作方便；2) 能够消除量级为数据分析带来的不便，不受数据量级的影响，保证了数据间的可比性.缺点：1) 计算时需要得到总体的均值及标准差，在数据较多时难...
2023-02-02 14:11:00
1634
原创 特征工程——数据的标准化（Z-Score,Maxmin,MaxAbs,RobustScaler,Normalizer）
数据标准化是一个常用的数据预处理操作，目的是处理不同规模和量纲的数据，使其缩放到相同的数据区间和范围，以减少规模、特征、分布差异等对模型的影响。比如线性回归模型、逻辑回归模型或包含矩阵的模型，它们会受到输入尺度(量纲)的影响。相反，那些基于树的模型则根本不在乎输入尺度(量纲)有多大。如果模型对输入特征的尺度(量纲)很敏感，就需要进行特征缩放。顾名思义，特征缩放会改变特征的尺度，有些人将其称为...
2023-01-31 15:14:00
3009
原创 python sorted 自带函数模块 排序方法使用
该sorted()函数按特定顺序(升序或降序)对给定迭代的元素进行排序，并将其作为列表返回。例子numbers = [4, 2, 12, 8]sorted_numbers = sorted(numbers)print(sorted_numbers)# Output: [2, 4, 8, 12] 运行代码 sorted() 的语法该sorted()函数的语...
2022-07-05 15:32:00
317
原创 解除/配置 linux/nginx 的 tcp 连接（nginx配置文件日常配置推荐）
nginx 文档 参数介绍： http://shouce.jb51.net/nginx-doc/Text/3.1_httpcore.htmlnginx 优化由于业务场景需要，近期将生产环境由阿里云的 SLB 更换为自建 nginx，之前在测试环境使用了一段时间一直没有问题，但是上周上到生产后出现了一系列问题，因此对 nginx 做了一些优化，记录下以备以后需要。高并发优化生产...
2022-01-06 17:31:00
1031
原创 更改Ubuntu的apt源
转：https://blog.csdn.net/l18710006370/article/details/78180467万万没想到 有一天我会在下载上出问题 (*/ω＼*) (好的运维应该不会让碰到这个坑,如果必须自己维护, 更新一下下载源吧)以下是apt的各种源，但是目前清华源是最好用的更换方式：编辑源列表文件sudo vim /etc/apt/sources.list...
2021-12-27 17:10:00
320
原创 ubuntu/linux 下载安装并配置mongo(db)
官方：https://docs.mongodb.com/v3.6/tutorial/install-mongodb-enterprise-on-ubuntu/有条件的可以直接看官网, 下面是我个人用到的一些, 多余的部分就被我减掉了将GPG_Key 添加到本机# import the MongoDB public GPG Key fromhttps://www.mong...
2021-12-27 16:33:00
481
原创 在ubuntu上通过nginx + uwsgi 运行 flask
安装nginx:apt-get install nginx#如果是使用本机安装测试，由于默认不是最高权限使用以下命令即可:sudo apt-get install nginx 安装uwsgi:pip install uwsgi#查看是否安装成功uwsgi --version配置nginx:cd /etc/nginx/conf.dvim conf_name.conf ...
2021-12-14 17:54:00
425
原创 python3 sort 指定字典后的value值
dic = {'a': 1, 'b': 3, 'c':2}dic = {k: v for k, v in sorted(dic.items(), key=lambda item: item[1])}print(dic)==> {'a': 1, 'c': 2, 'b':3}
2021-12-07 15:27:00
125
原创 anaconda 各版本的下载地址
所有版本在这个网站都可以下载：https://repo.continuum.io/archive/https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/ (推荐，清华大学开源软件镜像站进行下载并配置镜像)Anaconda3-4.3.0.1-Windows-x86_64.exe 对应 python3.6.0Anaconda3-5.1.0-W...
2021-11-16 16:19:00
1308
原创 python 图像处理（13）：高级滤波
本文提供更多更强大的滤波方法，这些方法放在filters.rank子模块内。这些方法需要用户自己设定滤波器的形状和大小，因此需要导入morphology模块来设定。1、autolevel这个词在photoshop里面翻译成自动色阶，用局部直方图来对图片进行滤波分级。该滤波器局部地拉伸灰度像素值的直方图，以覆盖整个像素值范围。格式：skimage.filters.rank.autole...
2021-04-27 12:22:00
358
原创 python 图像处理（12）：基本形态学滤波
对图像进行形态学变换。变换对象一般为灰度图或二值图，功能函数放在morphology子模块内。1、膨胀(dilation)原理：一般对二值图像进行操作。找到像素值为1的点，将它的邻近像素点都设置成这个值。1值表示白，0值表示黑，因此膨胀操作可以扩大白色值范围，压缩黑色值范围。一般用来扩充边缘或填充小的孔洞。功能函数：skimage.morphology.dilation(image,s...
2021-04-27 12:20:00
819
原创 python 图像处理（11）：基本图形的绘制
图形包括线条、圆形、椭圆形、多边形等。在skimage包中，绘制图形用的是draw模块，不要和绘制图像搞混了。1、画线条函数调用格式为：skimage.draw.line(r1,c1,r2,c2)r1,r2: 开始点的行数和结束点的行数c1,c2: 开始点的列数和结束点的列数返回当前绘制图形上所有点的坐标，如：rr, cc =draw.line(1, 5, 8, 2)表示...
2021-04-27 12:19:00
501
原创 python 图像处理（10）：图像自动阈值分割
图像阈值分割是一种广泛应用的分割技术，利用图像中要提取的目标区域与其背景在灰度特性上的差异，把图像看作具有不同灰度级的两类区域(目标区域和背景区域)的组合，选取一个比较合理的阈值，以确定图像中每个像素点应该属于目标区域还是背景区域，从而产生相应的二值图像。在skimage库中，阈值分割的功能是放在filters模块中。我们可以手动指定一个阈值，从而来实现分割。也可以让系统自动生成一个阈值，...
2021-04-27 12:17:00
1912
原创 python 图像处理（9）：图像简单滤波
对图像进行滤波，可以有两种效果：一种是平滑滤波，用来抑制噪声；另一种是微分算子，可以用来检测边缘和特征提取。skimage库中通过filters模块进行滤波操作。1、sobel算子sobel算子可用来检测边缘函数格式为：skimage.filters.sobel(image,mask=None)from skimage import data,filtersimport mat...
2021-04-27 12:16:00
1217
原创 python 图像处理（8）：直方图与均衡化
在图像处理中，直方图是非常重要，也是非常有用的一个处理要素。在skimage库中对直方图的处理，是放在exposure这个模块中。1、计算直方图函数：skimage.exposure.histogram(image,nbins=256)在numpy包中，也提供了一个计算直方图的函数histogram(),两者大同小义。返回一个tuple(hist, bins_center), 前一...
2021-04-27 12:15:00
2369
原创 python 图像处理（7）：对比度与亮度调整
图像亮度与对比度的调整，是放在skimage包的exposure模块里面1、gamma调整原理：I=Ig对原图像的像素，进行幂运算，得到新的像素值。公式中的g就是gamma值。如果gamma>1, 新图像比原图像暗如果gamma<1,新图像比原图像亮函数格式为：skimage.exposure.adjust_gamma(image,gamma=1)gamma参数默认...
2021-04-27 12:14:00
4307
原创 python 图像处理（6）：图像的形变与缩放
图像的形变与缩放，使用的是skimage的transform模块，函数比较多，功能齐全。1、改变图片尺寸resize函数格式为：skimage.transform.resize(image,output_shape)image: 需要改变尺寸的图片output_shape: 新的图片尺寸from skimage import transform,dataimport mat...
2021-04-27 12:13:00
1156
原创 python 图像处理（5）：图像的批量处理
有些时候，我们不仅要对一张图片进行处理，可能还会对一批图片处理。这时候，我们可以通过循环来执行处理，也可以调用程序自带的图片集合来处理。图片集合函数为：skimage.io.ImageCollection(load_pattern,load_func=None)这个函数是放在io模块内的，带两个参数，第一个参数load_pattern, 表示图片组的路径，可以是一个str字符串。第二个参...
2021-04-27 12:12:00
6344
4
原创 python 图像处理（4）：图像的绘制
实际上前面我们就已经用到了图像的绘制，如：io.imshow(img) 这一行代码的实质是利用matplotlib包对图片进行绘制，绘制成功后，返回一个matplotlib类型的数据。因此，我们也可以这样写：import matplotlib.pyplot as pltplt.imshow(img)imshow()函数格式为：matplotlib.pyplot.imshow(...
2021-04-27 12:11:00
1443
原创 python 图像处理（3）：图像数据类型及颜色空间转换
一、图像数据类型及转换在skimage中，一张图片就是一个简单的numpy数组，数组的数据类型有很多种，相互之间也可以转换。这些数据类型及取值范围如下表所示：Data typeRangeuint80 to 255uint160 to 65535uint320 to 232float-1 to 1 or 0 to 1int8-128 to 12...
2021-04-27 12:10:00
1514
原创 python 图像处理 (2)：图像像素的访问与裁剪
图片读入程序中后，是以numpy数组存在的。因此对numpy数组的一切功能，对图片也适用。对数组元素的访问，实际上就是对图片像素点的访问。彩色图片访问方式为：img[i,j,c]i表示图片的行数，j表示图片的列数，c表示图片的通道数(RGB三通道分别对应0，1，2)。坐标是从左上角开始。灰度图片访问方式为：gray[i,j]例1：输出小猫图片的G通道中的第20行30列的像素值f...
2021-04-27 12:08:00
412
原创 python 读取图像的几种方法
方法一：利用PIL中的Image函数，这个函数读取出来不是array格式 这时候需要用 np.asarray(im) 或者np.array()函数区别是 np.array() 是深拷贝，np.asarray() 是浅拷贝from PIL import Imageimport numpy as np I = Image.open('./cc_1.png') I.show() ...
2021-04-27 11:57:00
1207
原创 python 图像处理:图像的读取、显示与保存
skimage提供了io模块，顾名思义，这个模块是用来图片输入输出操作的。为了方便练习，也提供一个data模块，里面嵌套了一些示例图片，我们可以直接使用。引入skimage模块可用：from skimage import ioskimage包的全称是scikit-imageSciKit (toolkit forSciPy) ，它对scipy.ndimage进行了扩展，提供了更多...
2021-04-27 11:55:00
3740
4
原创 NLP 正向、逆向 分词
最大匹配法：最大匹配是指以词典为依据，取词典中最长单词为第一个次取字数量的扫描串，在词典中进行扫描(为提升扫描效率，还可以跟据字数多少设计多个字典，然后根据字数分别从不同字典中进行扫描)。例如：词典中最长词为“中华人民共和国”共7个汉字，则最大匹配起始字数为7个汉字。然后逐字递减，在对应的词典中进行查找。下面以“我们在野生动物园玩”为例详细说明一下正向与逆向最大匹配方法：1、正向最大匹配...
2021-04-23 11:21:00
519
1
原创 Python 正则表达式匹配中文
参照Python正则表达式指南在使用Python的过程中，由于需求原因，我们经常需要在文本或者网页元素中用Python正则表达式匹配中文，但是我们经常所熟知的正则表达式却只能匹配英文，而对于中文编码却望尘莫及，于是我大量Google，几经Baidu，花了两个多个小时测试，终于发现解决的办法。特记录如下从字符串的角度来说，中文不如英文整齐、规范，这是不可避免的现实。本文结合网上资料以及个人经...
2021-03-31 10:13:00
7917
2
原创 36 Questions for Increasing Closeness
How to Do ItIdentify someone with whom you’d like to become closer. It could be someone you know well or someone you’re just getting to know. Although this exercise has a reputation for making...
2021-02-24 15:22:00
139
原创 pyecharts教程
前言¶????本项目整理了目前pyecharts支持的所有图表以及基础配置项～????所有代码均基于Pyecharts v1.7.1版本，均已全部运行通过；⚠️如遇图表显示空白，可尝试刷新页面重新进入；????篇幅较长，建议先Fork～❗️转载需注明来源；转：https://www.kesci.com/mw/project/5eb7958f366f4d002d783d4...
2021-02-04 12:45:00
816
原创 pysftp-tools
?1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162636465...
2020-12-31 11:58:00
335
原创 Pysftp
作为一个轻量级的直接远程操作目标机器的模块，直接上代码， 具体用法请参考相关文档(自己上网查 =。=)。class SFTP(object): def __init__(self): self.port = 22 self.hostname = '' self.user_name = '' self.pwd = '' ...
2020-12-31 11:56:00
515
1
原创 ipynb文件 转换为py文件
jupyter提供了这个转换功能，运行jupyter notebook，运行后将打开一个网页上传ipynb文件，然后选择File—>Download as—>python(.py)然后就可以生成Python文件了在.ipynb 文件所在的目录下打开一个终端，然后输入：jupyter nbconvert --to script *.ipynbjupyter nb...
2020-12-24 10:57:00
318
原创 Linux\Centos 7安装MongoDB（简单/详细）
.markdown-body { line-height: 1.75; font-weight: 400; font-size: 15px; overflow-x: hidden; color: rgba(51, 51, 51, 1) }.markdown-body h1, .markdown-body h2, .markdown-body h3, .markdown-body h4,...
2020-11-09 11:29:00
471
原创 centos7安装redis
方法一：源文件安装(推荐安装)在CentOS和Red Hat系统中，首先添加EPEL仓库，然后更新yum源：sudo yum install epel-releasesudo yum update然后安装Redis数据库：sudo yum -y install redis安装好后启动Redis服务即可：sudo systemctl start redis这里...
2020-11-05 18:38:00
134
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人