liuziyuan827-CSDN博客

原创数据功能权限设计

linux 系统，分为超级管理用户（root，只有一个），系统用户，普通用户（user ）三类用户，分为 wheel、staff 两类默认组，wheel 组里的用户才有 sudo 权限，用户都属于 staff 组。用户组只对普通用户进行管理，文件权限的控制对象为：文件所有者，同组，其它组。实现ABAC时如果规则为：“允许所有产品经理在上班时间自由出入企业”这条规则，“产品经理”是用户的角色属性，“上班时间”是环境属性，“出入”是操作属性，而“企业大门”是对象属性。用户级别：高级，中级，普通。

2022-10-08 13:26:31 447 1

原创图像评价标准

PSNR计算两幅图像之间的相似度，评价的是一幅estimated的图像相对于原图像的噪声强度，这个概念的提出应该是针对图像压缩领域，在图像去噪领域由于没有原图做对比，只能是噪声图与降噪图做对比，似乎说服力要弱一些。PSNR越大越好。SSIM：结构相似性，是一种衡量两幅图像相似度的指标。SSIM使用的两张图像中，一张为未经压缩的无失真图像，另一张为失真后的图像。也是视频质量评价的一种优秀算法。不过依然具有PSNR的问题。...

2022-04-25 11:24:06 602

原创正则表达式

定义：正则表达式是一个特殊的字符序列，一个字符串是否与我们所设定的这样的字符序列相匹配。快速检索文本、实现一些替换文本的操作。1、检查一串数字是否是电话号码；2、检测一个字符串是否符合email；3、把一个文本里指定的单词替换为另外一个单词import rea = 'c|c++|java|python'## print(a.index(‘python’)> -1 )## print('python' in a)re.findall('python',a) # re.findall('正

2020-11-11 22:37:26 233

原创算法题1——递归

实验目的：掌握递归的使用实验内容：问题描述:如果一个数字序列逆置后跟原序列是一-样的，则称这样的数字序列为回文序列。例如,{1,2,1}、{15,78,78,15}、{11,2,11} 是回文序列,而{1,2,2}.{15,78,87,51}、{112,2,11}不是回文序列。现在给出一一个数字序列，允许使用一种转换操作:选择任意两个相邻的数，然后从序列中移除这两个数,并将这两个数的和插人到这两个数之前的位置(只插入一个和)。对于所给序列求出最少需要多少次操作可以将其变成回文序列。输入描述:输入

2020-10-28 09:50:01 170

原创算法题2

问题描述：小明同学在学习了不同的进制之后用一些数字做起了游戏。小明同学知道，在日常生活中最常用的是十进制数，而在计算机中二进制数也很常用。现在对于一个数字x，小明同学定义出两个函数f(x)和g(x)，f(x)表示把x这个数用十进制写出后各数位上的数字之和，例如f(123)=1＋2十3=6；g(x)表示把x这个数用二进制写出后各数位上的数字之和，例如123的二进制表示为1111011,那么g(123)=1＋1+1+1+0+1+1=6。小明同学发现对于一些正整数α满足f(z)=g(z)，他把这种数称为幸运数，

2020-10-21 19:04:47 525

原创 pytorch的基本语法

一、数据类型1、基本数据类型pythonpytorchintIntTensorfloatFloatTensorInt arrayIntTensor …String–pytorch 没有内键支持string类型2、判断数据类型isinstance(a,torch.FloatTensor) —— 判断a的数据类型是不是torch.FloatTensortype(a) —— 查看a的数据类型data = data.cuda() —— 将变量放在cu

2020-10-21 18:56:47 4046 1

原创 git简单功能

1、Git工作机制工作区（写代码） =(git add)> 暂存区（临时存储）=(git commit）> 本地库（历史版本)注意：数据一旦写入到本地库之后就不能篡改了，除非删除本地库；在暂存区就可以撤回但是放到GitHub上就不能篡改了，GitHub相当于是服务器端的仓库2、Git和代码托管中心（代码托管中心负责维护远程库）·局域网·GitLab·外网·GitHub：代码托管中心的远程库·码云：Gitee，码云还有很多其它的功能GitLab：局域网的代码托管中心3、团队内

2020-09-14 15:08:29 202

原创 tf中的过拟合

一、交叉验证（判断是否过拟合）在训练集的数据中拿出部分（可以是10%）的数据作为validation数据，用来测试调整训练模型和参数。(1)自主实现import tensorflow as tfimport osfrom tensorflow import kerasfrom tensorflow.keras import datasets,layers,optimizers,Sequential,metricsos.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'

2020-08-23 17:55:31 201

原创 tf.keras高层API

一、定义网络keras.sequential ：层的容器keras.layers.Layer 所有的层都要继承这个类keras.Model：继承了Model的类都有compile/fit/evaluate这几个功能model = Sequential([ layers.Dense(256,activation=tf.nn.relu) #[b,784] => [b,256],输入维度会默认有 ,layers.Dense(128,activation=tf.nn.relu) #[b

2020-08-22 21:03:19 223

原创 tensowFlow基础语法

一、基本数据类型（1）定义tf.Tensorscalar：1.1 标量vector：[1.1],[1.1,2.2,…] 向量matric：[[1.1,2.2],[3.3,4.4]…] 矩阵tensor：rank >2（2）特点支持自动求导（3）支持类型int，float，doubleboolstringimport tensorflow as tfimport osos.environ['TF_CPP_MIN_LOG_LEVEL'] = '2' #这句话是tenso

2020-08-20 08:49:00 300

原创 python的基础语法

Simple is better than complex.一、python的应用1、爬虫2、大数据与数据分析（Spark）3、自动化运维与自动化测试4、机器学习：Tensor Flow5、胶水语言：混合其它如C++、Java等来编程。能够把用其他语言制作的各种模块（尤其是C/C++）很轻松的联结在一起6、Web：Flask、Django二、优缺点优点：面向对象，跨平台，简洁易学，解释型语言缺点：运行效率相对其它语言较慢编译型语言：C、C++,将语言编译成对应平台执行的机器码解释型语

2020-08-08 13:30:33 603

原创 Dos常用命令

Dos常用命令一、软件的安装/卸载1、软件的安装2、软件的卸载3、常用软件二、对目录的操作1、进入目录2、查看目录或文件大小3、创建目录4、删除目录5、重命名6、复制目录三、对文件的操作1、查看文件权限2、修改文件权限修改文件所属用户及组修改文件权限3、检查文件正确性4、查看文件类型5、文件打包、压缩、解压打包解包压缩解压四、对用户的操作1、增加用户2、删除用户3、修改密码4、查看当前登录用户5、临时切换用户6、切换到root用户五、常见快捷键六、对网络的操作1、查看网卡信息2、查看网线是否插好3、检查网络

2020-08-07 10:16:56 353

原创电影评分预测系统分析

一、数据获取（一）数据源地址：在kaggle官网获取电影评分的数据，官方网址为：https://www.kaggle.com/rounakbanik/the-movies-dataset用Google打开，因为需要注册和下载，网页如下图所示：[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Ab2Bgx4L-1596448565451)(138E684BBA5240568AE3217C4CD1F0E0)]网页上有对数据的说明（二）遇到的问题点击最右侧的下载，需要注册

2020-08-03 18:43:44 7296

原创降维

降维PCA一、什么是维度二、什么是降维三、sklearn中的降维算法四、PCA的实现五、PCA的重要属性一、什么是维度数组和Series：维度就是功能shape返回的结果，shape中返回了几个数字就是几维。特征矩阵或Dataframe：维度就是样本的数量或特征的数量。图像：维度就是图像中特征向量的数量二、什么是降维降维算法中的“降维”，指的是降低特征矩阵中特征的数量。降维的目的：1、让算法运算更快，效果更好；2、数据可视化三、sklearn中的降维算法四、PCA的实现from skl

2020-07-28 07:57:52 721

原创特征选择

特征选择一、过滤法（1）方差过滤（2）相关性过滤1、卡方过滤2、F检验3、互信息法二、Embedded嵌入法三、Wrapper包装法四、总结特征提取——特征创造——特征选择一、过滤法（1）方差过滤特征本身的方差很小，就表示样本在这个特征上基本没有差异，可能特征中的大多数指都一样，那么这个特征对于样本区分没有什么作用。所以，优先消除方差为0的特征。注意：方差过滤对随机森林影响不大，因为随机森林本来就是随机选取特征进行分枝，本身运算就非常快速，因此特征选择对它来说效果不明显。 data_x = ne

2020-07-27 20:27:33 298

原创数据预处理（二）

使用sklearn对数据进行预处理一、数据无量纲化（1）数据归一化（Min-Max Scaling）1、用sklearn中，preprocessing.MinMaxScaler实现2、使用numpy来实现归一化（2）数据标准化（StandardScaler）二、缺失值处理（1）使用sklearn中impute模块填补（2）用Pandas和Numpy进行填补（3）缺失值很少时，直接删除该行数据三、处理分类型特征（1）编码：将文字型数据转换为数值型1.preprocessing.LabelEncoder:标签专

2020-07-27 13:31:50 395

原创交叉验证

交叉验证定义使用定义将原始数据分组，每组划分训练集和测试集，分别得出评分等值。可以对各组的结果取平均作为最后的结果。使用#交叉验证:cross_val_scoredef crossTest(data,target): #输入数据和标签，不需要进行划分 from sklearn.model_selection import cross_val_score import matplotlib.pyplot as plt rfc = RandomForestClassifier(

2020-07-26 22:22:02 164

原创填补缺失值

填补缺失值使用0或均值填补缺失值使用随机森林填补缺失值使用0或均值填补缺失值#使用均值进行填补from sklearn.impute import SimpleImputer #引入sklearn中用来填充的类imp_mean = SimpleImputer(missing_values=np.nan, strategy='mean') #填充的类也需要实例化#用法和DecissionTreeClassifier一样，要先实例化，strategy表示填充的方法X_missing_mean = i

2020-07-26 22:20:44 745

原创调参基本思想

调参的基本思想目的：使泛化误差达到最低点各参数对模型的影响程度先确定参数的大范围再缩小范围调参如果使模型复杂度降低了，反而造成score变低，即使图像左移对模型造成负影响，那所有使图像左移的调参都可以不进行。max_features默认为列总数的开平方根，图像右移，score变低，说明原来的点更好，不需要再调目的：使泛化误差达到最低点1）模型太复杂或者太简单，都会让泛化误差高，我们追求的是位于中间的平衡点2）模型太复杂就会过拟合，模型太简单就会欠拟合3）对树模型和树的集成模型来说，树的深度越深，枝

2020-07-26 22:16:43 296

原创 RandomForestClassifier和RandomForestRegressor

RandomForestClassifier和RandomForestRegressorRandomForestClassifier参数介绍重要属性介绍重要方法RandomForestRegressor参数介绍重要属性介绍重要方法RandomForestClassifier参数介绍from sklearn.ensemble import RandomForestClassifierclf = RandomForestClassifier (n_estimators='10' #基模型个数

2020-07-21 17:39:49 3033

原创集成算法概述

集成算法概述定义常见的集成模型集成算法的目标三类集成算法sklearn中集成算法模块：ensemble定义集成学习指通过在数据上构建多个模型，集成所有模型的建模结果。常见的集成模型随机森林、梯度提升树（GBDT）、Xgboost集成算法的目标考虑多个评估器的建模结果，汇总之后得到一个综合的结果，以此获取比单个模型更好的回归或分类表现。组成集成评估器的每个模型叫基评估期（base estimator）三类集成算法袋装法（Bagging）：各个评估器之间是相互独立的提升法（Boosting）

2020-07-21 10:21:39 347 1

原创 JDBC连接数据库的步骤

1.引入数据库驱动（指工程里引入驱动jar包）； oracle的jar在oracle/product/11.2.0/server/jdbc/lib/.....jar；复制容量最大的jar包，在工程里建一个folder（lib），将jar包粘贴在lib里，单击右键add to 2.加载驱动（JVM加载）；3.连接数据库（数据库登录，数据库地址、端口号、数据库名...

2020-07-20 12:17:13 74

原创 sklearn学习目录

sklearn目录学习网址数据预处理模型选择交叉验证机器学习离散标签：DecisionTreeClassifier连续标签：DecisionTreeRegressor随机森林离散标签：DecisionTreeClassifier连续标签：DecisionTreeRegressor决策树神经网络算法强化学习学习网址sklearnAPI：https://scikit-learn.org/stable/modules/classes.htmlAPI使用方法：找模型（注意区分是连续还是离散）—— 查看模型的参

2020-07-20 12:16:30 203

原创人工智能学习框架

五大主流深度学习框架sklearnTensortFlow2.0PytorchKerasCaffe国内优秀深度学习框架飞浆PaddlePaddle其它深度学习框架DarkNetMxNetTheano

2020-07-18 22:51:25 875

原创 linux常用命令

linux常用命令一、软件的安装/卸载1、软件的安装2、软件的卸载3、常用软件二、对目录的操作1、进入目录2、查看目录或文件大小3、创建目录4、删除目录5、重命名6、复制目录三、对文件的操作1、查看文件权限2、修改文件权限修改文件所属用户及组修改文件权限3、检查文件正确性4、查看文件类型5、文件打包、压缩、解压打包解包压缩解压四、对用户的操作1、增加用户2、删除用户3、修改密码4、查看当前登录用户5、临时切换用户6、切换到root用户五、常见快捷键六、对网络的操作1、查看网卡信息2、查看网线是否插好3、检查

2020-07-18 22:24:26 143

原创 dos命令下常见问题

1.dos命令下，输入python显示：python不是内部命令或外部命令，也不是可执行程序解决方案”原因：python没有配置环境变量解决方案链接：https://blog.csdn.net/Amazingren/article/details/778990662.dos命令下，输入pip显示： name ‘pip’ is not defined原因：进入python目录下再输入的pip解决方案：https://blog.csdn.net/qq_41800366/article/deta

2020-07-18 18:04:26 305

原创数据预处理（一）

利用sklearn进行数据整理一、安装所需要的包二、导入所需要的库三、导入数据集sklearn库里的数据——此数据暂时不需要进行额外处理外部数据——转化为DataFrame结构四、对数据进行预处理1.一行一列进行处理2.删除缺失值过多和观察判断来说和预测的y没有关系的列3.将分类变量转换为数值型变量五、提取标签和特征矩阵，分离测试集和训练集一、安装所需要的包pip install numpypip install matplotlib…或者用condos安装二、导入所需要的库import pa

2020-07-18 11:59:26 694

原创 DecisionTreeRegressor的使用

DecisionTreeRegressor的使用参数介绍重要属性介绍重要方法（接口）介绍调参举例参数介绍clf = tree.DecisionTreeClassifier( criterion="mse" #不纯度的计算方法。"mse"表示使用均方误差；"friedman_mse"表示使用费尔德曼均方误差；“mae”表示使用绝对平均误差 ,splitter="best" #控制决策树中的随机选项。“best”表示在分

2020-07-17 17:39:40 5295 3

原创 linux学习目录

linux目录常见命令python安装python软件包管理pipcondas常用软件常见命令python安装python软件包管理pipcondas常用软件

2020-07-17 17:20:29 89

原创 DecisionTreeClassifier的使用

DecisionTreeClassifier参数介绍重要属性介绍重要方法（接口）介绍调参利用图像调参根据分数高低选择决策树的深度根据预测结果与实际结果比较判断过拟合还是欠拟合利用网格调参举例参数介绍clf = tree.DecisionTreeClassifier(criterion="entropy" #不纯度的计算方法。"entropy"表示使用信息熵；"gini"表示使用基尼系数 ,splitter="best" #控制决策树

2020-07-17 16:51:24 7007

原创 sklearn学习目录（学习记录）

人工智能模型框架学习网址机器学习决策树离散标签：DecisionTreeClassifier连续标签：DecisionTreeRegressor随机森林离散标签：DecisionTreeClassifier连续标签：DecisionTreeRegressor决策树神经网络算法强化学习学习网址sklearnAPI：https://scikit-learn.org/stable/modules/classes.htmlAPI使用方法：找模型（注意区分是连续还是离散）—— 查看模型的参数—— 查看模型的属性

2020-07-16 23:25:30 142

空空如也

空空如也