- 博客(20)
- 收藏
- 关注
RSS订阅原创 记录逻辑回归
是什么监督学习，二分类原理求解步骤：定义模型，在回归外套一层sigmoid函数【目的是使回归的输出值限制在0-1内】定义损失函数两边同时乘log确定求解最优模型的具体算法，如梯度下降法解释损失函数：逻辑回归损失函数的意义是找联合概率最大值；何为联合概率，首先明确两点，1模型的输出是介于0-1之间是一个概率值，2模型要尽量的拟合已知数据。假设目标类别y为0和1，当y=1的时候，我们希望p(y=1|x)的概率最大，当y=0的时候，我们希望p(y=0|x)的概率最大，既然要更
2021-03-15 22:14:51
107
原创 记录回归
是什么？无监督学习，回归问题原理回归模型就是表示从输入变量到输出变量之间的映射函数回归问题的学习等价于函数拟合，使其能更好的拟合已知数据，并更好的未知数据做出预测。通过损失函数来查看拟合的程度，通过梯度下降法等算法来使拟合已知数据模型：数学函数策略：求解最优模型的评估策略算法：求解最优模型的具体方法求解步骤：定义模型，随机初始化模型参数θ,b定义损失函数确定求解最优模型的具体算法；如梯度下降法，以找到损失函数的最小值为目标，使用梯度下降法不断的更新参数，直至找出一组合适的参数θ
2021-03-15 21:34:29
147
原创 记录决策分类树
是什么监督学习，分类原理特征选择–> 决策树构建–>决策树剪枝特征选择：从训练数据的特征中选择一个特征作为当前节点的分裂标准（特征选择的标准不同产生了不同的特征决策树算法）决策树构建：根据所选特征评估标准，从上到下递归的生成子节点，直至决策树不可分则停止决策树生成决策树剪枝：决策树容易过拟合，需要剪枝来缩小树的结构和规模（包括预剪枝和后剪枝）1. 特征选择参考博客https://www.cnblogs.com/Maggieli/p/12153625.htmlID3算法（信息
2021-03-15 16:54:32
134
原创 记录KNN
是什么监督学习，分类算法【近朱者赤，离谁近就是谁】原理当输入一个新数据时，计算新数据与训练数据的距离根据距离从小到大将样本点进行排序取前K个样本点在这K个样本点对应的类别中，哪个类别出现的次数最多就是新数据对应的类别...
2021-03-15 16:13:42
86
原创 记录PCA
是什么无监督学习，降维算法为什么一组数据集包含很多很多特征，有些特征的意义不大，有些特征之间关联性很强，而这些特征的存在会导致模型训练时间过长以及泛化性弱如特征没有意义的问题（学生的名字对学生的成绩并没有影响）如特征之间存在关联性的问题（以元为单位的特征与与以角为单位的特征都是同一个意思）应用场景https://blog.csdn.net/smhdezhanghao/article/details/81810540?utm_medium=distribute.pc_relevant.non
2021-03-15 16:03:35
90
原创 记录Kmeans
是什么无监督学习，聚类算法应用场景https://blog.csdn.net/qq_42363032/article/details/106505008原理随机选取k个样本点作为质心计算每个样本点到每个质心的距离，离哪个质心近，就与该质心分为一类此时样本被分为K类，计算每类样本的平均值，作为新的质心如果新质心与旧质心的举例小于阈值，则停止迭代，否则重复执行2，3，4步...
2021-03-15 13:37:16
59
原创 机器学习基础
文章目录一. 机器学习的概念机器学习是什么机器学习的开端机器学习的定义机器学习的过程机器学习实例二. 机器学习的全部分类三. 机器学习的主要分类监督学习无监督学习强化学习四. 监督学习深入理解监督学习三要素监督学习实现步骤监督学习模型评估策略分类和回归监督学习模型求解算法一. 机器学习的概念机器学习是什么机器如何学习？对于某个特定的任务，以大量的经验为基础；对任务完成的好坏，给与一定的评测标准；通过分析大量的经验数据，任务完成的更好了；机器学习的开端1952年，IBM的Arthur S
2021-03-08 23:39:42
157
原创 机器学习数学基础归纳总结
一.线性代数1. 矩阵矩阵的概念- 行数与列数都等于n的矩阵，又称作n阶方阵- 只有一行的矩阵称为行矩阵，又叫行向量- 只有一列的矩阵称为列矩阵，又叫列向量- 对于方阵，从左上角到右下角的直线，叫做主对角线，主对角线上的元素称为主对角线元素特殊矩阵矩阵的全部元素为0，称为零矩阵，用O表示对于方阵，如果只有对角线元素为1，其他元素为0，称为单位矩阵，用I或E表示对于方阵，不在对角线上的元素为0，称为对角矩阵矩阵的加法把矩阵的对应位元素相加矩阵的形状必
2021-03-07 23:19:34
181
原创 推荐系统概述&推荐系统算法简介
一. 推荐系统概述1. 推荐系统目的让用户更快更好的获取自己感兴趣的信息让信息更快更好的推送到喜欢它的用户手中让平台更有效的保留用户资源2. 推荐系统的应用电子商务电影视频个性化音乐个性化阅读社交网络个性化广告3. 推荐系统的基本思想【知你所想，精准推荐】利用用户和物体的特征信息，给用户推荐那些具有用户喜欢的特征的物品【人以群分】利用和用户相似的其他用户，给用户推荐和他兴趣爱好相似的用户喜欢的物品（二人一物）【物以类聚】利用用户喜欢过的物品，给用户推荐和这些物品类别相
2021-03-07 12:07:08
425
原创 记录梯度下降法【利用导数自动更新参数】
1.确定损失函数举例：l(θ) = (θ - 1)^2 = θ ^2 - 2θ +12. 对损失函数微分【求得损失函数的增减表，目的就是看明损失函数在哪个区间递增，哪个区间递减】l(θ)’ = 2θ - 2由此可得：【1，∞】损失函数递增；【-∞，1】损失函数递减；3. 计算此时参数θ的导数【将参数θ带入微分后的损失函数，看明θ应该向哪个方向移动，损失函数才会减小】，符号为正代表此时递增，符号为负代表此时递减若第一次θ初始化为3；则l(θ)‘ = 4；4为正数，表示θ=3时位于损失函数的递增区
2021-03-06 10:04:50
370
1
翻译 EMQX mqtt服务器搭建+java实现客户端推送和接收代码+调试
1.mqtt服务搭建centos7环境：https://blog.csdn.net/lxw983520/article/details/89442373感谢大哥2. 客户端代码实现# ①在spring boot项目中下载好下方依赖<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-integration</
2020-07-31 15:39:36
8060
5
原创 如何解决因为服务器不能联网无法使用yum
思路：虚拟机使用yum下载好rpm包，上传到不能联网的服务器命令：# 虚拟机： yum install --downloadonly --downloaddir=【rpm包存放路径】 【包名】 yum install --downloadonly --downloaddir=【/opt/module/yum_package】 【wget】# 服务器： # 注: 需提前搞好yum的依赖库 直接使用yum install 【xx.rpm】...
2020-07-31 14:59:50
1401
转载 自动构建SB项目，pom.xml报错Failure to transfer org.springframework.boot:spring-boot-starter-parent:pom:2.2.6.
https://blog.csdn.net/handsomepig123_/article/details/105494065
2020-07-24 17:26:16
277
翻译 Ubuntu 18.04 国内的 apt 源
一、Ubuntu 18.04 国内的 apt 源阿里源deb http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiversedeb http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiversedeb http://mirrors.aliyun.com/ubuntu/ bionic-updates mai
2020-07-22 15:04:37
399
原创 Web页面上传文件至HDFS
前端代码：<form action="/项目名/homepage/uploadFile" method="post" enctype="multipart/form-data"> <input type="file" name="file"> <input type="submit" value="上传"></form>后端代码：public void uploadFile(HttpServletRequest req
2020-07-19 16:44:34
1568
原创 Web页面点击按钮下载HDFS上的文件到本地
说明： 本文并没有实现动态下载，即前端并没有给后端传参数前端代码：<a href="/项目名/homepage/downloadFile">确认下载</a>后端代码：public void downloadFile(HttpServletRequest request, HttpServletResponse response) throws URISyntaxException, IOException, InterruptedException { //获取整个
2020-07-19 15:00:24
954
原创 Web页面预览HDFS上的图片文件
html代码：<div style="float: left"> <!-- 图片展示按钮 --> <button class="myBtn4"> 确认展示 </button></div><div id="d1" class="Z_slider"></div>js代码：细节说明：// 错误写法 （不可直接将blob加载到img中，由于blob太大，会有性能影响，所以先释
2020-07-19 14:04:24
2169
2
原创 NameNode故障处理---元数据恢复
将SecondaryNameNode中数据拷贝到NameNode存储数据的目录# node2为secondaryNameNode所在节点scp -r /opt/module/hadoop/data/tmp/dfs/name/ root@node2:/opt/module/hadoop/data/tmp/dfs/namesecondary/*重新启动NameNodehadoop-daemon.sh start namenode...
2020-07-02 16:54:33
286
原创 HBase集群间表的迁移 （集群互不通信&跨版本）HBase2.1.0
这里写目录标题1. 引言2. 迁移Hbase的表文件2.1 将hbase集群1表table1文件拉取到临时硬盘中2.2 将临时硬盘挂载到hbase集群2所在的服务器中2.3 将表table1文件上传到hbase集群2中3. 生成元数据3.1 下载解压工具3.2 更改工具中相关配置文件3.3 编译3.4 将编译好的jar包上传到master节点hbase的家目录下3.5 生成元数据3.6 重启hbase1. 引言2. 迁移Hbase的表文件2.1 将hbase集群1表table1文件拉取到临时硬盘中h
2020-06-13 23:14:37
635
原创 CDH6.3 从0-1搭建部署Apache Atlas2.0 windows hive 元数据治理
这里写自定义目录标题1.编译Atlas源码包：1.1 环境准备：1.1.1 win101.1.2 jdk1.81.1.3 maven 3.6.0 或 以上 （ps:必须使用3.6.0以上版本，我用的是3.6.3）1.编译Atlas源码包：1.1 环境准备：1.1.1 win101.1.2 jdk1.81.1.3 maven 3.6.0 或 以上 （ps:必须使用3.6.0以上版本，我用的是3.6.3）1. 下载 解压 安装 （下载地址：http://maven.apache.org/downlo
2020-06-13 23:12:42
1855
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人