一个人走的博客

原创 项目笔记a

文章目录1.项目的搭建1.1 项目的成型架构1.2 模块说明1.3 创建父工程1.3.1 创建springboot工程edu-parent1.3.2 删除src目录1.3.3 配置pom.xml1.4 搭建service模块1. 在父工程edu-parent下面创建模块service2. 添加模块类型为pom3. 添加项目需要的依赖1.5 搭建service-edu模块1. 在父工程service模块下面创建子模块service-edu2. 输入模块名称 service-edu，下一步完成创建3. 在app

原创 【达芬奇调色教程】

项目管理器在操作本项目的时候，可以查看其他项目。前面的滑块可以控制缩略图的大小。防止突然退出文件保存不了。

原创 卷积神经网络-cnn和lstm

cnn,lstm

原创 将浏览器中的文件 url转换为File流

将浏览器中的文件 url转换为File流

原创 MytipartFile与File的相互转换

1. MutipartFile 转换为File2. File转换为MutipartFile

原创 File的io流与base64

2. base64字符串转换为file 的io流，并写入本地，返回文件的大小

原创 利用soapUI获取freemarker的ftl文件模板

一般是 springboot里面，ip+端口+服务名称+services 即可查找wsdl连接点击蓝色链接，将wsdl链接复制得到freemarker的模板文件

原创 基于webservice 使用HttpClient调用

- 配置类webservice的接口： 这个action 后面调用的时候会用到 webserivice的实现类：2. webservice的客户端ftl文件这个ftl文件需要通过saopUI软件自己copy注：ftl文件需要放到resources/templates目录下控制类：url也是需要用soapui copy这个调用的url 也需要自己通过soapui查找......

原创 React学习笔记

目录1. React的概述1.1 React的特点1.2 React的基本使用1.3 React手脚架的使用1.3.1 在脚手架中使用React:1.4JSX 的基本使用1.4.1 使用步骤:1.4.2 JSX 中使用JavaScript 表达式1.4.3JSX 的条件渲染1.4.4 JSX 的列表渲染1.4.5JSX 的样式处理1.5React 组件的两种创建方式1.6抽离为独立JS 文件2. React事件处理2.1 事件绑定2....

原创 【Tensorflow学习笔记】

1 环境配置2. 回归问题目标：决定向左/右走---这种离散问题 连续值的增减预测问题2.1连续值的预测: x--->yx:输入的数据f(x):预测值y:真实值f(x)--->逼近y那么预测值和真实值的误差将会变小- 连续值预测例子：y=w*x+b1.567=w*1+b3.043=w*2+b类似于上面的这组方程是二元一次方程 很容易进行求解，但是往往在实际问题中，要用方程进行求解，大部分必须加入噪...

原创 时间序列模型--ARIMA模型

1. 数据平稳性与差分法平稳性：平稳性就是要求经由样本时间序列所得到的拟合曲线，在未来的一段时间内仍然能顺着现有的形态“惯性”的延续下去平稳性要求，序列的方差和均值不发生明显的变化严平稳和弱平稳严平稳：严平稳表示的分布不随时间的改变而改变。如︰白噪声(正态)，无论怎么取，都是期望为0，方差为1弱平稳∶期望与相关系数（依赖性)不变未来某时刻的t的值Xt就要依赖于它的过去信息，所以需要依赖性差分法：时间序列在t与t-1时刻的差值2. ARIMA模型自回归模型(

原创 正则化线性模型

1 Ridge Regression (岭回归，⼜名 Tikhonov regularization)2 Lasso Regression(Lasso 回归)3 Elastic Net (弹性⽹络)4 Early Stopping [了解]Early Stopping 也是正则化迭代学习的⽅法之⼀。其做法为：在验证错误率达到最⼩值的时候停⽌训练5.线性回归的改进-岭回归5.1 API5.2 观察正则化程度的变化，对结果的影响？正则化⼒度越⼤，权重系数会越⼩正则化⼒度越⼩，

原创 欠拟合和过拟合

1 定义过拟合：⼀个假设在训练数据上能够获得⽐其他假设更好的拟合， 但是在测试数据集上却不能很好地拟合数据， 此时认为这个假设出现了过拟合的现象。(模型过于复杂)⽋拟合：⼀个假设在训练数据上不能获得更好的拟合，并且在测试数据集上也不能很好地拟合数据，此时认为这个 假设出现了⽋拟合的现象。(模型过于简单)2 原因以及解决办法⽋拟合原因以及解决办法原因：学习到数据的特征过少解决办法：1）添加其他特征项，有时候我们模型出现⽋拟合的时候是因为特征项不够导致的，可以添加其他特征项 来很好地解

原创 线性回归api再介绍

1 线性回归api再介绍2. 案例：波⼠顿房价预测2.1 案例背景介绍2.2. 案例分析回归当中的数据⼤⼩不⼀致，是否会导致结果影响较⼤。所以需要做标准化处理。数据分割与标准化处理回归预测线性回归的算法效果评估2.3 回归性能评估2.4 代码实现正规⽅程"""1. 获取数据2. 数据基本数据2.1 分割数据3. 特征工程标准化4. 机器学习---线性回归5. 模型评估"""from sklearn.datasets import load_boston

原创 梯度下降⽅法介绍

1 详解梯度下降算法1.1梯度下降的相关概念复习相关概念步⻓(Learning rate)：步⻓决定了在梯度下降迭代的过程中，每⼀步沿梯度负⽅向前进的⻓度。⽤前⾯下⼭的例⼦，步⻓就是在当前 这⼀步所在位置沿着最陡峭最易下⼭的位置⾛的那⼀步的⻓度。特征(feature)：指的是样本中输⼊部分，⽐如2个单特征的样本(x(0), y(0)),(x(1), y(1)),则第⼀个样本特征为x(0)，第⼀个样本输 出为y(0)。假设函数(hypothesis function)：在监督学

原创 机器学习--线性回归

1 线性回归简介1.1 线性回归应⽤场景房价预测销售额预测贷款额度预测1.2 什么是线性回归1.2.1 定义与公式线性回归(Linear regression)是利⽤回归⽅程(函数)对⼀个或多个⾃变量(特征值)和因变量(⽬标值)之间关系进⾏建模的 ⼀种分析⽅式。特点：只有⼀个⾃变量的情况称为单变量回归，多于⼀个⾃变量情况的叫做多元回归线性回归⽤矩阵表示举例那么怎么理解呢？我们来看⼏个例⼦期末成绩：0.7×考试成绩+0.3×平时成绩房⼦价格=0.02×中⼼区域的距离+0

原创 预测facebook签到位置

1 项⽬描述本次⽐赛的⽬的是预测⼀个⼈将要签到的地⽅。 为了本次⽐赛，Facebook创建了⼀个虚拟世界，其中包括10公⾥*10 公⾥共100平⽅公⾥的约10万个地⽅。 对于给定的坐标集，您的任务将根据⽤户的位置，准确性和时间戳等预测⽤户下 ⼀次的签到位置。 数据被制作成类似于来⾃移动设备的位置数据。 请注意：您只能使⽤提供的数据进⾏预测。2 数据集介绍⽂件说明 train.csv, test.csv row id：签⼊事件的id x y：坐标 accuracy: 准确度，定位精度

原创 交叉验证，⽹格搜索

原创 鸢尾花种类预测—流程实现

1. 再识K-近邻算法APIsklearn.neighbors.KNeighborsClassifier(n_neighbors=5,algorithm=‘auto’)n_neighbors：int,可选（默认= 5），k_neighbors查询默认使⽤的邻居数algorithm：{‘auto’，‘ball_tree’，‘kd_tree’，‘brute’}快速k近邻搜索算法，默认参数为auto，可以理解为算法⾃⼰决定合适的搜索算法。除此之外，⽤户也可 以⾃⼰指定搜索算法ball_tree、

原创 特征工程---特征预处理

1. 什么是特征预处理1.1 特征预处理定义通过⼀些转换函数将特征数据转换成更加适合算法模型的特征数据过程为什么我们要进⾏归⼀化/标准化？特征的单位或者⼤⼩相差较⼤，或者某特征的⽅差相⽐其他的特征要⼤出⼏个数量级，容易影响（⽀配）⽬标 结果，使得⼀些算法⽆法学习到其它的特征1.2 包含内容(数值型数据的⽆量纲化)归⼀化标准化1.3 特征预处理APIsklearn.preprocessing2 归⼀化2.1 定义通过对原始数据进⾏变换把数据映射到(默认为[0,1])之间2.

原创 鸢尾花种类预测

本实验介绍了使⽤Python进⾏机器学习的⼀些基本概念。 在本案例中，将使⽤K-Nearest Neighbor（KNN）算法对鸢 尾花的种类进⾏分类，并测量花的特征。1. 数据集介绍Iris数据集是常⽤的分类实验数据集，由Fisher, 1936收集整理。Iris也称鸢尾花卉数据集，是⼀类多重变量分析的数据 集。关于数据集的具体介绍：2 scikit-learn中数据集介绍2.1 scikit-learn数据集API介绍sklearn.datasets加载获取流⾏数据集datasets.

原创 机器学习算法---K近邻算法

K近邻算法1. K-近邻算法简介1.1 什么是K-近邻算法根据你的“邻居”来推断出你的类别K Nearest Neighbor算法⼜叫KNN算法，这个算法是机器学习⾥⾯⼀个⽐较经典的算法， 总体来说KNN算法是相对⽐ 较容易理解的算法如果⼀个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的⼤多数属于某⼀个类别，则该样本也属于这个 类别。1.1.1 距离公式两个样本的距离可以通过如下公式计算，⼜叫欧式距离 ，关于距离公式会在后⾯进⾏讨论1.2 KNN算法流程总结1）计算

原创 北京租房数据分析

1. 数据基本处理import pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport seaborn as snsfrom pylab import mpl # 设置显示中文字体 mpl.rcParams["font.sans-serif"] = ["SimHei"]file_data=pd.read_csv("./data/链家北京租房数据.csv")file_data.head(10)1.1

原创 NBA球员分析

文章目录1. 获取数据2. 数据分析2.1 数据相关性2.2 基本数据排名分析2.3 Seaborn常用的三个数据可视化方法2.3.1 单变量2.3.2 双变量2.3.3 多变量2.3.4 衍生变量的一些可视化实践-以年龄为例3. 球队数据分析3.1 球队薪资排行3.2 按照分球队 分年龄段，上榜球员数相同，则按照效率值降序排列3.3 按照球队综合实力排名3.4 利用箱线图和小提琴图进行数据分析1. 获取数据data=pd.read_csv("./data/nba_2017_nba_playe

原创 seaborn 画图工具的基本使用

文章目录1. Seaborn 的基本使用1.1 Seaborn----绘制统计图形1.1.1 绘制单变量分布1.1.2. 绘制双变量分布1 绘制散点图2 绘制二维直方图3 绘制核密度估计图形4 绘制成对的双变量分布1.1.3 用分类数据绘图1 类别散点图2 类别内的数据分布2.1 绘制箱形图2.2 绘制小提琴图2.3 类别内的估计统计1. Seaborn 的基本使用类别散点图：seaborn.stripplot()类别内的数据分布：箱线图：seaborn.boxplot()小提琴图

原创 机器学习基础

文章目录1. 机器学习概述1.1 人工智能概述1.1.1 机器学习与人工智能、深度学习1.1.2 机器学习、深度学习能做些什么1.2 什么是机器学习1.2.1 数据集构成1.3 机器学习算法分类1.4 机器学习开发流程1.5 学习框架和资料介绍1.5.1 机器学习库与框架2. 特征工程2.1 数据集2.1.1 可用数据集2.1.2 sklearn数据集2.1.3 数据集的划分定位:课程以算法、案例为驱动的学习，伴随浅显易懂的数学知识作为人工智能领域(数据挖掘/机器学习方向)的提升课程，掌握更深更有效

原创 SpringCloudStream基础

文章目录1. Spring Cloud Stream1.1 概述1.2 核心概念1.3 入门案例1.3.1 消息生产者1.3.2 消息消费者1.4 基于入门案例的代码优化1.4.1 消息的生产者1.4.2 消息的消费者1.5 自定义消息通道1.5.1 消息生产者1.5.2 消息的消费者1.6消息分组1. Spring Cloud Stream在实际的企业开发中，消息中间件是至关重要的组件之一。消息中间件主要解决应用解耦，异步消息，流量削锋等问题，实现高性能，高可用，可伸缩和最终一致性架构。不同的中间件其

原创 微服务链路追踪

文章目录1. 微服务架构下的问题2. Sleuth概述2.1 相关概念2.2 链路追踪Sleuth入门3. Zipkin的概述3.1 Zipkin Server的部署和配置3.2 客户端Zipkin+Sleuth整合3.3 zipkin 数据持久化3.4 基于消息中间件收集数据3.5 客户端配置1. 微服务架构下的问题在大型系统的微服务化构建中，一个系统会被拆分成许多模块。这些模块负责不同的功能，组合成系统，最终可以提供丰富的功能。在这种架构中，一次请求往往需要涉及到多个服务。互联网应用构建在不

原创 微服务网关概述

1. 微服务网关不同的微服务一般会有不同的网络地址，客户端在访问这些微服务时必须记住几十甚至几百个地址，这对于客户端方来说太复杂也难以维护。如下图：如果让客户端直接与各个微服务通讯，可能会有很多问题：1.客户端会请求多个不同的服务，需要维护不同的请求地址，增加开发难度2.在某些场景下存在跨域请求的问题3.加大身份认证的难度，每个微服务需要独立认证因此，我们需要一个微服务网关，介于客户端与服务器之间的中间层，所有的外部请求都会先经过微服务网关。客户端只需要与网关交互，只知道一个网关地址即可，这样

原创 sentinel 基础

1. Sentinel概述1.1 Sentinel简介随着微服务的流行，服务和服务之间的稳定性变得越来越重要。Sentinel 以流量为切入点，从流量控制、熔断降级、系统负载保护等多个维度保护服务的稳定性。Sentinel 具有以下特征:丰富的应用场景：Sentinel 承接了阿里巴巴近 10 年的双十一大促流量的核心场景，例如秒杀（即突发流量控制在系统容量可以承受的范围）、消息削峰填谷、集群流量控制、实时熔断下游不可用应用等。完备的实时监控：Sentinel 同时提供实时的监控功能。您

原创 Hystrix基础

服务熔断Hystrix入门1. 服务容错的核心知识1.1 雪崩效应在微服务架构中，一个请求需要调用多个服务是非常常见的。如客户端访问A服务，而A服务需要调用B服务，B服务需要调用C服务，由于网络原因或者自身的原因，如果B服务或者C服务不能及时响应，A服务将处于阻塞状态，直到B服务C服务响应。此时若有大量的请求涌入，容器的线程资源会被消耗完毕，导致服务瘫痪。服务与服务之间的依赖性，故障会传播，造成连锁反应，会对整个微服务系统造成灾难性的严重后果，这就是服务故障的“雪崩”效应。雪崩是系统中的蝴蝶效应导

原创 性能工具Jmeter

性能工具 JmetterApache JMeter是Apache组织开发的基于Java的压力测试工具。用于对软件做压力测试，它最初被设计用于Web应用测试，但后来扩展到其他测试领域。 它可以用于测试静态和动态资源，例如静态文件、Java 小服务程序、CGI 脚本、Java 对象、数据库、FTP 服务器， 等等。JMeter 可以用于对服务器、网络或对象模拟巨大的负载，来自不同压力类别下测试它们的强度和分析整体性能。另外JMeter能够对应用程序做功能/回归测试，通过创建带有断言的脚本来验证你的程序返回

原创 Fegin

1.Fegin的介绍Feign是Netflix开发的声明式，模板化的HTTP客户端，其灵感来自Retrofit,JAXRS-2.0以及WebSocket.Feign可帮助我们更加便捷，优雅的调用HTTP API。在SpringCloud中，使用Feign非常简单——创建一个接口，并在接口上添加一些注解，代码就完成了。Feign支持多种注解，例如Feign自带的注解或者JAX-RS注解等。SpringCloud对Feign进行了增强，使Feign支持了SpringMVC注解，并整合了Ribbon

原创 SpringBoot的自动装载

Springboot的自动装载SpringBoot开箱即用的特点，很大程度上归功于ImportSelector。接下来我们看下springBoot是如何在spring的基础上做扩展的。在SpringBoot中最重要的一个注解SpringBootApplication@Target({ElementType.TYPE})@Retention(RetentionPolicy.RUNTIME)@Documented@Inherited@SpringBootConfiguration@EnableA

原创 Ribbon基础

1. Ribbon是什么？简单的说，Ribbon是Netflix发布的开源项目，主要功能是提供客户端的软件负载均衡算法，将Netflix的中间层服务连接在一起。Ribbon客户端组件提供一系列完善的配置项如连接超时，重试等。简单的说，就是在配置文件中列出Load Balancer(简称LB)后面所有的机器，Ribbon会自动的帮助你基于某种规则(如简单轮询，随机连接等）去连接这些机器。我们也很容易使用Ribbon实现自定义的负载均衡算法。1.1 负载均衡LB，即负载均衡(Load Balance)，在

原创 Eureka

1. Eureka的基础Eureka是Netflix的一个子模块，也是核心模块之一。Eureka是一个基于REST的服务，用于定位服务，以实现云端中间层服务发现和故障转移。服务注册与发现对于微服务架构来说是非常重要的，有了服务发现与注册，只需要使用服务的标识符，就可以访问到服务，而不需要修改服务调用的配置文件了。功能类似于dubbo的注册中心，比如Zookeeper。1.1 Eureka的基本架构Spring Cloud 封装了 Netflix 公司开发的 Eureka 模块来实现服务注册和发现(请

原创 SpringCloud基础

1. 微服务的基础知识1.1 单体应用架构Web应用程序发展的早期，大部分web工程(包含前端页面,web层代码,service层代码,dao层代码)是将所有的功能模块,打包到一起并放在一个web容器中运行。优点：所有的功能集成在一个项目工程中项目架构简单，前期开发成本低，周期短，小型项目的首选。缺点：全部功能集成在一个工程中，对于大型项目不易开发、扩展及维护。系统性能扩展只能通过扩展集群结点，成本高、有瓶颈。技术栈受限。1.2 垂直应用架构当访问量逐渐增大，单一应用增加机器带来

原创 Spring Security

一. Spring Security介绍1. 框架介绍Spring 是一个非常流行和成功的 Java 应用开发框架。Spring Security 基于 Spring 框架，提供了一套 Web 应用安全性的完整解决方案。一般来说，Web 应用的安全性包括用户认证（Authentication）和用户授权（Authorization）两个部分。用户认证指的是：验证某个用户是否为系统中的合法主体，也就是说用户能否访问该系统。用户认证一般要求用户提供用户名和密码。系统通过校验用户名和密码来完成认证过程。

原创 SpringCloud--gateway

SpringCloud–gateway1. 网关基本概念1.1 API网关介绍API 网关出现的原因是微服务架构的出现，不同的微服务一般会有不同的网络地址，而外部客户端可能需要调用多个服务的接口才能完成一个业务需求，如果让客户端直接与各个微服务通信，会有以下的问题：（1）客户端会多次请求不同的微服务，增加了客户端的复杂性。（2）存在跨域请求，在一定场景下处理相对复杂。（3）认证复杂，每个服务都需要独立认证。（4）难以重构，随着项目的迭代，可能需要重新划分微服务。例如，可能将多个服务合并成一个或

原创 canal数据同步

canal 数据同步1. 需要在本地和linux上安装mysql 跨越服务的查看linux安装mysql2. 在本地和linux上的mysql 创建同样的数据库 和同样的表3. 开启linux的mysql的binlog功能3.1 查看binlog状态show variables like 'log_bin'3.2 开启binlog，修改配置文件[mysqld]bind-address=0.0.0.0port=3306user=mysqlbasedir=/opt/module