fanfan4569-CSDN博客

原创服务器通信篇（Socket）

一、服务端创建服务端口开启服务另起一个线程，轮询监听端口开启处理客户端请求，轮询请处理求ServerBoot.javapublic class ServerBoot { private static final int PORT = 8000; public static void main(String[] args) { S...

2018-11-10 17:04:29 381

原创【SBT】之下载安装

一、简介sbt uses a small number of concepts to support flexible and powerful build definitions.sbt（simple build tools），简单构建工具官方文档：https://www.scala-sbt.org/1.0/docs/Installing-sbt-on-Linux.html预先准备...

2018-11-09 15:06:17 1619

原创【注解】用注解来优雅校验

前言现在公司中 Springboot 框架中字段校验使用Assert但遇到要校验多个字段，一个字段多重限制，那么这时候Assert便变得很笨重，且不优雅这时候 JSR 303 和 JSR 349 闪亮登场 (～￣▽￣)～最佳实践实际运用Controller 层使用Service 层使用普通接口传递...

2018-11-03 20:51:23 357

恍惚间，大学四年就这样消逝…回想起过往的四年，只有星星点点，![在这里插入图片描述](https://img-blog.csdn.net/20181009185208226?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZhbmZhbjQ1Njk=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dis...

2018-10-31 19:28:53 268

原创【Springboot】之异步处理（@Async）

前言使用异步是为了缩短等待时间。即：主线程尽早处理完并返回信息，能更快响应；而副线程执行其他操作用于完善。一、配置类作用：配置线程池，实现线程复用。通过 @EnableAsync 开启对异步任务的支持实际执行的 Bean 的方法中使用 @Async 注解来声明这个是一个异步任务@Slf4j@Configuration@EnableAsyncpublic class A...

2018-10-17 16:16:00 579

原创【Flume】之监听文件（案例二）

前言：参考官网，测试运行。https://flume.apache.org/FlumeUserGuide.html#exec-source内容：监控一个文件实时采集新增的数据输出到控制台步骤（1）配置文件在/conf 下新建配置 exec-memory-logger.conf配置内容a1.sources.r1.command = tail -F /home/donald...

2018-10-07 15:56:02 1110

原创【Flume】之运行（案例一）

前言：根据官方的例子，测试运行下。https://flume.apache.org/FlumeUserGuide.html内容：即从指定网络端口采集数据输出到控制台步骤（1）配置文件在 /conf 下创建 exmaple.conf拷贝，配置exmaple.conf# example.conf: A single-node Flume configuration# N...

2018-10-07 14:27:33 308

原创【Flume】之安装部署

前言：来不及啦，快学啊~~ ヾ(◍°∇°◍)ﾉﾞ环境预备首先，JDK 版本需 1.7 以上。这次选用的 Flume 版本是 1.8系统：Ubuntu 16安装（1）下载二进制安装包官网可使用 wget http://ftp.meisei-u.ac.jp/mirror/apache/dist/flume/1.8.0/apache-flume-1.8.0...

2018-10-06 22:13:07 244

原创【MySQL】之开发规范

目录一、数据库命名规范二、数据库基本设计规范三、索引设计规范四、数据库字段设计规范五、数据库SQL 开发规范六、数据库操作行为规范一、数据库命名规范所有数据对象名称必须小写 : db_user禁止使用MySQL 保留关键字，若是则引用 ``临时表以tmp_ 开头，备份表以bak_ 开头并以时间戳结尾所有存储相同数据的列名和列类型必须一致二、数据库基本设计规范MySQL 5...

2018-09-24 17:24:26 245 1

原创【Emacs】之 Spacemacs 安装

前言一、步骤二、未来三、参考资料https://blog.csdn.net/u011729865/article/details/54178388 https://emacs-china.org/t/spacemacs/849 https://blog.yeeef.com/post/spacemacs_usage/ https://gi...

2018-08-23 16:32:11 1541

原创【MachineLearning】之 K-近邻分类预测（实战）

Topic：加载数据集数据划分训练模型模型预测准确率计算 K值选择一、步骤（1）加载数据集本次使用的数据集为丁香花数据集course-9-syringa.csv，丁香花数据集包含 daphne，syringa 和 willow 等 3 个种类，即标签（labels），其中每个种类包含 150 条数据，每条数据包含 4 个特...

2018-08-20 11:18:10 749

原创【MachineLearning】之 K-近邻算法实现

一、步骤数据准备：通过数据清洗，数据处理，将每条数据整理成向量。计算距离：计算测试数据与训练数据之间的距离。寻找邻居：找到与测试数据距离最近的 K 个训练数据样本。决策分类：根据决策规则，从 K 个邻居得到测试数据的类别。下面尝试一个KNN分类流程（1）数据生成"""生成示例数据"""import numpy as npd...

2018-08-20 10:44:09 201

原创【MachineLearning】之 K-近邻算法

Topic: KNN 算法原理常用距离算法决策规则 Kd 树一、KNN 算法原理什么是最近邻算法（NN）？最近邻算法（Nearest Neighbor，简称：NN）：其针对未知类别数据 xxx，找到与其距离最近的数据 yyy，将xxx 划入 yyy 的分类中如上图所示，通过计算数据 XuXuX_{u} （未知样本）和已...

2018-08-17 11:53:36 553

原创【MachineLearning】之逻辑回归（scikit-learn 实现）

逻辑回归的类及默认参数：LogisticRegression(penalty='l2', dual=False, tol=0.0001, C=1.0, fit_intercept=True, intercept_scaling=1, class_weight=None, random_state=None, solver='liblinear', max_iter=100, multi_c...

2018-08-16 21:25:05 385

原创【MachineLearning】之逻辑回归（Python 实现）

使用逻辑回归完成分类任务。一、步骤（1）加载数据集# !wget http://labfile.oss.aliyuncs.com/courses/1081/course-8-data.csvimport pandas as pddf = pd.read_csv("course-8-data.csv", header=0) # 加载数据集df.head() # 预...

2018-08-16 21:14:24 928 2

原创【MachineLearning】之逻辑回归（Logistic Regression）

本章开始学习分类啦~ Topic: 逻辑回归（逻辑回归与线性回归的关系）逻辑回归模型梯度下降法一、逻辑回归逻辑回归（Logistic Regression），又叫逻辑斯蒂回归，是机器学习中一种十分基础的分类方法。逻辑回归是中分类方法，而并不是回归方法线性可分在二维平面内，如果只使用一条直接就可以将样本分开，则称...

2018-08-16 10:30:57 398

原创【MachineLearning】之 LASSO 回归

Topic: LASSO 回归的几何意义 LASSO 代码 LASSO 的 L1L1L_1 正则项与岭回归的 L2L2L_2 有什么不同？一、LASSO回归的几何意义与岭回归相似，LASSO 回归优化的目标函数也等价于：FLASSO=∥y−Xw∥22FLASSO=‖y−Xw‖22F_{LASSO}={\left \| y-Xw...

2018-08-13 15:14:56 2679

原创【MachineLearning】之岭回归（Ridge Regression）

Topic: 为什么需要岭回归？岭回归如何防止模型出现过拟合岭回归代码一、为什么需要岭回归？（1）线性回归不好？线性回归主要根据最小二乘法那么，哪里出了问题呢？最小二乘法的目标：使得训练集中的真实集与回归模型的估计值的均方差最小；我们的目标：测试集中的真实值与回归模型的估计值的差异最小最小二乘法的目标...

2018-08-11 22:49:37 930

原创【K8s】第一次部署项目

慵懒的早上，躺着浏览这个各种视频，想着去看牙齿呢还是去公司呢现在我已经在公司了（与前端联调结束了） w(ﾟДﾟ)w 吭，正题，在部署时候遇到一些问题，阻塞一天，so，记录下吧我司用的是：k8s、jenkins、阿里云Git一、步骤（1）在应用中心创建应用这个应用中心是运维搭建用于管理应用和连接 jenkins ...

2018-08-11 18:16:12 5165

原创【MachineLearning】之多项式回归预测（实战）

Topic: 尝试加载一个真实数据集，并使用 scikit-learn 构建预测模型，实现多项式回归预测以世界麻疹疫苗接种率基础篇详看：多项式回归步骤：加载数据集定义训练和测试使用的自变量和因变量建立线性回归模型线性回归误差计算多项式回归预测次数选择MSE# 1. 下载数据集# !wget http://labfile.o...

2018-07-30 20:36:43 6170

原创【MachineLearning】之多项式回归（实战）

Topic 实现二次多项式拟合实现多次多项式拟合使用 scikit-learn 进行多项式拟合本篇是多项式回归代码实践篇，理论篇：多项式回归理论一、实现二次多项式拟合步骤：定义数据集使用matplotlib 图像显示数据集点分布情况定义 2 次多项式函数及误差函数获取随机数使用scipy 提供的最小二乘法类，得到最佳拟合...

2018-07-29 22:37:00 952

原创【MachineLearning】之多项式回归（理论）

Topic: 多项式回归简介多项式拟合多项式特征矩阵之前学习了线性回归，那么多项式回归又是什么呢？一、多项式回归简介在线性回归中，我们通过建立自变量 x 的一次方程来拟合数据而非线性回归中，则需要建立因变量和自变量之间的非线性关系。从直观上讲，也就是拟合的直线变成了「曲线」。对于非线性回归问题而言，最常见的便是「多项式...

2018-07-29 18:29:01 1431 2

原创【MachineLearning】之线性回归预测实战

Topic : 尝试加载一个真实数据集，并使用 scikit-learn 构建预测模型，实现回归预测（以波士顿房价数据集为例）使用最小二乘法进行线性回归拟合简介：线性回归步骤：使用 Pandas 加载并预览数据集选取特征，用于线性回归模型训练划分数据集，为训练集和测试集构建和训练模型输入测试集特征进行预测评估回归预测结果（平均绝对误差、平均...

2018-07-29 11:43:55 824

原创【MachineLearning】之线性回归（实战）

Topic: 最小二乘法代数求解实战最小二乘法矩阵求解实战使用 scikit-learn 进行线性回归预测本文为实战篇，理论篇：线性回归理论最小二乘法代数求解实战步骤：定义数据集，使用 numpy 绘制图形，使用matplotlib定义拟合直线函数，平方损失函数，计算求解绘制图像测试用例，预测结果...

2018-07-28 17:46:26 1493 1

原创【MachineLearning】之线性回归（理论）

Topic 什么是线性回归？原理及实现什么是最小二乘法？最小二乘法代数求解最小二乘法矩阵求解一、线性回归先来回想下：回归回归面对的一群连续值，从这群连续的点钟找出误差最小的线，从而来预估其他点通过找到一条直线去拟合数据点的分布趋势的过程，就是线性回归的过程然而这种线可能会有很多，那么如何从中找出最合适的线呢...

2018-07-26 23:11:53 370

原创【MachineLearning】之初识

Topic: 什么是机器学习？什么是监督学习？监督什么？什么是回归，什么是分类？一、简介（1）什么是机器学习？通常所说的「机器学习」往往就是指「统计机器学习」统计机器学习，英文是：Statistical Machine Learning，它是概率论、统计学、计算理论、最优化方法、以及计算机科学组成的交叉学科，其主要的研究对象是如...

2018-07-26 00:07:41 232

原创【Python VTK】之 TVTK 管线

前言添加 from tvtk.tools import ivtk 时候，若报错 No module named Pygments 则 pip install PygmentsTVTK 管线管线技术（Pipeline，流水线）可视化管线（Visualization Pipeline）：将原始数据加工成图形数据的过程图形管线（Graphi...

2018-07-20 00:35:24 841 2

原创【Python VTK】之 TVTK安装

前言需安装完 VTK 、numpy 、traits 、 mayavi、pyqt4 才能使用 VTVK 下载 whl 时候，需注意 python的版本号和自身电脑的位数（1）下载下载链接凡凡的环境是：python 3.6 ， window 64位so，安装：（2）安装打开 cmd 进入之前下载的目录使用 pi...

2018-07-19 15:21:42 15408 4

原创【MyBatis】之 Mybatis-generator 配置文件使用通配符 % 时，会生成关于 mysql 信息表的 pojo 和 mapper

问题描述 <table schema="financial_leasing" tableName="%" enableCountByExample="false" enableUpdateByExample="false" enableDeleteByExample="false" enableSelectByExamp..

2018-07-12 17:12:59 1503

原创【WeChat】之微信小程序登录（获得unionid）（Java版加解密）

前言坑啊，都是坑啊，你最大。。。开发平台不用认证，也能获取的到用户的 unionid 前端 js 中不要写 https://api.weixin.qq.com/sns/jscode2session，微信已禁止微信公众号、小程序、开发平台，一个对应着一个邮箱未认证的开发平台，可以绑定小程序，不可以绑定公众号未认证的开发平台，要获得union...

2018-07-03 19:45:47 5838 1

原创【Canal】之一些坑

前言记录一些遇到的问题（1）Mixed模式不能通过filter进行过滤问题来源在 Mixed 模式下，通过 canal 解析 Binlog 获得 SQL 语句，再到另个数据库中去执行这个SQL。问题出现在单机和一个instance下，SQL 执行了两次，程序抛出异常。出现这问题的可能原因同时监...

2018-06-27 15:22:52 4769

原创【Canal】之 Binlog Mixed模式

前言实验：通过 Canal 解析 MySql 的 binlog，获取sql 一、准备本实验在之前配置上进行 https://blog.csdn.net/fanfan4569/article/details/80806996采用的 Canal版本，https://github.com/alibaba/canal/issues/574<depende...

2018-06-26 16:10:40 2754

原创【Canal】之搭建环境和客户端运行

前言在搭建时候，发现几个易错点（坑点），并一一填过 1. mysql 版本尽量5.7以下（官方有支持的版本） 2. canal运行方式一、准备平台：Ubuntu 16.04 MySQL： 5.7.22MySQL 安装（指定版本）# 指定版本：apt-get install mysql-client-core-* （* 为 ...

2018-06-25 20:26:15 3053

原创【Logstash】之从filebeat到logstash

实验： filebeat 收集日志并发送到logstash PS ：我好弱啊~（1）准备平台：Ubuntu 16.04filebeat 版本 : 6.3.0 （当前最新）logstash 版本 : 6.3.0（当前最新）（2）更改配置针对 filebeat 中 filebeat.yml 进行配置此图1的...

2018-06-19 23:34:19 7529

原创【Docker】之 Docker Compose

一个APP 可能有多个容器，那如何管理这些容器？管理多个 image 管理多个 container 。。。 Docker Compose 类似于 “批处理”Docker Compose定义： Docker Compose 是一个工具，负责实现对 Docker 容器集群的快速编排这个工具可以通过yml文件定义多容器的docke...

2018-06-15 17:38:17 501

原创【Docker】之镜像加速器（阿里云加速器）

前言啊，墙啊~ 没用镜像加速器之前，pull 个 mysql 半小时还没好。。。看书上配置镜像加速器有很多种，so，这里直接使用阿里云上的配置（比较适配吧）（1）注册阿里云账号https://dev.aliyun.com/search.html（2）获取加速信息https://cr.console.aliyun.com/#/accele...

2018-06-15 15:30:22 456

原创【Docker】之数据卷（Data Volumes）

当容器（Container）停止并被删除，则容器中的数据也会随之删除。那有没有一种独立于容器、提供持久化并能服务于多个容器的东西呢？ Docker 数据卷（Data Volumes）一、数据卷数据卷：是一个可供一个或多个容器使用的特殊目录特性：数据卷可以在容器之间共享和重用对数据卷的修改会立马生效对数据卷的更新，不会影响镜像数...

2018-06-15 15:11:09 2613

原创【Docker】之 Dockerfile

Dockerfile 使用基本的基于DSL语法的指令来构建一个Docker镜像，之后使用 docker build 命令基于该Dockerfile中的指令构建一个新的镜像。一个小栗子构建一个包含可执行文件的Docker镜像，并运行。（1）构建一个hello.c 文件，并编译#include&amp;lt;stdio.h&amp;gt;int main(void) { ...

2018-06-15 11:05:55 271 2

原创【Docker】之镜像（image）、容器（Container）、仓库（Repository）

Docker 与虚拟机（VM）区别虚拟机把支撑硬件虚拟化，抽象出一层。 Docker 直接耦合硬件。 Docker 镜像（Image）镜像（Image）：就是一堆只读层（read-only layer）的统一视角，由多个文件系统整合成一个文件系统。镜像为什么只可读？镜像作为底层文件系统，为多个容器提供底层服务。镜像为什么要由...

2018-06-14 17:48:13 1877

原创【MicroServices】之初识

微服务定义：使用一套小服务来开发单个应用的方式，每个服务运行在独立的进程里，一般采用轻量级的通讯机制互联，并且它们可以通过自动化的方式部署。（1）微服务模型框架优势：解决单体复杂度（耦合）服务可独立开发独立部署独立扩展劣势：通信机制（分布式）拆分数据库架构（分布式事务）部署（高自动化）测试（需要mock其依赖的服务）跨服务的改动（服...

2018-06-13 20:08:34 173

UML基础教程

空空如也