还好是你-CSDN博客

原创 Flinkml之k最近邻居关联（java实现）

代码：package cn.xsy.flink.ml;import org.apache.commons.lang3.ArrayUtils;import org.apache.flink.api.common.functions.MapFunction;import org.apache.flink.api.common.operators.base.CrossOperatorBase;...

2020-03-08 13:28:59 726 1

原创 Flinkml监督学习的数据加载以及svm算法例子（java实现）

一、监督学习类问题的数据加载对于监督学习类问题，flinkml通常使用LabeledVector类来表示(label, features)实例。以官方文档中使用的数据集为例，数据格式如下：代码：package cn.xsy.flink.ml;import org.apache.commons.lang3.ArrayUtils;import org.apache.flink.api....

2020-03-07 23:16:21 1263

原创基于flink使用K-Means算法对KDD CUP99数据集进行聚类分析

1、算法简介kmeans算法又称k均值算法，是一种聚类算法，属于无监督学习算法。对于给定的样本集，kmeans将其中相似的样本成员分类组织到一起，最终将样本集划分成K个簇，每个簇内的样本成员相似度比较高。2、基本功能使用K-Means算法对KDD CUP99网络入侵检测数据集进行聚类分析。本程序先对输入数据集进行特征转换、归一化处理，然后基于flink通过kmeans将数据集聚成两类，实...

2020-03-05 22:39:31 2537

原创 Linux环境下Redis安装（gcc、g++离线安装）

1、准备工作版本选择：Os版本： CentOS-7-x86_64-DVD-1810Redis版本： redis-4.0.10Redis下载地址：http://download.redis.io/releases/2、gcc、g++环境安装因redis编译需要gcc、g++环境，故进行此步操作如果虚拟机可以联网可以使用yum安装：yum install gccyum instal...

2019-11-07 23:04:18 2288

原创 kafka集群搭建

1、准备工作环境版本选择：Os版本： CentOS-7-x86_64-DVD-1810Jdk版本： jdk-8u151ZK版本： zookeeper-3.4.10Kafka版本： kafka_2.11-2.1.1部署节点：三台虚拟机： elasticsearch-04、elasticsearch-05、elasticsearch-06（ps：因之前安装es，所以主机名都为elast...

2019-11-07 16:33:31 98

原创 zookeeper集群搭建

1、准备工作版本选择：Os版本： CentOS-7-x86_64-DVD-1810Jdk版本： jdk-8u151ZK版本： zookeeper-3.4.10部署节点：三台虚拟机： elasticsearch-04、elasticsearch-05、elasticsearch-06（ps：因之前安装es，所以主机名都为elasticsearch）zookeeper下载地址：htt...

2019-11-07 15:39:22 132

原创 kibana安装以及简单使用

1、kibana简介与安装Kibana是一款开源的数据分析和可视化平台，设计用于和 Elasticsearch 协作，可以对Elasticsearch中的索引数据进行搜索、查看、交互。使用它可以很方便的利用图表、表格以及地图对数据进行多元化分析和可视化。下载安装包，并解压tar -zxvf kibana-7.3.1-linux-x86_64.tar.gz修改配置文件config/ kib...

2019-09-23 17:24:17 305

原创 logstash安装以及简单读取文件功能

Logstash 是开源的服务器端数据处理管道，能够同时从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的“存储库”中。上传logstash并解压缩tar -zxvf logstash-7.3.1.tar.gz编辑配置文件vi test.confinput { #标准输入 stdin { #通用选项，用于输入数据的编解码器 codec => plai...

2019-09-20 13:21:35 1701

原创分布式elasticsearch7.3.1集群部署

分布式elasticsearch7.3.1集群部署一、集群部署规划版本选择：Os版本： CentOS-7-x86_64-DVD-1810Jdk版本： jdk-8u151ES版本： elasticsearch-7.3.1部署节点：三台虚拟机：centos-01、centos-02、centos-03二、基础环境搭建2.1虚拟机环境网络配置：vi /etc/sysconfig/n...

2019-09-18 14:49:17 1954

weixin_42324319的博客