- 博客(24)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 CenterOS7安装docker
安装前的配置已经配置好网络环境可以访问外网系统要求官方提示,如果要安装docker引擎,您需要安装centerOS7及以上的的稳定版本卸载旧版本sudo yum remove docker \ docker-client \ docker-client-latest \ docker-common \ docker-latest \
2021-11-23 15:41:54
443
原创 全网最全的默认配置winlogbeat收集window日志到elasticserach
配置概要elasticserach的版本最好是和winlogbeat一致安装winlogbeat去官网下载安装包选择winlogbeat版本解压缩到c盘的profile目录,其他目录也行讲解压文件夹重命名winlogbeat用powershell命令打开winlogbeat目录执行以下命令PowerShell.exe -ExecutionPolicy UnRestricted -File .\install-service-winlogbeat.ps1.然后配置yml文件执行
2021-11-16 18:34:22
2902
原创 使用xsync脚本分发
为什么使用xsync脚本来分发文件因为操作简单,只需要执行脚本在后面加上需要分发的文件就行了然后底层不一致,scp使用的是安全拷贝,而xsync使用的是增量拷贝由于底层不一致,xsync比scp快上许多使用脚本来分发文件之前不同节点之间的免密登录安排上脚本实现#!/bin/bash#1 输入参数个数，如果没有参数就会退出pcount=$#if((pcount==0)); thenecho no args;exit;fi#2 需要分发的文件名称p1=$1fname=`
2021-11-10 18:28:18
3930
1
原创 centerOS7卸载MySQL
centerOS7卸载MySQL使用rpm -qa|grep -i mysql命令来搜索系统中安装的MySQLrpm -qa|grep -i mysql如果出现了如下图所示说明系统中安装了MySQL123123...
2021-07-19 21:27:12
265
原创 停止Kafka单节点导致logstash宕机
如果公司有正在运行的logstash,配置Kafka加密传输的时候千万不能停止节点,否则logstash的所有任务都会停止,导致公司造成巨大损失.
2021-05-08 10:50:16
209
5
原创 YumRepo Error: All mirror URLs are not using ftp, http[s] or file.报错解决
YumRepo Error: All mirror URLs are not using ftp, http[s] or file.Eg. Invalid release/repo/arch combination/错误：Cannot find a valid baseurl for repo: base已经一年多没有使用centerOS6.*版本下载源文件了,就在今天需要下载的时候,显示错误,经过搜索,原来是官方在2020年12月2日已经取消了对centerOS6的所有更新,并且下架了包括官方的所有
2021-04-13 15:32:07
2764
3
原创 新手安装Elasticsearch单节点或者集群遇到的一些问题
使用root用户打开./elasticsearch报错这是系统为了安全考虑,由于es可以独立接受用户输入的脚本,所以需要单独建立一个用户来运行esERROR: bootstrap checks failed{max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536]max number of threads [1024] for user [elk] likely
2021-04-01 18:52:26
236
原创 IDEA启动Flink离线项目报ERROR:scala.collect.immutable/java.lang.NoSuchMethodError解决办法
IDEA启动Flink离线项目报ERROR:scala.collect.immutable/java.lang.NoSuchMethodError解决办法原因pom文件的scala版本或者flink版本和系统不一致,我使用的scala版本是2.13不支持flink,换成2.11就行了,然后修改idea的scala配置将符合pom文件的scala版本选中就行了...
2020-07-09 11:54:26
338
原创 大数据挖掘型标签RFM/RFE/PSM
挖掘标签KMeans监督学习 对目标有期望值(目标值)无监督学习 对目标没有对应的期望值(目标值)半监督学习 对目标有部分的期望值(目标值)强化学习 目标不断与外界交互获得反馈,决定自身的行为 ps 阿尔法狗用户价值模型-RFMXXX网店，6-18期间得活动到底发给谁？？？？例如有50w历史用户，如何对用户分群？？？使用RFM模型对用户分群RFM是Rencency（最近一次消费）---- 最后一次得消费得时间Frequency（消费频率） ---- 消费次数（半年内/一年内/所
2020-07-02 21:02:40
1328
原创 Kylin实践
此实践是在安装好kylin,并且成功进入http://IP:7070/kylin/login 界面之后的操作哦登录Kylin在hive测试加载数据(此实践数据存放在结尾)准备测试数据创建数据库、表、加载数据create table dw_sales(id string,date1 string,channelId string, productId string, regionId string,amount int,price double)ROW FORMAT DELIMITED FIELD
2020-05-15 01:31:02
223
原创 【坑王之王】OException: Mkdirs failed to create C:/Users/sunxiaochuan/AppData/Local/Temp/*************错误解决
ERROR StreamMetadata: Error writing stream metadata StreamMetadataIOException: Mkdirs failed to create C:/Users/sunxiaochuan/AppData/Local/Temp/*************不知道还有没有小伙伴遇到我这种错误,因为这个问遍了天下无敌手,没有一人能敌,最终...
2020-04-22 16:41:03
1602
1
原创 Oozie永远滴神!!!
Oozie永远滴神!!!什么是Oozie?（此博客图片来源于网络，侵删）有那些模块?运行环境和条件部署Oozie1.1 解压Oozie[root@hadoop102 software]$ tar -zxvf /opt/software/cdh/oozie-4.0.0-cdh5.3.6.tar.gz -C /opt/module1.2...
2020-04-22 16:00:21
144
原创 HbaseAPi入门操作
1:添加pom文件 <repositories> <repository> <id>cloudera</id> <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url> ...
2019-12-18 08:45:38
160
原创 Hbase安装启动
第一步：下载对应的HBase的安装包所有关于CDH版本的软件包下载地址如下http://archive.cloudera.com/cdh5/cdh/5/HBase对应的版本下载地址如下http://archive.cloudera.com/cdh5/cdh/5/hbase-1.2.0-cdh5.14.0.tar.gz第二步：压缩包上传并解压将我们的压缩包上传到node01服务器的/ex...
2019-12-12 20:03:43
367
原创 GoGoGo语言入门
今天我好友和我说go语言的好处,我就纳闷了,排名刚刚出来排15的go语言有那么吊吗?于是我就学了一下才发现,go 语言确实好用,只不过插件库太少了,很多依赖还没有.go语言地址go语言系统要求go 的安装步骤和java一样,下载安装搭建环境变量定义类型类型（ A1 =字符串 A2 = A1）类型（ B1弦 B2 B1 B3 [] B1 B4 B3）数组类型Ar...
2019-12-10 20:34:57
739
原创 Zookeeper之本地模式部署(纯文字,图片党慎入)
1. 安装准备（1）安装jdk（2）通过filezilla工具拷贝zookeeper到到linux系统下（3）修改tar包权限chmod u+x zookeeper-3.4.10.tar.gz（4）解压到指定目录[atguigu@hadoop102 software]$ tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/2.修改配置...
2019-12-08 21:53:22
113
原创 Ki No ''Azkaban'' Da
solo-server模式部署节点规划host角色node-1Web Server和Executor Server同一进程ps:此教程适用azkaban编译后部署1解压配置mkdir /export/servers/azkabantar -zxvf azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz –C /export/ser...
2019-12-07 17:13:29
1322
原创 大数据之Flume组件的使用
当前Flume有两个版本。Flume 0.9X版本的统称Flume OG（original generation），Flume1.X版本的统称Flume NG（next generation）。由于Flume NG经过核心组件、核心配置以及代码架构重构，与Flume OG有很大不同，使用时请注意区分。改动的另一原因是将Flume纳入 apache 旗下，Cloudera Flume 改名为 Apache Flume。
2019-12-05 10:44:03
1429
原创 MapReduce之WordCount字数统计
第一次WordCount小游戏在idea客户端上面进行WordCount统计1:创建mapper类继承mapper(选hadoop类型)public class wordcountMapper extends Mapper<LongWritable, Text,Text, IntWritable> {//LongWritable(表示mapper输入数据的key每一行数据的编号...
2019-11-12 11:03:04
2207
原创 Hadoop之HDFS文件读写流程(超详细!!!!)
HDFS文件写入过程:详细步骤解析：1、 client发起文件上传请求，通过RPC与NameNode建立通讯，NameNode检查目标文件是否已存在，父目录是否存在，返回是否可以上传；2、 client请求第一个block该传输到哪些DataNode服务器上；3、 NameNode根据配置文件中指定的备份数量及机架感知原理进行文件分配，返回可用的DataNode的地址如：A，B，C；4...
2019-11-04 16:55:44
2930
原创 在Linux中安装部署JDK,tomcat,mysql
目标：能够自己独立实现JDK安装部署 安装JDK 第一步 在根目录创建文件夹export并创建两个子文件夹soft和install,以后统一用来安装管理,接着上传1.8jdk的压缩包，并解压 文件上传的路径为/export/soft jdk解压的路径是/export/install 第二步：配置环境变量 在/etc/profile.d目录下创建一个java...
2019-10-21 08:09:18
3083
原创 小白必看之Linux挂载硬盘啊啊啊啊啊啊啊
学习：掌握硬盘的挂载第一步 查看硬盘盘符和目录之间的关系 lsblk -f （ 老师不离开首字母）[root@node01 disk1]# lsblk -fNAME FSTYPE LABEL UUID MOUNTPOINTsda├─sda1 ext4 ...
2019-10-17 11:14:42
3141
原创 Python猜数字
Python如何实现for循环和while循环,做一个猜数字的小游戏 1. 首先是for循环 第一步是 创建一个 .python文件 第二步不写代码直接发skr!skr! Code==> for i in range (10) 第三步 打印输出语句 print(i) 第三步 运行 ctrl+shift+f10for i in range(10): print("...
2018-12-14 15:29:13
3096
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人