- 博客(32)
- 收藏
- 关注
RSS订阅原创 Windows10家庭版使用Hyper-V安装windows10版本的虚拟机
然后后边是关于windows的设置，过程中有需要输入密钥的页面，这里直接跳过，后边遇到也跳过(如果有密钥的话可以随意哈)，其他的都可以根据自己的情况自定义配置。在窗口(win+q)中输入“功能”，点击“启动或关闭windows功能”，在选项框中查找是否有Hyper-V，如果有则在前面打“√”，点击确定。然后再在窗口(win+q)中输入“功能”，点击“启动或关闭windows功能”，在选项框中查找是否有Hyper-V，如果有则在前面打“√”，点击确定。等3-5分钟，运行完成出现选项“N/Y”，输入“Y”。..
2022-08-18 09:09:47
3022
原创 kafka-eagle部署与使用
kafka-eagle是一个由国内团队开发的开源的可视化和管理软件。它可以同时监控多个集群、监控 Kafka 集群中 Topic被消费的情况，并且包含 Kafka Manager的相关功能等。可以说是既可以管理集群，又可以监控kafka的性能和消费情况，同时又支持sql查询。具体介绍请参考：http://www.kafkaeagle.org/articles/docs/architecture/collect.html。
2022-06-29 10:29:10
1949
原创 tidb的工具——ticdc
一、概述二、安装与卸载三、同步到下游的mysql四、同步到下游的kafka一、概述TiCDC 是一款 TiDB 增量数据同步工具，通过拉取上游 TiKV 的数据变更日志，TiCDC可以将数据解析为有序的行级变更数据输出到下游。详细的介绍可以看官方文档：https://docs.pingcap.com/zh/tidb/stable/ticdc-overview二、安装与卸载我这里之前已经安装的基本的tidb集群，安装/卸载ticdc也就是集群的扩容和缩容操作。1. 扩容ticdc节点
2022-06-29 10:28:23
1232
原创 机器学习（六）—— 分类
分类分类（classification）即找一个函数判断输入数据所属的类别，可以是二类别问题（是/不是），也可以是多类别问题（在多个类别中判断输入数据具体属于哪一个类别）。与回归问题（regression）相比，分类问题的输出不再是连续值，而是离散值，用来指定其属于哪个类别——https://blog.csdn.net/hohaizx/article/details/818353811. 逻辑分类api: sklearn.linear_model.LogisticRegression(solv
2022-03-16 22:13:34
2256
原创 机器学习（二）—— 数据预处理相关库sklearn
数据预处理相关库——sklearn.preprocessingimport sklearn.preprocessing as sp1. 均值移除api：sp.scale()均值移除也叫做数据的标准化，可以让样本矩阵种的每一列的平均值为0，标准差为1，是的不同的样本特征值减少差异，便于机器学习代码示例：import numpy as npimport sklearn.preprocessing as sp"""均值移除(标准化)np对数组求均值 np.mean(x) np对矩阵求均值
2022-03-16 22:11:51
494
原创 机器学习（五）—— 决策树回归模型和集合算法
决策树回归模型和集合算法1. 决策树概述决策树(Decision Tree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率 ——百度百科决策树就是我们通常所说的多叉树决策树回归模型的核心思想：相似的输入必会产生相似的输出决策树每层对应一个样本特征使用树结构，对于海量数据可以提高检索效率2. 构建决策树回归模型的基本思想构建决策树的基本步骤： a、从训练样本矩阵中选择第一个特征进行子表划分，是每个字表中的该特征的值全部相同； b、在每一个字表中
2022-03-16 22:10:45
8645
2
原创 机器学习（四）—— 多项式回归
多项式回归1. 概述多项式回归，回归函数是回归变量多项式的回归。多项式回归模型是线性回归模型的一种，此时回归函数关于回归系数是线性的 ——百度百科使用多项式回归可以使回归模型拟合的更好如有一元多项式：y=w0+w1x+w2x**2w3x**3+...+wdx**dw0、w1、……、wd为多个参数项此时可以将高次项看作对一次项的扩展 转换为多元线性函数 即： y=w0+w1x1+w2x2+w3x3+...+wdxd (复合函数) x1 = x x2 = x**2 ……所以多项式回归
2022-03-16 22:09:44
1940
原创 机器学习（三）—— 线性回归
线性回归1. 线性回归的概念线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法 ——百度百科线性：经过模型训练，得到自变量和因变量之间是线性关系回归：根据已知的输入输出的到模型，根据模型进行输入，得到连续的输出2. 线性回归模型训练的内在逻辑假设输入、输出之间存在线性模型 y=w0+w1x，其中w0、w1为模型参数，此时我们需要对模型进行训练，获取最优的w0、w1的组合。假设有已知 (x1, y1)， 则对应的单样本误差为 (y -
2022-03-16 22:08:40
6206
原创 机器学习（一）—— 机器学习的介绍和相关概念
机器学习的介绍和相关概念1. 定义机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能 ——百度百科机器学习(Machine-Learning)是一门让编程计算机从数据中进行学习的一门计算机科学；一个计算机程序在完成任务T之后，获取经验值(结果)E，表现效果为(准确性)P，如果任务T的性能表现P随着E的增加而增加，那么这样的计算机程序即可称为机器学习。
2022-03-16 22:07:57
529
原创 使用maxwell+kafka的方式进行mysql数据同步
MySQL – Kafka – MySQL 的日志数据同步一、配置信息使用组件MySQL、Maxwell、Kafka（CDH集群）、zookeeper（CDH集群）版本MySQL和linux版本：Ver 15.1 Distrib 5.5.68-MariaDB, for Linux (x86_64) using readline 5.1Maxwell 版本：Kafka 版本：zookeeper版本：注：1）MySQL版本查看命令：mysql -V2）Kafka/Zookeeper版
2022-02-17 10:38:02
1005
原创 Kafka 集群无法启动
注：1. CentOS6、Kafka-2.11-0.11.0.02.下面的路径都以进入 Kafka 应用的首页为当前路径。一、问题的出现通过电脑的任务管理器查看内存使用情况，发现启动的虚拟机占用了太多闲置内存，此时的虚拟机开启的只有 Zookeeper 集群和 Kafka集群，然后在虚拟机（VMware Workstation Pro）窗口查看各节点的内存占用情况，发现占用过大（2.5G），然后关闭虚拟机降低了内存占用，重新开启虚拟机，但是Kafka 集群始终只有主节点可以开启，其他的执行开启命令无效
2021-03-18 14:43:32
1430
转载 hadoop 集群的安全模式无法退出
我实在启动 Hive 时出现报错，显示 Hive 在 HDFS 上的存储路径处于安全模式下，无法打开(其他文件夹可打开)，然后开了 hadoop 的日志文件(./logs/adoop-jinghang-namenode-hadoop01.log )，报错如下。org.apache.hadoop.hdfs.server.protocol.DisallowedDatanodeException: Datanode denied communication with namenode because hostn
2021-03-18 14:40:02
619
原创 IDEA 中配置 maven 依赖时 maven 窗口的 dependencies 中出现红色波浪线
控制台错误提示：ERROR: Failure to transfer com.google.protobuf:protobuf-java:jar:3.0.0-beta-1 from ...当作maven项目时可能需要导入多种依赖，导入依赖后，可能会出现各种的报错，主要原因有：①本次导入的依赖和本地的 maven 仓库中已有的依赖发生冲突；②本地仓库缺少某种依赖文件。我的解决办法：再联网状态下，删除 pom.xml 文件中导入的依赖，清空本地仓库的所有文件，然后再次导入依赖，依赖下载完成后，波浪线消失
2021-03-10 19:35:16
797
原创 LInux常用命令——定时任务操作crondtab
定时任务操作crondtab1. crontab①介绍crontab(cron table) 即作业列表，具有设置周其性指令任务的功能。其任务存放在 /var/spool/cron/ 目录下，每个任务的名称由创建这的孟子命名，另外 /etc/crontab 文件负责调度各种任务管理和维护任务。②使用 a. 语法：crontab 【选项】 选项 功能 -e 编辑 crontab 定时任务 -l 显示执行任务列表 -r 删除当前用户所有的 crontab 任务 -i 删除
2020-10-23 19:05:19
371
原创 Linux常用命令——软件包管理类操作
软件包管理类操作1. RPM(Redhat Package Manager)①功能：Linux操作系统中的打包安装工具，具有查询、安装和卸载软件的功能②语法：rpm 【选项】 【软件名/软件包】 选项 功能 -qa 查询所有已安装的软件的软件包 -qi 查询已安装软件的软件报的详细信息 -i 表示安装（i=install） -v 显示安装过程的详细信息（v=verbose） -h 显示安装进度条（h=hash） -- nodeps 安装过程中不检测依赖进度 -e 卸载软件
2020-10-23 19:04:53
146
原创 Linux常用命令——磁盘分区类操作
磁盘分区类操作1. df(directory free)①功能：查看磁盘空间使用情况。显示有：文件系统的整体磁盘使用量和磁盘分区尚的可用磁盘空间②语法：df 空/-h 其中 -h 表示以 GBytes、MBytes 和 KBytes 等较易阅读的格式显示磁盘信息2. du①功能：显示每个文件和目录的磁盘空间占用情况②语法：du 【选项】 【文件/目录】 其中，文件/目录可省略，表示显示当前位置下的所有文件和目录的磁盘空间占用情况 选项 功能 -s 指定目录占用空间大小汇总 -h
2020-10-23 19:04:31
301
原创 Linux常用命令——性能监控操作
性能监控操作1. top①功能：时事报告系统整体的性能情况。当系统响应较慢时，我们可以查看出大致问题出现在哪里。②语法：top 【选项】 选项 功能 -d 数字 指定top命令每个几秒更新一次，默认每三秒更新一次 -i 不显示任何闲置进程或僵尸进程 -p 进程id 单独监控指定进程id的进程状态③进入top显示页面的操作选项 选项 功能 P 以CPU使用率大小从小到大排序，默认选项 M 以内存使用率大小从小到大排序 N 以PID大小从小到大排序 q 退出 top 功能
2020-10-23 19:04:02
100
原创 Linux常用命令——进程管理操作
进程管理操作1. ps①功能：查看当前系统进程状态②语法：ps 【选项】 选项 功能 -a 显示所有进程 -u 所有用户的所有进程 -x 显示后台进程的运行参数 -ef 查看子父进程之间的关系 显示信息参数说明 USER：该进程是由哪个用户产生的 PID：进程的ID号 %CPU：该进程占用CPU资源的百分比，占用越高，进程越耗费资源； %MEM：该进程占用物理内存的百分比，占用越高，进程越耗费资源； VSZ：该进程占用虚拟内存的大小，单位KB； RSS：该进程
2020-10-23 19:03:44
106
原创 Linux常用命令——压缩、解压和打包、解包类操作
压缩、解压和打包、解包类操作1. gzip/gunzipgzip 只能压缩文件，不能对目录进行压缩，且不保存原来的原文件；gunzip 解压压缩文件，且不保留原来的压缩原文件。语法格式：①gzip 文件名 注意：gzip 只能加文件压缩为 .gz 压缩文件 ②gunzip 文件名.gz 2. zip/unzipzip 可以压缩文件和目录，且保留原来的原文件；unzip 解压压缩文件，且保留原来的压缩源文件。语法格式：①zip [选项] 自定义压缩文件名.将要压缩的文件或目录 若
2020-10-23 19:02:57
232
原创 Linux常用命令——日期时间类操作
日期时间类操作date①显示当前时间 语法 功能 date 显示当前时间 如：2020年 10月 23日 星期五 14:05:05 CST date %Y 显示当前年份 date %m 显示当前月份 date %d 显示当前是当月中的那一天 date “+%Y-%m-%d %H:%M:%S” 以对应的格式显示当前的详细时间②显示非当前时间 如：date -d '1 days ago' 表示前一天时间 date -d '-1 days ago' 表示后一天时间③设置系统时
2020-10-23 19:02:30
194
原创 Linux常用命令—帮助命令及快捷键
Linux常用命令—帮助命令及快捷键1.man语法：man 命令名 信息功能：NAME 命令的名称和单行描述 SYNOPSIS 怎样使用命令 DESCREPTION 命令功能的深入讨论 EXAMPLES 使用命令的例子2.help语法：help 【选项】 命令名 选项：默认为 无，-s表示输出内置命令的命令格式 判断是否为内置命令的方法：which 命令名3.快捷键 快捷键 功能 ctrl + c 停止进程 ctrl
2020-10-23 18:58:34
343
原创 Java基础—标识符
Java 基础一、标识符1. 标识符概念标识符就是在编程过程中使用的名称，主要用于对类、接口、方法、变量、常量等的命名。2. 标识符的命名规则由字母、数字、下划线或美元符号组成；标识符开头不能为数字；不能用关键字做标识符；标识符严格区分大小写。例：double num1;// 正确int num_1;// 正确boolean 1_num;// 错误3. 标识符命名习惯（推荐）小驼峰：第一个单词首字母小写，后面的单词首字母都大写，主要用于对变量及方法的命名；大驼峰： 所有单词的
2020-10-21 22:40:05
148
原创 Java基础—修饰符
Java基础二、关键字关键字即被Java赋予了特定功能的单词，下面按照功能分类：1.定义数据类型的关键字class、interface、void、byte、short、char、int、long、float、double、boolean、en um；2. 定义流程控制的关键字if、else、switch、case、default、while、do、for、break、continue、return；break：在循环中表示打断其所在循环，其后也可跟一个标记（如：普通单词），将标记写入其所在的
2020-10-21 22:39:52
148
原创 Java基础—运算符
Java基础三、运算符算数运算符、- 、* 、/ 、% 、++ 、–+：注意字符串的拼接；例：int num = 1;String sr1 = "I'";String st2 = "m";String str3 = str1 + str2 + num;System.out.println (str3);//结果为 I'm1/ ：若除法运算符左右数字均为整型，则为整除；++ 、-- ：自增自减运算符，在前先加减后运行，在后先运行再加减。例：int a = 1;Sys
2020-10-21 22:39:38
62
原创 Java基础—分支语句
Java基础分支语句条件语句① if … else …// 格式一if (condition) { startn=ment;}// 格式二if (condition) { startment;} else { startment;}// 格式三if (condition) { startment;} else if (condition) { startment;...} else { startment;}② switch ... case ...s
2020-10-21 22:39:03
92
原创 Java基础—基本数据类型
Java基础基本数据类型整型long 、int 、short 、byte 、char浮点型float 、double布尔型true、false整型默认为 int ，若需要为 long 则需要在数据后面加后缀 L；浮点型默认为 double ，若需要为 fault 则需要在数据后面加后缀 F。long a = 100000000000; // 错误long b = 100000000000; // 正确float a = 6.66; // 错误float b =
2020-10-21 22:38:43
70
原创 Linux入门
Linux入门1. 操作系统作用：管理硬件设备，是对硬件系统的首次扩展，其它程序或软件都直接或间接依赖于操作系统。分类：服务器操作系统：Linux 安全、稳定、免费、占有率极高； Windows Server 付费、市场占有率低。嵌入式操作系统：Linux操作系统、智能硬件操作系统。移动设备操作系统：IOS操作系统、基于Linux的Android操作系统。2.虚拟机虚拟机（Virtual Machine）即通过软件模拟具有完整硬件系统功能的运行在完全隔离环境中的完整的计算
2020-10-21 22:37:56
53
原创 Linux常用命令—文件目录类操作
文件目录类操作1. pwd①功能：显示用户当前工作目录的绝对路径②语法：pwd③如：[root@Linux2 home]# pwd/home2. ls①功能：显示目录列表②语法：ls 【选项】 【目录】 选项 功能 -a 显示所有文件（以“.”开头），包含隐藏文件 -A 显示除隐藏文件“.”、“..”以外的所有文件 -l 列出长数据串，包含文件的属性与权限等 -C 多列显示输出结果，默认值 -R 递归显示（列出）对应目录下的所有文件和
2020-10-21 22:36:48
188
原创 Linux常用命令—搜索查找类操作
Linux常用命令—搜索查找类操作1. find①功能：以递归的方式查找文件或目录，并将满足条件的文件或目录显示在终端②语法：find 【搜索范围】 【选项】 搜索范围表示目录路径 选项 功能 -name<查询方式> 按照指定的文件名查找模式查找文件 -user<用户名> 查找指定的用户名所有文件 -empty 查找空文件或目录 -size<文件大小> 按照指定文件大小查找文件 -type<文件类型> 按照文件类
2020-10-21 22:36:20
134
原创 Linux常用命令——用户管理和用户组管理类操作
用户管理类操作1. useradd①功能：添加新用户②语法：useradd 【选项】 【用户名】 选项 功能 -g 指定用户所属组，默认情况下组名和用户名相同 -d 设置用户的宿主目录，默认的宿主目录为 /hone/ 下的与用户名相同的目录 -u 指定用户的id2. passwd①功能：设置用户密码②语法：passwd 【用户名】3. id①功能：查询用户是否存在②语法：id 【用户名】4. su(swith user)①功能：切换用
2020-10-21 22:35:39
168
原创 Linux常用命令——文件权限类操作
文件权限类操作1. 文件属性Linux系统是一种典型的多用户系统，不同的用户处于不同的地位，拥有不同的权限。为了保护系统的安全性，Linux系统对不同的用户访问同一文件（包括目录文件）的权限做了不同的规定。在Linux中我们可以使用ll或者ls -l命令来显示一个文件的属性以及文件所属的用户和组。①0位表示类型。其中另类型有：- 代表文件，d 代表目录， l 代表链接文档②1-3位确定属主（文件拥有者）拥有该文件的权限③4-6位确定属组（文件拥有者所属的组）拥有该文件的权限④7-9确定其他用户拥
2020-10-21 22:32:22
149
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人