- 博客(96)
- 资源 (3)
- 收藏
- 关注
RSS订阅
原创 从头搭建presto+kudu+hive+hdfs(6节点)
记录一下最近做的一个大数据集群安装：安装版本：presto317、kudu1.10、hive3.1.2、hadoop3.1.2几个主要软件的下载地址：presto https://prestosql.io/docs/current/index.htmlkudu rpm包地址 https://github.com/MartinWeindel/kudu-rpm/releaseshive ht...
2020-07-07 14:32:08
3093
8
原创 使用maxscale及mha搭建mysql主从同步、读写分离、高可用集群
尝试使用mysql存储部分数仓结果，需要满足高可用、读写分离等需求，以下是搭建过程。主要使用mariadb10.3，maxscale2.4.8，mha
2020-04-17 13:12:17
1014
原创 mariadb columnrestore预研:安装部署
mariadb columnrestorehttps://mariadb.com/kb/en/mariadb-columnstore/mariadb columnrestore是mariadb的MPP型数据库，国内可能用的人不多，资料也比较少，以下是本地安装调试记录，并没有生产实用，只是预研、了解性质。#关闭防火墙、selinux、ssh相互免密登录setenforce 0sed -i '/SELINUX/s/enforcing/disabled/' /etc/selinux/configsys
2022-03-17 21:26:33
340
原创 golang学习笔记第二部分：10.排序查找和二维数组
golang学习笔记第二部分：10.排序查找和二维数组20、排序和查找排序是将一组数据按指定的顺序进行排列的过程，排序分为：内部排序、外部排序，内部排序是将所有数据都加载都内存中，外部排序是借助外部存储进行排序。交换式排序法：冒泡排序法：从前向后，依次比较相邻的2个数字，大/小的数据放到后面；有n个元素，需要进行n-1轮对比，每一轮确定一个数的位置，每一轮的比较次数在逐渐减少 代码： 1）先完成将最大的数字放最后； 2）再将第二大的放到倒数第二；3）总结规律，合并循环顺序查找：按顺序遍历整个数
2022-03-17 21:10:16
620
原创 golang学习笔记第二部分：9.数组和切片
golang学习笔记第二部分：9.数组和切片18、数组1)数组定义：存放多个同一类型的数据，go语言中，数组是值类型 var 数组名[数组大小]数据类型var a [5]int var b [3]int = [3]int{1,2,3} var c = [3]int{1,2,3} var d = […]int {1,2,3} //…代表让系统去判断数据大小 2)数组的遍历方式一：常规遍历for 方式二：for-range结构遍历 for index,value := range array01{ …
2022-02-09 08:47:54
376
原创 golang学习笔记第二部分：8.时间、内置函数、错误处理
15、时间和日期相关函数需要导入time包…获取当前时间 time.Now()时间信息now.Year() Month Day Hour Minute Second格式化日期时间 方法1：fmt.Printf(“当前年月日 %d-%d-%d %d:%d:%d \n”, now.Year(), now.Month(), now.Day(), now.Hour(), now.Minute(),now.Second())方法2：fmt.Printf(now.Format(“2006/01/02 15
2022-01-22 20:35:36
438
原创 golang学习笔记第二部分：7.字符串常用函数
golang学习笔记第二部分：7.字符串常用函数14、字符串常用函数统计字符串长度，按字节返回 len(str)字符串遍历，同时处理有中文的问题 r := []rune(str)字符串转整数 n,err := strconv.Atoi(“123”)整数转字符串 str := strconv.Itoa(123) //注意，这里只返回一个结果字符串转[]byte var bytes := []byte(“hello go”)[]byte转字符串 str4 := string([]byte{104
2022-01-14 08:56:22
170
原创 linux proc文件系统详解
linux proc文件系统详解文章目录linux proc文件系统详解PIDattrcurrentexecfscreatekeycreateprevsockcreateautogroupauxvcgroupclear_refscmdlinecommcoredump_filtercpusetcwd -> /environexefdfdinfogid_mapiolimitsloginuidmap_filesmapsmemmountinfomountsmountstatsnetnsnuma_mapsoo
2022-01-07 13:44:30
6941
原创 golang学习笔记第二部分：6.函数
13、函数定义：为完成某功能的程序指令（语句）的集合，称为函数在go中，函数分为：自定义函数、系统函数基本语法func 函数名(形参列表) (返回值列表){ 执行语句 return 返回值列表 }包的概念和使用包的本质实际是创建不同的文件夹来管理程序 go的每一个文件都是必须属于一个包 包里的函数名首字母大写才可以被其他包调用 注意细节： 1）包名一般和文件夹名相同，尤其是有IDE插件时 2）使用其他包的函数或变量时，需要先引入3）package在第一行，然后才是import 4）impo
2021-12-27 21:20:34
359
原创 golang学习笔记第二部分：5.流程控制
12、流程控制顺序控制代码从上往下按顺序执行，变量从上往下声明、使用，不允许使用未声明变量分支控制 // 只会有一个执行代码块被执行，多个条件符合的情况下，执行第一个单分支：大括号必须有，条件true时执行里面代码块if 条件表达式 { //条件表达式里允许定义一个变量执行代码块}双分支if 条件表达式 {执行代码块} else { // 必须在一行，否则编译错误执行代码块 }多分支if 条件表达式1 {执行代码块} else if 条件表达式2 { //可以有多个执行代码
2021-12-26 09:33:17
353
原创 golang学习笔记第二部分：4.运算符、获取终端输入
11、运算符介绍1）算术运算符±*/ %(取余数)取模的实际计算公式：a % b = a - a / b * b整数除法会去掉小数点部分自增自减只能当作独立语句使用，不能 a := b++++ --只能写在变量后面，不能写在变量前面2）赋值运算符= += -= *= /= %=赋值运算符是将某个运算后的值，赋给指定的变量 特点： 1）运算顺序是从右向左，先运算等号右侧内容 2）赋值运算符的左边只能是变量，右边 可以是变量、表达式、常量值 3）a += b 等价 a = a + b3）关系
2021-12-25 11:27:59
526
原创 golang学习笔记第二部分：3.派生/复杂数据类型
9.2派生/复杂数据类型指针基本数据类型，变量存的就是值，也叫值类型&变量名 可获取变量的内存地址指针类型，其变量存的是一个地址，这个地址指向的空间存的才是值，比如 var ptr *int = &num获取指针类型所指向的值，使用 *细节说明：值类型，都有对应的指针类型，形式为*数据类型值类型包括：基础数据类型int、float、bool、string，数组和结构体 引用类型：指针、切片slice、map、管道chan、接口interface特点：值类型：变量直接存储
2021-12-22 08:43:52
425
原创 golang学习笔记第二部分：2.基本数据类型
9、go的数据类型golang默认都是使用utf-8编码9.1基本数据类型数值型整数:默认0 有符号int 32位系统4个字节，64位系统8个字节,int8,int16,int32,int64 无符号uint,uint8,uint16,uint32,uint64 rune有符号，类似int32，标识一个unicode码，处理中文常用 byte 单个字母字符 0-255 默认int 浮点:float32 单精度 4 个字节 ±3.403E38 float64 双精度 8个字节 ±1.798E308
2021-12-18 20:30:06
570
原创 golang学习笔记第二部分：1.变量
8、go变量声明后不赋值，使用默认值 var i int // i = 0不声明类型，通过赋值推导类型 var i = 10省略var，声明的同时赋值 xxx := xxx可一次性进行多变量声明在函数外部声明的是全局变量package mainimport "fmt"var ( a1 = 1 a2 = "jack")func main() { //golang的变量使用方式1 // i = 0 因此 int 默认值是 0 var i int fmt.Println(
2021-12-05 15:57:28
219
原创 golang学习笔记第一部分：环境配置和基础知识
写在前面： 近期跟着韩顺平老师的视频系统的学习了golang，做为入门来说比买的几本书效果好太多，学完后整理一遍，加深印象。顺带介绍看的几本书对比：go语言实战：中文版本2017年出版的，内容不多，不推荐购买go语言编程之旅：2020年出版，介绍了几个实际案例，不过里面代码错误不少，不推荐购买go语言核心编程：2018年出版，内容偏原理介绍，不少干货，推荐go语言高并发与微服务实战：2020年出版，主要介绍go微服务相关框架、组件，可以看看go语言项目开发上手指南：2021年新出版，基础语法
2021-12-05 15:32:06
400
原创 rancher2.2.7登录失败-日志提示database space exceeded
#参考资料https://stackoverflow.com/questions/57090991/rancher-etcd-inner-db-cannot-clean/57523990现象：rancher登录失败，k8s集群正常rancher的日志里错误提示{"log":"E1016 08:56:40.853629 6 leaderelection.go:286] Failed to update lock: etcdserver: mvcc: database space excee
2021-10-16 17:31:25
526
原创 centos8 yum安装mongodb4.4
centos8 yum安装mongodb4.4配置yum源vi /etc/yum.repos.d/mongodb-org-4.4.repo[mongodb-org-4.4]name=MongoDB Repositorybaseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/4.4/x86_64/gpgcheck=1enabled=1gpgkey=https://www.mongodb.org/static/pgp
2021-10-16 10:01:13
284
原创 centos8 redis 6.2.6源码安装
centos8 redis 6.2.6源码安装下载解压cd /datawget http://download.redis.io/releases/redis-6.2.6.tar.gztar xf redis-6.2.6.tar.gzcd redis-6.2.6/编译安装make PREFIX=/usr/local/redis6 install配置mkdir /usr/local/redis6/confcp redis.conf /usr/local/redis6/conf/m
2021-10-16 09:58:25
265
原创 centos8 mysql 8.0.26二进制包安装
centos8 mysql 8.0.26二进制包安装下载，解压cd /datawget https://cdn.mysql.com//Downloads/MySQL-8.0/mysql-8.0.26-linux-glibc2.12-x86_64.tar.xztar xf mysql-8.0.26-linux-glibc2.12-x86_64.tar.xzmv mysql-8.0.26-linux-glibc2.12-x86_64 mysql8.0.26配置环境变量vi /etc/profil
2021-10-16 09:55:52
407
原创 学习笔记：DNS是个啥
文章目录学习笔记：DNS是个啥1、DNS提供的服务2、DNS工作原理2.1分布式、层次数据库2.2DNS缓存3、DNS记录和报文3.1DNS报文3.2在DNS数据库中插入记录学习笔记：DNS是个啥1、DNS提供的服务 网络上识别主机有两种方式：主机名或IP地址，实际应用中，需要有一种能进行主机名到IP地址转换的目录服务，这就是域名系统（Domain Name System，DNS）。 DNS是一个由分层的DNS服务器现的分布式数据库，使得主机能够查询分布式数据库的网络应用层协议，DNS服务器通
2021-10-10 18:39:42
384
原创 二进制文件方式安装k8s 1.21
文章目录安装etcd集群生成k8s证书二进制安装k8s master3个服务安装apiserver安装controller-manager安装kube-schedulernode 安装docker网络组件分发ca文件生成kubelet证书node安装kubeletnode安装kube-proxymaster节点配置kubectl安装coredns最近深入研究k8s，打算用二进制安装包，逐个组件安装配置，环境起来之后，也方便后续了解源码时调试，以下是记录。本机起3个centos 7.6 x64 4c8g虚
2021-06-13 22:33:55
3723
7
转载 理解LINUX的MEMORY OVERCOMMIT
理解LINUX的MEMORY OVERCOMMIT转自 http://linuxperf.com/?p=102Memory Overcommit的意思是操作系统承诺给进程的内存大小超过了实际可用的内存。一个保守的操作系统不会允许memory overcommit，有多少就分配多少，再申请就没有了，这其实有些浪费内存，因为进程实际使用到的内存往往比申请的内存要少，比如某个进程malloc()了200MB内存，但实际上只用到了100MB，按照UNIX/Linux的算法，物理内存页的分配发生在使用的瞬间，而不
2021-01-04 11:14:32
277
原创 nmap扫描工具安装使用介绍
nmap扫描工具安装使用介绍官网：https://nmap.org这是一个开源的网络探测工具，可以快速扫描大型网络，也可对单一主机做全端口扫描。源码安装nmap在centos7.6上操作安装：cd /opt#下载nmap最新版本源码wget https://nmap.org/dist/nmap-7.91.tar.bz2 参考官方说明安装：bzip2 -cd nmap-7.91.tar.bz2 | tar xvf -cd nmap-7.91./configuremakesu roo
2020-11-22 18:34:05
2015
原创 centos7系统的服务器初始化
#!/bin/bash # 系统初始化，配置阿里(有公网)或私有yum源(无公网) # 1、关闭selinux、防火墙、设置hostname # 2、所有服务器配置相互SSH免密登录 -- 单独执行 # 无交互初始化key # ssh-keygen -t rsa -P "" -f ~/.ssh/id_rsa # cat ~/.ssh/id_rsa.pub 将所有节点的公共key收集后集中写入authorized_keys文件 # vi ~/.ssh/authorized_keys # s
2020-10-19 16:50:20
259
2
原创 mysql5.7.30源码安装(centos7)
0、linux基础优化-此处略卸载已有的mysql或mariadb-lib/bin/rpm -e $(/bin/rpm -qa | grep mysql|xargs) --nodeps/bin/rpm -e $(/bin/rpm -qa | grep mariadb|xargs) --nodeps1、官网下载带boost版本源码包https://downloads.mysql.com/archives/get/p/23/file/mysql-boost-5.7.30.tar.gz2、安装依赖包
2020-10-07 11:50:50
458
原创 presto内存参数配置简单计算（3节点虚拟机环境）
记录一下配置presto的内存参数大致计算方法：1、jvm.config-Xmx ：presto最大可以给到服务器总内存的50-70%，比如8GB*0.5=4G；如果需保留内存给其他服务，按需减少。2、config.propertiesquery.max-memory-per-node ：xmx的30%：4 x 0.3=1.2GBquery.max-memory ：query.max-memory-per-node x worker节点数 1.2 x 2 = 3.6 GBquery.max-t
2020-10-03 14:25:06
945
原创 linux性能分析工具的使用（USE法在linux的实践）
文章目录1. cpu1.1 利用率1.2 饱和度1.3 错误2. 内存容量2.1 利用率2.2 饱和度2.3 错误3. 网络接口3.1 利用率3.2 饱和度3.3 错误4. 存储设备I/O4.1 利用率4.2 饱和度4.3 错误有几个日常使用非常频繁的工具不列入，比如top、iotop、dstat。1. cpu1.1 利用率#看%idle列百分比mpstat -P ALLLinux 3.10.0-957.21.3.el7.x86_64 (d5sdp1srv0f) 09/21/2020
2020-09-21 14:01:21
657
转载 typora使用介绍
简介Typora是一款轻便简洁的Markdown编辑器，支持即时渲染技术，这也是与其他Markdown编辑器最显著的区别。即时渲染使得你写Markdown就想是写Word文档一样流畅自如，不像其他编辑器的有编辑栏和显示栏。Typora删除了预览窗口，以及所有其他不必要的干扰。取而代之的是实时预览。Markdown的语法因不同的解析器或编辑器而异，Typora使用的是GitHub Flavored Markdown。Markdown介绍Markdown 是一种轻量级标记语言，它允许人们使用易读易
2020-09-16 08:42:40
1061
转载 Linux改变进程优先级的Nice命令
转自 https://blog.csdn.net/gua___gua/article/details/42536127本文所述Nice与Renice命令已由管理员在Debian与CentOS中测试通过VPS普遍性能不高，很多人可能有这样一个感受，在执行du、tar等命令时，会造成系统负载飙升，Apache响应缓慢。这时nice命令改变进程优先级可能能缓解这种状况。nice命令用于调整Linux系统中进程的优先级。通俗地讲，Linux系统中，进程有-19到19这39个优先级。-19最优先，19最不优先
2020-09-04 08:48:54
1411
转载 salt-minion和salt-master之间重新认证
salt minion 和salt master之间重新建立认证修改了minion端的id之后 比如修改了hostname之后，minion端会将minion的id 存放在/etc/salt/minion_id文件中，重启不会改变。所以要重新认证就需要以下2步：1、清空minion_id/etc/salt/minion_id2.删除minion存放masterkey的文件pki文件夹下所以的东西rm -rf /etc/salt/pki/*3.重启minionservice salt-m
2020-08-24 15:15:40
441
原创 jumpserver快速安装配置
docker安装：if [ ! “SECRETKEY"];thenSECRETKEY=‘cat/dev/urandom∣tr−dcA−Za−z0−9∣head−c50‘;echo"SECRETKEY=SECRET_KEY" ]; then SECRET_KEY=`cat /dev/urandom | tr -dc A-Za-z0-9 | head -c 50`; echo "SECRET_KEY=SECRETKEY"];thenSECRETKEY=‘cat/dev/urandom∣tr−dcA−Za−
2020-08-10 12:49:45
350
原创 Mongodb服务改Ip或者主机名(副本集模式)
Mongodb服务改Ip或者主机名逐个副本集服务操作1、停服务2、修改mongodb.conf配置注释掉副本集、登录认证，修改服务端口3、启动服务4、本地模式操作use localcfg = db.system.replset.findOne( { “_id”: “注册的副本集名称” } )cfg.members[0].host = “修改后的主机或者IP:27017”cfg.members[1].host = “修改后的主机或者IP:27017”cfg.members[2].host
2020-08-10 12:48:21
1931
1
转载 jvm参数使用手册
查看java程序heap信息，比如修改xms参数是否生效jmap -heap pid xxxx查看内存jdk8以后jhsdb jmap --heap --pid xxxx查看jvm运行参数jinfo xxxx|grep MaxDirectMemorySizejinfo -flag MaxDirectMemorySize xxxxJVM提供了大量的参数配置，可以通过配置这些参数对JVM进行调优、记录GC日志等等，本章只罗列我自己用到过的参数，根据功能划分。声明:英文解释和使用方法多数来源于微信
2020-08-06 14:27:17
225
原创 构建dockerfile的13个命令
1、Dockerfile的基本指令有十三个，分别是：FROM、MAINTAINER、RUN、CMD、EXPOSE、ENV、ADD、COPY、ENTRYPOINT、VOLUME、USER、WORKDIR、ONBUILD基础镜像信息 FROM维护者信息 MAINTAINER镜像操作指令 RUN、COPY、ADD、EXPOSE、WORKDIR、ONBUILD、USER、VOLUME等容器启动时执行指令 CMD、ENTRYPOINT2、FROM ：指定基础镜像FROM livingobjects/jre
2020-07-22 11:41:39
1496
camstudio一款小巧的录屏工具
2020-09-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人