抬头看天空-CSDN博客

原创 go语言实战es，高亮全文检索关键词等！

Golang实战ES一、ES的安装下载elasticSearch7.7.0docker-compose启动elasticSearch7.7.0安装中文分词器IK注意事项二、ES的简单的应用查询简单查询复合条件查询三、ES的在go中实战项目运用安装连接查询索引添加查询更新删除一、ES的安装下载elasticSearch7.7.0docker pull elasticsearch:7.7.0 //下拉镜像docker images //查看镜像//创建所需文件mkdir -p /myd

2021-09-26 15:41:40 2186 3

原创实战解决获取mp4格式文件信息，时长等及mp4存储结构探索

实战解决获取mp4格式文件信息，时长等及mp4存储结构探索一、认识mp4MP4的组成BOX简介Movie Box，存储 mp4 的 metadata，一般位于mp4文件的开头。二、通过工具获取mp4时长及元信息通过ffprobe对视频进行分析三、解析mp4获取关键BOX获取元信息通过格式获取时长信息一、认识mp4MP4文件的格式主要由 MPEG-4 Part 12、MPEG-4 Part 14 两部分进行定义。其中，MPEG-4 Part 12 定义了ISO基础媒体文件格式，用来存储基于时间的媒体内容。

2022-02-23 19:11:37 3860 1

原创 strconv，strings的学习（三）

一、strconv的学习1.转换值添加到字符串后面//根据 b 的值将“true”或“false”附加到 dst 并返回扩展缓冲区。func AppendBool(dst [] byte , b bool ) [] byte//转化为float类型func AppendFloat(dst [] byte , f float64 , fmt byte , prec, bitSize int ) [] byte//转化为int类型func AppendInt(dst [] byte , i i

2022-02-06 17:35:21 668

原创 csv, json,time包的学习（二）

csv, json,time包的学习（二）一、CSV1.type Reader2.func (*Reader) FieldPos 1.17新加入3.Writer二、json的使用三、time包func After Afterfunc Tick(d Duration ) <-chan Timefunc ParseDuration函数时区输入月份滴答器/定时器重置滴答器为指定时间d定时器一、CSV1.type Readertype Reader struct { Comma rune //指

2022-01-27 13:09:49 677

原创 math，fmt, io基础包的学习

一、math提供基本常数和数学函数1.数的绝对值func Abs(x float64 ) float64特殊情况Abs(±Inf) = +InfAbs(NaN) = NaN2.func Cbrt(x float64 ) float64func Cbrt(x float64 ) float643.Floor 返回小于或等于 x 的最大整数值。func Floor(x float64 ) float644.Ceil 返回大于或等于 x 的最小整数值。func Ceil(x flo

2022-01-23 20:56:21 877

原创 GO语言对数组切片去重

1.go中没有去重方法自己实现package mainimport ( "fmt")func main() { s := []string{"hello", "world", "hello", "golang", "hello", "ruby", "php", "java"} fmt.Println(removeDuplicateElement(s)) //output: hello world golang ruby php java}func removeD

2022-01-16 19:33:59 2036

原创 python基础与回顾

python基础与回顾python2和python3print 函数python的标识符变量类型Python 元组Python运算符Python位运算符Python成员运算符Python身份运算符python语句for语句Python math 模块提供了许多对浮点数的数学运算函数。随机函数python列表函数元组删除元组字典Python 日期和时间读取键盘输入读取文件python2和python3print 函数如果 Python2.x 版本想使用使用 Python3.x 的 print 函数，可以

2021-12-23 14:18:28 249

原创 Mysql高级第五弹——主从复制

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-cu9b7U8c-1640088981645)(D1627EB63A0A4A71B54E510B030EFB83)]MySQL复制过程分为三步：Master将改变记录到二进制日志(Binary Log)。这些记录过程叫做二进制日志事件，Binary Log Events；Slave将Master的Binary Log Events拷贝到它的中继日志(Replay Log);Slave重做中继日志中的事件，将改变应用到自

2021-12-21 20:17:56 99

原创 Mysql高级第四弹——锁机制

一、锁的分类1.读写锁2.表锁/行锁/页锁二、表锁1. 查看数据库表锁的命令。# 查看数据库表锁的命令SHOW OPEN TABLES;2. 给mylock表上读锁，给book表上写锁# 给mylock表上读锁，给book表上写锁LOCK TABLES `mylock` READ, `book` WRITE;# 查看当前表的状态mysql> SHOW OPEN TABLES;+--------------------+-------------------------+--

2021-12-18 10:55:25 841

原创 Mysql高级第三弹——查询日志

一、慢查询日志学习1.慢查询日志是什么？MySQL的慢查询日志是MySQL提供的一种日志记录，它用来记录在MySQL中响应时间超过阈值的语句，具体指运行时间超过 long_query_time 值的SQL，则会被记录到慢查询日志中。long_query_time 的默认值为10，意思是运行10秒以上的语句。由慢查询日志来查看哪些SQL超出了我们的最大忍耐时间值，比如一条SQL执行超过5秒钟，我们就算慢SQL，希望能收集超过5秒钟的SQL，结合之前 explain 进行全面分析。特别说明默认情

2021-12-16 19:35:47 1423

原创 mysql高级第二弹—索引优化及如何避免索引失效

一、索引失效的原因1.全值匹配我最爱。2.最佳左前缀法则。3.不在索引列上做任何操作（计算、函数、(自动or手动)类型转换），会导致索引失效而转向全表扫描。4.索引中范围条件右边的字段会全部失效。5.尽量使用覆盖索引（只访问索引的查询，索引列和查询列一致），减少SELECT *。6.MySQL在使用!=或者<>的时候无法使用索引会导致全表扫描。7.is null、is not null也无法使用索引。8.like以通配符开头%abc索引失效会变成全表扫描（使用覆盖索引就不会全表

2021-12-12 18:51:54 424

原创 mysql高级第一弹

一、安装检查系统是否安装mysql(rpm 检查)rpm -qa | grep -i mysql安装过会显示软件名，没装过为空带进度条安装rpm -ivh 软件名.rpm查看服务信息ps -ef | grep mysql查看linux的用户组cat /etc/passwd | grep mysqlcat /etc/group | grep mysql查看mysql版本号mysqladmin --version启动mysql关闭service mysql start/st

2021-12-09 22:17:44 711

原创 linux学习初级之常用命令

查看内置命令enable禁止使用某个命令-enable -n cd启动内置命令（默认启动的）enable cd一、文件目录类1.ls命令-l 长格式显示文件信息-d 显示目录本身信息-a 显示全部文件，包括隐藏文件-A 显示除了.或着..以外的文件，包括隐藏文件-t 按修改时间进行排序2.pwd指令pwd 显示当前所在绝对目录3.cd指令cd /目录绝对切换目录cd ../目录

2021-12-05 20:06:28 202

原创 nginx高可用实战原理及配置

一、Nginx 反向代理实例 1location = / {} //用于不含正则表达式url前，要求请求字符串与url严格匹配。location ~ / {} //用于表示url含正则表达式，并且区分大小写location ~* / {} //用于表示url含正则表达式，不区分大小写location ^~ / {}用于不含正则表达式url前，要求nginx服务找到表示url和请求字符串匹配度最高的location后，立即使用此location处理请求，而不是使用location快中的正则url和请求

2021-11-28 20:02:17 2396

原创初识nginx

一、nginx的常用概念1.nginx简介Nginx (“engine x”) 是一个高性能的 HTTP 和反向代理服务器,特点是占有内存少，并发能力强，事实上nginx的并发能力确实在同类型的网页服务器中表现较好，中国大陆使用nginx网站用户有：百度、京东、新浪、网易、腾讯、淘宝等2.nginx中的反向代理反向代理，其实客户端对代理是无感知的，因为客户端不需要任何配置就可以访问，我们只需要将请求发送到反向代理服务器，由反向代理服务器去选择目标服务器获取数据后，在返回给客户端，此时反向

2021-11-22 16:59:21 1773

原创 mysql进阶学习第一弹

mysql进阶学习第一弹一、mysql的逻辑图二、mysql的运行过程三、redo log（重做日志）和 binlog（归档日志）四、事务事务的特性事务的隔离级别事务的启动方式一、mysql的逻辑图从图中可以看出mysql分为Server和引擎两个部分Server层包括：连接器、查询缓存、分析器、优化器、执行器等引擎：功能：数据的提取和存储主要有引擎： InnoDB、MyISAM、Memory 等（5.5以后默认为innoDB）二、mysql的运行过程1.第一步通过密码

2021-10-20 14:40:05 87

原创某音init_gorgon(),x-gorgon分析和数据的获取（3）

数据获取第三部分一、go请求抖音接口二、go获取数据三、入库并分析数据四、python自动化获取抖音iid五、python服务端代码部署签名算法一、go请求抖音接口二、go获取数据三、入库并分析数据四、python自动化获取抖音iid五、python服务端代码部署签名算法...

2021-10-18 16:03:14 1751 2

原创 Golang中os.Reader和ReaderAt的区别，及ReaderAt快速读取日志文件的实现

go中区别Read和ReadAt一、os.Read（）二、os.ReadAt()三、os.Read()和os.ReadAt()区别及注意事项一、os.Read（）// Read reads up to len(b) bytes from the File.// It returns the number of bytes read and any error encountered.// At end of file, Read returns 0, io.EOF.func (f *File) R

2021-10-14 19:57:04 997

原创某音数据获取策略及实现（1）

抖音直播间数据获取策略及实现（1）一、环境配置1.Fiddle安装2.Fiddle的配置二、模拟器设置设置2.1模拟器选择2.2模拟器配置代理2.3安装证书2.3解决模拟器使用抖音无网络问题三、总结一、环境配置1.Fiddle安装Fiddle是一款超级强大的抓包工具，好处超多，本教程将带你见识Fiddle的冰山一角Fiddle下载地址（推荐官网下载）Fiddle官网.2.Fiddle的配置常用到的Fiddle工具开始配置点击Tools -> Options，就可以看到Optio

2021-09-26 14:39:53 368

原创惊，你不知道go语言结构体指针的三大方法使用详解！

go语言结构体的巧妙运用一、引言二、三种方式三、区别四、不同场景下的使用五、需要用到变量进行赋值的时候使用六、懒加载使用一、引言go语言相比于Java多了指针的使用，因此在变量的使用上，更加灵活。但是巧妙的使用能避免内存的浪费！二、三种方式 var c1 *Config var c2 = &Config{} c3 := new(Config)三、区别上面的三种方式返回的都是指针，但是又有什么区别呢？fmt.Println(reflect.TypeOf(c1),reflect.Ty

2021-08-21 21:08:49 517 1

原创 MySQL笔记系统总结

Myql笔记汇总1.初识数据库1.1 数据库分类1.2 关系型数据库二级目录三级目录1.初识数据库1.1 数据库分类网络数据库：层级数据库：关系数据库：关系型数据库：存储在磁盘中。关系型数据库：存储在内存中1.2 关系型数据库== 概念：== 关系数据库，是建立在关系模型基础上的数据库，借助于集合代数等数学概念和方法来处理数据库中的数据。== 关系数据结构：== 指的数据以什么方式来存储，是一种二维表的形式存储本质：二维表==关系操作集合：==如何来关联和管理对应的存储数据，SQL指令=

2021-03-20 22:01:37 339 1

原创 gin实现百度云文件上传服务

1.gin文件上传1.文件上传接收文件 //为 multipart forms 设置较低的内存限制 (默认是 32 MiB) router.MaxMultipartMemory = 8 << 20 // 8 MiB router.POST("/upload", func(c *gin.Context) { // 单文件 file, _ := c.FormFile("file") log.Println(file.Filename)

2021-01-30 11:24:52 292

原创首次探索消息队列——kafka

1.kafka消息队列（基于发布订阅模式的消息队列，应用于大数据实时处理领域）1.点对点模式（一对一，消费者主动拉去，使用后删除）2.发布订阅模式（一对多，很多消费者消费，消费后不删除，记住自己消费到的地方）celery是基于任务的队列，而不是消息2.基础架构1.方便扩展，提高吞吐量，一个topic分为多个partition2.配合分区设计，提出消费者组概念，组内消费者并进行消费3.提高可用性，为每个partition增加若干副本，类似于NameNode Ha[外链图片转存失败,源站可

2020-12-13 11:00:44 186

原创 gin绑定数据文档.doc

/*Package validator implements value validations for structs and individual fieldsbased on tags.It can also handle Cross-Field and Cross-Struct validation for nested structsand has the ability to dive into arrays and maps of any type.see more exampl

2020-10-31 16:01:19 347 1

原创 java创建线程的两种方法

1.线程的创建java.lang.Thread类实现/***多线程的创建，方式一:继承于Thread类1．创建一个继承于Thread类的子类2．重写Thread类的run() -->将此线程执行的操作声明在run()中3．创建Thread类的子类的对象4．通过此对象调用start()说明两个问题:问题一:我们启动一个线程，必须调用start()，不能调用run()的方式启动线程。问题二:如果再启动一个线程，必须重新创建一个Thread子类的对象，调用此对象的start().

2020-10-25 11:29:13 309

原创 golang变量得声明

1.标准声明Go语言的变量声明格式为：var 变量名变量类型2.变量声明以关键字var开头，变量类型放在变量的后面，行尾无需分号。举个例子：var name stringvar age intvar isOk bool3.批量声明每声明一个变量就需要写var关键字会比较繁琐，go语言中还支持批量变量声明：var ( a string b int c bool d float32)4.类型推导有时候我们会将变量的类型省略，这个时候编译器会根据等

2020-08-23 11:45:34 277

原创 docker，FastDFS，Haystack的使用及配置

1.docker的安装及使用1.安装，通过scp C:\Users\86152\Desktop\shiyan\docker.zip root@39.99.223.22:/var/上传到ubantu系统中，然后进行通过unzip进行解压，sudo apt-key add gpgsudo dpkg -i docker-ce_17.03.2~ce-0~ubuntu-xenial_amd64.deb安装docker2.sudo docker run hello-world查看docker是否安装成功3.常

2020-08-16 11:44:42 219

w5025的博客