男儿当自强

转载 Docker 学习笔记

狂神说Docker（下半场）Docker Compose简介安装看官方文档多看官网…体验地址：https://docs.docker.com/compose/gettingstarted/yaml 规则https://docs.docker.com/compose/compose-file/开源项目博客https://docs.docker.com/compose/wordpress/docker-compose up -d #后台启动实战Docke

原创 Docker部署springboot项目 Dockerfile构建镜像运行容器

一 创建项目使用IDE创建一个Springboot项目，打成jar包。二 编写Dockerfile文件FROM java:8COPY *.jar /app.jarCMD ["--server.port=8080"]EXPOSE 8080ENTRYPOINT ["java","-jar","app.jar"]该Dockerfile的指令是：基于基础镜像jdk8，把打的jar包拷贝到容器的/目录下命名为app.jar，开放端口8080,运行该jar包。三 构建镜像把Docker

原创 Docker 部署Redis集群

1 创建自定义网络# 创建网络[root@localhost ~]# docker network create redis-net --subnet 192.35.0.0/16b871e18c4f654c98c2711c412f6a673d6aaf9bbeb7ae0588c29a18e369eccde7# 查看网络[root@localhost ~]# docker network lsNETWORK ID NAME DRIVER SCOPEa7bc7a45

原创 Docker网络原理及自定义网络

Docker在宿主机上虚拟了一个网桥，当创建并启动容器的时候，每一个容器默认都会被分配一个跟网桥网段一致的ip，网桥作为容器的网关，网桥与每一个容器联通，容器间通过网桥可以通信。由于网桥是虚拟出来的，外网无法进行寻址，也就是默认外网无法访问容器，需要在创建启动容器时把宿主机的端口与容器端口进行映射，通过宿主机IP端口访问容器。这是Docker默认的网络，它有一个弊端是只能通过IP让容器互相访问，如果想使用容器名称或容器ID互相访问需要在创建启动容器时候用link的方式修改hosts文件实现。一般使用自...

原创 Docker使用save和load进行保存镜像到本地和从本地加载镜像

一 保存镜像[root@localhost mydocker]# docker save --helpUsage: docker save [OPTIONS] IMAGE [IMAGE...]Save one or more images to a tar archive (streamed to STDOUT by default)Options: -o, --output string Write to a file, instead of STDOUT-o 指定保存镜

原创 Docker安装nginx 使用具名数据卷volume进行数据挂载

docker run -d -P --name nginx01 -v juming-nginx:/etc/nginx nginx-v 给数据卷起一个名字，不指定名字将会随机生成名字，对应目录会挂载到 /var/lib/docker/volume/指定的名称下

原创 Docker安装Elasticsearch

1 下载镜像docker pull elasticsearch:7.6.22 创建并启动容器docker run -d --name elasticsearch001 -p 9200:9200 -e "discovery.type=single-node" -e "ES_JAVA_OPTS"="-Xms64m -Xmx512m" elasticsearch:7.6.2

原创 Docker push镜像到阿里云

1 登录阿里云登录阿里云 >> 进入控制台 >> 搜索容器镜像服务https://cr.console.aliyun.com/cn-hangzhou/instances创建个人实例（上图已创建）>> 进入个人实例创建命名空间使用命名空间创建仓库（一个仓库对应一个docker镜像）>> 提交时选择本地仓库 >> 在镜像仓库列表点击管理操作（操作指南）2 创建测试镜像以redis:3...

原创 Docker 安装Redis服务

1 在宿主机创建redis配置文件/redis/conf/redis.conf# Redis configuration file example.## Note that in order to read the configuration file, Redis must be# started with the file path as first argument:## ./redis-server /path/to/redis.conf # Note on u

原创 Docker 安装Mysql服务

1 拉取Mysql镜像5.6# 搜索镜像docker search mysql# 拉取镜像docker pull mysql:5.6# 列出镜像docker images2 根据镜像创建并运行容器# -p 宿主机端口:容器端口 将宿主机的端口映射到容器的端口# --name 运行容器的名称# -v 容器数据卷数据挂载 宿主机目录:容器目录# -e 初始化Mysql root密码# -d 后台运行# mysql:5.6 镜像名称:标签docker run -p

原创 Docker部署自定义tomcat

1 编写Dockerfile需要注意修改自己的jdk tomcat版本#基于基础镜像centosFROM centos#镜像维护者信息MAINTAINER tech<tech@126.com>#把宿主机当前上下文的c.txt拷贝到容器/usr/local/路径下COPY c.txt /usr/local/cincontainer.txt#把java与tomcat添加到容器中ADD jdk.tar.gz /usr/local/ADD tomcat.t

原创 Dockerfile的解析过程

Dockerfile是用来构建docker容器的，它是由一系列的指令和参数构成，通过build dockerfile可以得到镜像。Dockerfile的每一个保留字指令必须大写，后面至少跟一个参数，它的解析过程：首先拉取基础镜像，当执行一条指令的时候，基于基础镜像运行容器，对容器进行修改，然后commit新的镜像层；当再次执行指令的时候，基于新镜像运行容器，对容器进行修改commit新的镜像层，如此执行到所有命令执行结束。Dockerfile 镜像 容器好像是软件的三个阶段，dockerfile是软件的原材

原创 Docker 使用容器数据卷 实现宿主机与容器共享数据 容器数据持久化

容器数据卷：可以实现宿主机与容器进行共享、容器数据持久化，容器与容器共享数据。可以在run镜像时使用-v参数指定宿主机与容器进行挂载的目录，也可以使用dockerfile的volume指定容器中容器数据卷，使用dockerfile构建镜像后，通过该镜像创建容器，那么会在宿主机中自动生成一个与之挂载的目录。使用这个dockerfile构建的镜像在run时使用参数volumes-from指定另外一个该镜像的容器，可以实现容器与容器进行数据盘挂载。一 使用-v实现宿主机与容器数据共享使用centos镜像，

原创 Docker 使用容器数据卷实现宿主机与容器数据进行数据共享

查看容器内部信息：docker inspect 容器ID

原创 Docker根据容器提交镜像到本地

原创 Docker 常用命令

一 帮助命令1 查看docker版本docker version2 查看docker信息docker info3 查看帮助docker help二 镜像命令1 列出镜像列表各个选项说明:REPOSITORY：表示镜像的仓库源 TAG：镜像的标签 IMAGE ID：镜像ID CREATED：镜像创建时间 SIZE：镜像大小 同一仓库源可以有多个 TAG，代表这个仓库源的不同个版本，我们使用 REPOSITORY:.

原创 Docker使用阿里云镜像加速器

登录阿里云，搜索 镜像加速器 ，选择centos看到如下脚本sudo mkdir -p /etc/dockersudo tee /etc/docker/daemon.json <<-'EOF'{ "registry-mirrors": ["https://{每个人ID不一样}.mirror.aliyuncs.com"]}EOFsudo systemctl daemon-reloadsudo systemctl restart docker先创建一个文件/etc/doc.

转载 图解elasticsearch数据写入流程(包含对refresh、fsync、flush操作的理解)

elasticsearch写入数据时涉及到的核心概念讲解：segment file: 存储倒排索引的文件，每个segment本质上就是一个倒排索引，每秒都会生成一个segment文件，当文件过多时es会自动进行segment merge（合并文件），合并时会同时将已经标注删除的文档物理删除； commit point（重点理解）: 记录当前所有可用的segment，每个commit point都会维护一个.del文件（es删除数据本质是不属于物理删除），当es做删改操作时首先会在.del文件中声明某个

原创 Elasticsearch 文档到分片路由算法 查询文档到分片路由信息

根据文档ID计算HASH值，然后对主分片数量进行取模，得到对应的主分片，也可以使用指定参数，进行HASH值的计算，让特定的文档落在特定的分片上。# 添加测试文档PUT /nba/_doc/1{ "name": "哈登", "team_name": "⽕箭", "position": "得分后卫", "play_year": "10", "jerse_no": "13"}# 查询文档对应的分片GET /nba/_search_shards?routing=1{

转载 【分布式搜索引擎】Elasticsearch写入和读取数据过程

一、Elasticsearch写人数据的过程1）客户端选择一个node发送请求过去，这个node就是coordinating node（协调节点）2）coordinating node，对document进行路由，将请求转发给对应的node（有primary shard）3）实际的node上的primary shard处理请求，然后将数据同步到replica node4）coordinating node，如果发现primary node和所有replica node都搞定之后，就返回响应结果给客

原创 Elasticsearch 使用_cat命令查看帮助命令信息

get _cat使用_catkey查看帮助命令：=^.^=/_cat/allocation/_cat/shards/_cat/shards/{index}/_cat/master/_cat/nodes/_cat/tasks/_cat/indices/_cat/indices/{index}/_cat/segments/_cat/segments/{index}/_cat/count/_cat/count/{index}/_cat/recovery/_cat/re..

原创 Elasticsearch分片管理 主分片在不同的节点上迁移

ES是通过分片将一个索引数据分布在不同的数据节点上，分片分为主分片和副本分片，通过扩展主分片可以实现数据横向扩展的目标。副本分片是主分片的数据备份，主要是实现数据的高可用，增加副本分片数量在一定程度上提升数据读取的吞吐量。分片分布在哪个节点上是ES自己管理的，可以使用集群的reroute命令把索引的某个主分片从一个节点移动到另外一个节点，相同的主分片和副本分片不能分布在同一个节点上，索引的主分片数量一旦设定不允许修改，如果修改则需要重建索引，副本分片的数量运行动态修改。可以使用如下方式，将索引wba1的

原创 Elasticsearch根据输入内容给出自动建议和自动补全

自动建议：包括按词项给出建议和按语句给出建议，按词项给出建议包括三种类型：missing 当搜索内容不存在给出建议；popular 建议文档出现的频率比搜索内容高的词；always 总是给出建议。自动补全：需要提前在Mapping设置字段类型为completion，根据搜索的内容给出自动补全信息。1 按词项给出建议# 按每个词项给出查询建议 text会被分词，每个词项，当搜索内容不存在时给出建议POST /nba_latest/_search{ "suggest": { .

原创 Elasticsearch高亮查询

# 高亮显示匹配的内容POST /nba_latest/_search{ "query": { "match": { "displayNameEn": "james" } }, "highlight": { "fields": { "displayNameEn": {} } }}# 用指定的标签高亮显示匹配的内容 post /nba_latest/_search{ "query": { "match": {.

原创 Elasticsearch执行Refresh操作时间间隔配置

将文档写入ES时，文档会被先写入index buffer中，当执行refresh之后，文档会被写入segment，此时可以进行读取，默认执行refresh时间间隔是1s，可以通过参数修改或者关闭refresh操作。# 设置refresh间隔30sput star/_settings{ "index":{ "refresh_interval":"30s" }}# 关闭refresh 新写入文档无法通过_search读取put star/_settings{ "inde

转载 Elasticsearch的Refresh和Flush执行过程

整体流程：数据写入buffer缓冲和translog日志文件中。 当你写一条数据document的时候，一方面写入到mem buffer缓冲中，一方面同时写入到translog日志文件中。 buffer满了或者每隔1秒(可配)，refresh将mem buffer中的数据生成index segment文件并写入os cache，此时index segment可被打开以供search查询读取，这样文档就可以被搜索到了（注意，此时文档还没有写到磁盘上）；然后清空mem buffer供后续使用。可见，..

原创 Elasticsearch重建索引

当需要对索引的培训信息进行修改时，比如修改字段的类型，需要重建索引。重建索引的过程：1 给原索引创建一个别名，外界通过别名访问；2 创建新的索引，其结构复制原索引，在此基础上根据需求修改索引的配置信息；3 使用reindex api把旧索引的数据复制到新的索引中；4 更改外界访问索引时用的别名绑定的索引，由旧索引改为新索引；5 删除旧索引；以下是对索引nba进行重建索引的示例：# 给要重建的索引创建一个别名nba_latest，供外界访问post _aliases{

原创 Elasticsearch 别名

别名，相当于索引的软连接，一个索引可以由多个别名，一个别名也可以指向多个索引。# 查询nba索引的别名GET /nba/_alias# 查询所有索的别名GET /_alias# 给索引nba新增别名POST /_aliases{ "actions": [ { "add": { "index": "nba", "alias": "nba_v1.0" } } ]}# 给索引nba新增别名POST /nb

原创 Elasticsearch query_string单字符串多字段查询

# 查询英文姓名包括 james 或 curry的文档POST /nba/_search{ "query": { "query_string": { "default_field": "displayNameEn", "query": "james OR curry" } }, "size": 100}# 查询英文姓名包括james和harden的文档POST /nba/_search{ "query": { "query_st.

原创 Elasticsearch聚合分析

# 求Rockets队的平均年龄post nba/_search{ "query": { "term": { "teamNameEn": { "value": "Rockets" } } }, "aggs": { "avgAge": { "avg": { "field": "age" } } }, "size": 0}#求出打球时间不为空的球员数量POST /nb.

原创 Elasticsearch排序

# 按打球时间倒序排列post nba/_search{ "query": { "match": { "teamNameEn": "Rockets" } }, "sort": [ { "playYear": { "order": "desc" } } ]}# 按打球时间倒序，身高升序排列post nba/_search{ "query": { "match": { "t.

原创 Elasticsearch布尔查询

must 必须匹配，会进行相关性打分；filter 必须匹配，不会进行相关性打分；should 应该匹配，默认不做必须限制，可以使用minimum_should_match参数配置，should数组中的条件必须满足；# must必须匹配，会进行相关性打分POST /nba/_search{ "query": { "bool": { "must": [ { "match": { "displayName...

原创 Elasticsearch范围查询

#查询球龄2-10年POST nba/_search{ "query": { "range": { "playYear": { "gte": 2, "lte": 10 } } }}#查询生日在1999-2022年的球衣，format格式化参数中的日期POST nba/_search{ "query": { "range": { "birthDay": { "gte": "01/01/1999", "lte": "2022", "format": "dd/MM/yy.

原创 Elasticsearch基本查询

# 词项搜索 精准匹配适合keyword 数值 日期等类型POST nba/_search{ "query": { "term": { "jerseyNo": "23" } }, "from": 0, "size":3}#查找某个字段的值非空的文档 POST nba/_search{ "query": { "exists": { "field": "teamNameEn" } }}#前缀匹配POST nba/_search{ "query": { "pr.

原创 搜索的简单使用

1 初始化测试数据delete nbaput nba{"mappings": { "properties": { "name": { "type": "text" }, "team_name": { "type": "text" }, "position": { "type": "text" }, "play_year": { "type": "long" }, "jerse_no": { "type": "keyword" } } }}put nba

原创 ELK+Filebeat+Kafka构建Nginx日志分析平台

1 软件版本drwxr-xr-x. 11 tech root 205 4月 15 16:19 elasticsearch-7.1.0drwxr-xr-x. 6 tech root 224 4月 15 16:07 filebeat-7.1.0drwxr-xr-x. 7 root root 156 4月 15 16:09 kafka_2.13-2.7.0drwxr-xr-x. 13 tech root 246 4月 12 19:25 kibana-7.1.0-linux

原创 使用Linux 的nc命令导入服务的日志数据到Logstash

nc是一个linux命令，它可以作为client发起tcp连接请求，可以使用logstash的tcp插件，开启一个端口，使用tcp的方式采集数据，nc作为tcp客户端，把日志数据导入到logstash。配置并启动logstash，监听5514端口# Sample Logstash configuration for creating a simple# Beats -> Logstash -> Elasticsearch pipeline.input { tcp {

原创 ELK+Filebeat+Kafka+Zookeeper构建大数据日志分析平台

架构运行过程：在需要采集日志的服务上部署filebeat，filebeat将采集到的数据output到kafka，logstash在kafka上消费数据进行转换，output数据到elasticsearch，进行数据搜索和分析，kibana对elasticsearch中数据做可视化。...

原创 Filebeat 轻量级日志采集器

Filebeat是beats的一种产品，是一款轻量级的日志采集器，它比logstash消耗资源少很多，通常在需要日志采集的服务上部署一个filebeat进行日志数据采集。filebeat可以配置从日志文件、redis、tcp等多种数据源输入采集数据，输出到ogstash、elasticsearch、redis、kafka、文件等多种介质。filebeat采集的数据，以及一些其他参数，会封装成一个json对象结构进行output，可以配置添加或移出字段。下载filebeat:curl -o fil.

原创 使用MetricBeats采集Mysql服务的指标数据在Kibana上展示

首先激活Elasticsearch、Kibana和Mysql的Module指标对象；接下来把Kibana的仪表盘数据加载到啊Elasticsearch;最后启动Kibana；操作过程如下：a）metricbeats文件目录：[root@localhost metricbeat-7.1.0-linux-x86_64]# ll总用量 99116drwxr-x---. 2 root root 23 4月 7 09:58 data-rw-r--r--. 1 root .