- 博客(55)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Flink standalone 安装
服务地址 用户名 角色 192.168.0.201 master flink/master 192.168.0.202 slave1 flink/slave 192.168.0.203 slave2 flink/slave 准备三个Linux节点#三个节点 - 分别执行如下命令 - 修改hosts>$ vim /etc/hosts192.168.0.201 master192.168.0.201 master192.168.
2021-06-21 18:40:11
367
原创 ElasticSearch集群概念+操作
8.3 JavaAPI操作集群 java API想操作集群只需要更改配置，建立连接，增删改查均不变。 springboot项目 application.yml#standonlne 单机192.168.149.135elasticsearch: host: 127.0.0.1 port: 9200#cluster 集群配置#elasticsearch:# host1: 127.0.0.1# port1: 9201# host2: 127.0.0.1#
2020-11-14 08:11:23
299
原创 ElasticSearch 集群
一、ElasticSearch 集群1.1 搭建集群Elasticsearch如果做集群的话Master节点至少三台服务器或者三个Master实例加入相同集群，三个Master节点最多只能故障一台Master节点，如果故障两个Master节点，Elasticsearch将无法组成集群.会报错，Kibana也无法启动，因为Kibana无法获取集群中的节点信息。由于，我们使用只有一台虚拟机，所以我们在虚拟机中安装三个ES实例，搭建伪集群，而ES启动比较耗内存，所以先设置虚拟机的内存3G和CPU个数4
2020-11-13 22:25:39
523
原创 ElasticSearch7.9.3基础
ElasticSearch-day01今日目标 创建 修改 和 删除 数据库 表 字段（指定类型）可以在SQLyog中完成操作 对表中数据进行 增删改查 操作的 SQL 关键字 + 结构，加强练习，（企业就玩这些） 所有约束要知道其作用，记不住SQL 可以，但是要在sqlyog中完成约束的条件。（多加练习） 初识 ElasticSearch 从诗词大会到图解 ElasticSearch 原理解析 ElasticSearch是一个搜索服务器，百度，京东，..
2020-11-11 18:55:30
1844
原创 Redis高级-主从复制
2. 主从复制redis server可以部署在多台机器上，我们选择其中一台作为主节点，其他未从节点，通过redis.conf 配置，可以实现从节点 同步 主节点数据，专业名词：“主从复制”。2.1 主从复制简介 （概念）高可用⚫ 高并发 : 描述流量大⚫ 高性能 : 描述系统性能好⚫ 高可用一般企业要求软件服务至少能够达到四个9（99.99%），就可以称之为高可用, 计算如下 :#年度可用性：90%折合计算，365天x90% =328.5天。全年故障36.5天，取最.
2020-11-09 15:54:42
145
原创 Java实现Redis哨兵
Java版Redis哨兵前言：本文将采用文字+代码的方式，讲解redis版哨兵的实现，所有代码都将写在一个类中，每个属性和方法都会结合文字加以说明。1. 哨兵（Sentinel）主要功能如下：1、不时的监控redis节点是否良好运行，如果节点不可达就会对节点进行下线标识2、如果被标识的是主节点，哨兵就会选举一个redis从（slave）节点成为新的主节点继续对外提供读写服务， 进而实现自动故障转移，保证系统的高可用。3、在redis主节点 和 从节点 进行切换后，主节点配置文件maste
2020-07-06 20:08:53
1458
原创 kafka 应用详解
个人备忘概述： 在流式计算中，kafka一般用来缓存数据，Strom通过消费kafka 的数据进行计算。1) Apache Kafka 是一个开源消息系统，由Scala写成。是由Apache 软件基金会开发的一个开源消息系统项目。2) kafka 最初是由Linkedln开发，并于2011年处开源。2012年10月从Apache lncubator 毕业。该项目的...
2019-04-11 16:08:03
379
原创 Docker 搭建 nginx 过程。
docker pull nginxmkdir -p /agui/docker-nginx/htmlchmod 777 /agui/docker-nginx/htmlmkdir -p /agui/docker-nginx/conf.dmkdir -p /agui/docker-nginx/confmkdir -p /agui/docker-nginx/logchmod 777 /ag...
2019-03-21 16:43:14
229
原创 DevOps ：Jenkins pipeline + sonarQube 完成静态检测 + junit 覆盖率报告。
项目基础：1，maven3.3.9 + java 1.82，jenkins 2.138.23，sonarQube6.7.5 + 汉化前言：jenkins maven java1.8 环境安装过程不在描述，我们采用jenkins pipeline 来实现标题的功能，希望小编踩过的坑对后来人能够提供帮助~good luck.参考博文：SonarQube 的安装...
2019-03-18 11:15:03
8431
3
原创 k8s环境配置-以及Dockerfile
Docker 安装：https://mp.csdn.net/postedit/82996925 harbor 改 harbor.cfg 中的hostname password ，需要安装 python pip , pip 下载 docker-compose 后，修改docker-compose.yml 中的 register 中加一个端口 5000. 然后运行 $ ./p...
2018-11-27 18:48:09
2184
原创 阿里云 Centos7 轻量服务器 安装 K8s 集群---采坑
前言：集百家之言......环境规划：操作系统：centos7.3Kubernetes :1.10.7Docker: 18.06.0-ceEtcd: 3.0CPU 1核+ 2G内存+master192.168.1.6 kube-apiserver kube-controller-manager kube-scheduler flannel etcdnode01192....
2018-11-01 17:58:16
3101
1
转载 Ubantu16.04 64bit 搭建 docker + k8s 实战记录（个人备忘）
之前在centos7 搭建了 docker1.13 和 k8s 1.5.2 ，最后，k8s 的 kube-dns 没有创建成功，flannel 网络没有创建成功。今天这个 ubantu 都成了。 harbor 的安装请看我的其他博文。操作地址：比较好的 ubantu 搭建k8s集群博文 注意两点： 一 ：docker harbor 私服仓库，需要在每个 k8s工作...
2018-10-30 14:59:28
870
原创 1024 - 记录下 cents7 搭建 docker + k8s 过程中用到的命令
替换hub 地址命令sed -i 's/{{HUB}}/www.znf4.top:5000/g' * 查看日志journalctl -f#k8s apiServer alias kubectl=" kubectl -s http://www.znf4.top:8080"#查监听端口netstat -ntlp[root@k8s-master ~]# systemctl en...
2018-10-24 16:54:02
371
转载 阿里云Centos7 安装 k8s 集群（使用过程中的坑）
个人备忘下面这个地址能满足大部分需求 ：无坑版本 k8s centos 安装博文这个k8s集群部署讲解的很细，还有别的博文做扩展上文：5.2 的配置三台服务器都要修改 ，5.3 的命令 [root@k8s-master ~]# etcdctl mk /atomic.io/network/config '{ "Network": "10.0.0.0/16" }' 只在主节点执行就行。...
2018-10-11 14:11:27
2361
原创 阿里云Centos7（ubantu16.04） 基于docker 安装 Harbor
前言：试了试网上的案例，还是有坑，决定自己记录一下， 环境，阿里云轻量服务器，centos7.步骤一：安装docker[root@localhost]# yum install dockeryum添加源[ root@localhost]# yum -y install epel-release安装python-pip [root@localhost]# yum ...
2018-10-10 15:15:39
498
原创 基于Hadoop搭建Hbase集群
个人备忘环境：jdk1.8 + hadoop-2.8.3 + zookeeper-3.4.6 + hbase-1.2.6Hbase 下载 wget http://mirror.bit.edu.cn/apache/hbase/stable/hbase-1.2.6-bin.tar.gz有必要就配置下环境变量[root@nn hbase]# vim /etc/profile[root@nn hbase
2018-05-09 23:49:06
443
原创 阿里云centos7 四台部署hadoop集群
前言 ：Hadoop 发展前景 ： （1）分布式文件系统 HDFS (GFS) 。 （2）数据的计算 ： 分布式计算。1 MapReduce , 搜索排名2 大任务 拆分成小任务3 Map 阶段 进行任务拆分，Reduce 阶段进行数据计算汇总 。（3）bigTable — Hbase (nosql), 行键 、列族。启动 ：start-all.sh H...
2018-05-07 11:49:49
1912
3
转载 win10 下载安装免费版 Xshell , Xsftp
win10 下载安装免费版 Xshell , Xsftp 按照下面连接提示的操作，博主测试过。好用！转载其他博客
2018-04-08 12:59:16
8736
原创 搜索引擎--Solr 集群部署
莫架构经验： （1）4核8G 的机器，可以支持1000W条数据。（2）注意分片，不是越多越好，一个分片控制在100G的数据，大于100G，考虑两个分片。（3）副本（存储数据的组件），有几台机器就创建几个副本。（4）提交一定要批量提交，单个提交不可采取。重点内容需要三个zookeeper节点 四个solr节点。使用伪分布式实现solr集群。需要三个zookeeper实例，4个tomc...
2018-03-17 19:51:25
351
原创 安装搜索引擎--Solr 单机部署和api 简单使用
简介 ：Solr 是Apache下的一个顶级开源项目，采用Java开发，它是基于Lucene的全文搜索服务器。Solr提供了比Lucene更为丰富的查询语言，同时实现了可配置、可扩展，并对索引、搜索性能进行了优化。 Solr是一个全文检索服务器，只需要进行配置就可以实现全文检索服务。Solr的版本：4.10.3单机安装：需要把solr服务器安装到linux环境：第一步：安...
2018-03-16 18:16:38
340
原创 Redis-Cluster 集群搭建（三主三从）
搭建Ruby yum install rubyyum install rubygems安装redis 和 gcc,tcl [root@izwz92bdx6sqk095sd98lez src]# yum install -y gcc-c++[root@izwz92bdx6sqk095sd98lez src]# wget http://download.redis.io/re...
2018-03-16 16:07:54
2441
原创 Zookeeper 实现分布式配置中心
个人备忘前言： zookeeper 五个功能点 1. master的管理，如amq 集群，kafka集群。 2. 分布式锁（悲观、乐观） 3. 分布式配置中心。 4. 集群的监管。 5. 发布与订阅（队列）。以上五点，都是zookeeper的特性决定的，我们知道zookeeper有两类节点： 1. 临时节点。（可顺序） 2. 永久节点。（可顺序）再加上zookeeper提供了，对节点
2018-03-13 16:47:36
3669
原创 Zookeeper 系统学习二--Base理论、2P、3P、Paxos 算法、ZAB协议
ZAB 协议 其他理论原谅我没耐心看下去~后续补充，祝 心情愉快~后续会写接手的电商+金融类两个分布式项目的架构和设计思想。以及各个环节的优化。
2018-03-12 17:56:27
543
原创 Zookeeper 系统学习一
个人备忘调重要的记录博客。分布式协作中难点保证节点的高可用（节点故障），Ps: zk 有四种节点，自己普及。数据的一致性。通讯异常。网络分区。以上都可以看出来，在一个分布式系统中，zk 的作用就是做协调调度，简单讲，他是用来分布式系统中沟通的桥梁，这也正是zk 的优点特性所在。基础普及请自行学习。Zookeeper 简介 分布式协作，zookeeper 是google ...
2018-03-11 20:17:18
400
原创 线程池
个人备忘前言 ：在java中我们开辟一个线程要么继承 Thread 类，要么 实现Runable 接口，其实我们自己的new 出来的这个子类或者实现他们不是线程，他们只是一个普通的java 对象是会被GC 回收的。只不过我们在执行start() 之后，虚拟机会帮我们申请开辟一个新的线程，该线程通过我们告知的子类对象，去回调我们重写的run() 。所以我们的线程池不是在管理我们的java对象。而是管理
2018-03-10 00:30:42
367
原创 JVM 常用参数设置
堆设置 ：1.-Xms:初始堆大小2.-Xmx:最大堆大小3.-Xss:线程栈大小4.-XX:NewSize=n:设置年轻代大小5.-XX:NewRatio=n:设置年轻代和年老代的比值。如：3，表示年轻代:老年代比值为1：3，年轻代占整总和的1/4.6.-XX:SurvivorRatio=n:年轻代中的Eden区与两个Survivor区的比值。注意Survivor区有两个。如：3，表示E
2018-03-08 10:16:07
281
原创 Java 调优工具---jps , jmap , jstack , jstat , jinfo , jhat .
个人备忘JPS java process status 说明：功能和ps 命令类似，列出正在运行的虚拟机进程，可以显示执行主类名称以及LVMID。本地虚拟机唯一id lvmid local virtual machine id-m 运行时传入主类的参数。-v 虚拟机参数。-l 运行的主类全面 或者 jar 包名称。Jstat 说明：监视虚拟机各种运行状态信息，可以显示本地或远程虚拟机
2018-03-05 16:08:09
257
原创 Jenkins + maven + git 实现持续集成
前言小编最近开发的项目 采用的是 ： 前后台分离，后台只需要提供rest 风格 返回具有规则的json 数据即可，考虑到开发人员不能面对面的碰接口，想到用 jenkins 去 搭建一个 可 热部署的 架构，这样前台只需要接收到通知 外网对接口即可，后台这块也只需要通过简单的命令去部署，对开发带来了便捷。 Jenkins其实就是一个工具，这个工具的作用就是调用各种其他的工具来达成你的目的。 J
2017-11-21 11:07:04
741
原创 API 网关设计 （Rest 风格）
个人学习 加备忘 。什么样的接口，是让人头痛？ 1. 没有接口文档 。 2. 出入参数风格不统一 。 3. 异常提示不友好。 4. 模型结构混乱，接口粗暴升级 。 5. 稳定性差，还找不到人。如果你是一名架构师，在带领团队开发大量的API接口，如何在保证项目进度的情况下又保证质量呢？首先把组员召集起来，宣讲项目对各成员的意义，从心态上重视该项目。制定接口开发规范，不允许有不清晰的接
2017-11-19 21:25:58
6070
2
原创 SpringMvc 项目转 SringBoot
个人实践 和 备忘项目结构 ：分布式项目， 利用maven构建了多模块， 开发还是 ssm , 项目中 有mq 和 redis , memcached。都是通过 配置文件加载，开头是web.xml 引入spring-x.xml ， spring-x.xml 再去引入 其他配置文件，znf4-common-config 用来配置 *.properties 文件，mq ，jdbc , redis 系
2017-11-16 12:34:19
1217
原创 Maven 项目构建工具
个人备忘一. maven简介 maven是一个强大的项目构建和管理工具，利用java进行开发，属于Apache下的开源项目，现在的最新版本为Apache Maven 3.3.9，官网为 http://maven.apache.org。maven是跨平台的，并且功能很强大，能够帮助使用者完成从清理，编译，测试，生成报告，打包和部署的一系列操作过程。maven标准化了项目的构建过程，有利于团队之间的协
2017-11-14 18:02:45
886
翻译 高并发秒杀系统技术架 构解析和实践
学来的，个人备忘什么是秒杀？难点在哪？ 秒杀系统难点（what） 高并发、负载压力大 竞争资源是有限的 避免对其他业务的影响 提防“黄牛党” 秒杀系统应用场景（why） 商品抢购 群红包 优惠卷领取 抢火车票 在线预约技术维度对秒杀系统的分析 —— 架构原则技术维度对秒杀系统的分析 —— 优化技术
2017-11-10 13:55:33
554
1
翻译 Netty 解决粘包拆包问题
个人备忘bio 和 nio 的对比简介：BIO：同步阻塞式IO，服务器实现模式为一个连接一个线程，即客户端有连接请求时服务器端就需要启动一个线程进行处理，如果这个连接不做任何事情会造成不必要的线程开销，当然可以通过线程池机制改善。 NIO：同步非阻塞式IO，服务器实现模式为一个请求一个线程，即客户端发送的连接请求都会注册到多路复用器上，多路复用器轮询到连接有I/O请求时才启动一个线程进行处理。
2017-11-10 11:44:02
684
原创 分布式管理利器 Git 简介
集中式 svn分布式 git两者比较GIT是分布式的，SVN不是：这是GIT和其它非分布式的版本控制系统，例如SVN，CVS等，最核心的区别。GIT把内容按元数据方式存储，而SVN是按文件：所有的资源控制系统都是把文件的元信息隐藏在一个类似.svn,.cvs等的文件夹里。GIT分支和SVN的分支不同：分支在SVN中一点不特别，就是版本库中的另外的一个目录。GIT没有一个全局的版本号，而S
2017-11-01 15:09:59
433
原创 服务器推送技术
个人备忘拓展 ： 七种服务器推送技术（1）页面异步轮询//java代码package com.dongnaoedu.servlet3;/** * 获取随机字符串 * 创建日期：2017/09/21 * 创建时间: 22:50 */public class Const { public static final String[] NEWS = { "震惊！美
2017-10-27 14:04:15
1085
原创 Redis 客户端源码分析+实现
前言 小编也是从别处学到的，在这里做备忘，也会不断的补充，主要内容：普通jedis , 分布式代理，java 实现 redis 哨兵模式。协议分析 ：# 分析redis RESP通信协议的方法：> 1 官方文档> 2 抓包分析> 3 mock redis服务> 4 aof日志分析# 基于TCP的应用层协议 RESP (REdis Serialization Protocol)请求响应模型(pi
2017-10-13 17:41:14
1305
原创 Centos 7 防火墙配置
基本配置操作系统环境：CentOS Linux release 7.0.1406(Core) 64位CentOS 7.0默认使用的是firewall作为防火墙，这里改为iptables防火墙步骤。1、关闭firewall：systemctl stop firewalld.service #停止firewallsystemctl disable firewalld.service #禁止fire
2017-10-13 13:59:45
537
原创 Nginx 运维
前言 个人备忘正向代理个人理解，代理服务器存在客户端。1.客户端访问不了服务器。2.代理服务器可以访问业务服务器。3.我们通过访问 “代理服务器”访问业务服务器。总结 ：代理服务器跟客户端在同一网络区域。反向代理个人理解，代理服务器在服务端。1.客户端通过访问“代理服务器”。2.代理服务器分析客户的请求，映射到不同业务服务器上。总结 ：代理服务器 与 业务服务器处在统一网络区域。Ngin
2017-10-12 16:35:59
1671
原创 分布式事务--补偿模式+Mq/TCC
个人备忘个人理解也是阅读别人博文，自己整理了一下，希望对你们有帮助。补偿模式MQ（事务消息） ：举个例子，Bob向Smith转账，那我们到底是先发送消息，还是先执行扣款操作？好像都可能会出问题。如果先发消息，扣款操作失败，那么Smith的账户里面会多出一笔钱。反过来，如果先执行扣款操作，后发送消息，那有可能扣款成功了但是消息没发出去，Smith收不到钱。除了上面介绍的通过异常捕获和回滚的方式外，还有
2017-10-10 17:46:22
11880
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人