- 博客(107)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 RabbitMQ和kafka的区别
一、RabbitMQ架构_与_kafka架构（RabbitMQ原理/kafka原理）RabbitMQ遵循AMQP协议,RabbitMQ的broker由Exchange,Binding,queue组成,其中exchange和binding组成了消息的路由键；客户端Producer通过连接channel和server进行通信,Consumer从queue获取消息进行消费（长连接，queue有消息...
2019-12-05 17:36:17
728
1
原创 zookeeper工作原理、核心机制
一、ZooKeeper介绍ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务,它是集群的管理者，监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作.二、Zookeeper选主流程(basic paxos)当leader崩溃或者leader失去大多数的follower时这时候zk进入恢复模式,恢复模式需要重新选举出一个新的leader,让所有的Server都...
2019-12-05 17:08:03
257
原创 Centos7.4 安装Redis3.2.4（单点）
一、普通用户zhaosj安装Redis3.2.41、创建安装目录[root@bigdata redis]# cd /home/zhaosj/redis2、上传并解压安装包[root@bigdata redis]# tar -zxvf redis-3.2.4.tar.gz3、执行make命令， 对Redis解压后文件进行编译4、切换到src目录，进行编译安装使用s...
2019-12-05 11:26:22
249
原创 Docker|docker安装mysql数据库
一、docker 安装数据库使用命令 docker ps 如有以下输出,则是已安装docker二、安装Mysql的命令docker run -p 33306:3306 --name mysql-docker -e MYSQL_ROOT_PASSWORD=javastudy -d mysql命令参数解释:-p 端口绑定, 绑定主机的33306端口和docker容器的3306...
2019-12-04 11:27:18
171
原创 Docker_||_docker安装redis
一、docker安装redis配置文件主要修改两个地方,一个是密码, 一个是本机绑定修改完的配置文件如下:注意以下位置：# 69行 ,取消绑定本机,可以由别的机器连接# bind 127.0.0.1#88行 , 设置为no 可以由别的机器连接protected-mode no#507行设置密码requirepass javastudy二、执行命令安装docker...
2019-12-04 11:21:29
123
原创 Citrix Xen Server 虚拟机迁移至 VMware 虚拟化平
一、前言随着虚拟化技术的快速发展，各厂商虚拟化产品也是百花齐放，企业或政府机构在早期建设中会存在多个厂商虚拟化产品，随着虚拟化技术越来越成熟，带来的是企业私有云、政务云统一规划建设，进而对现有虚拟化产品统一整合、改造，已经成为私有云建设中重要环节。在虚拟化整合过程中，经常会涉及以下整合：1、物理机迁移至VMware虚拟化平台；2、VMware ESXi 低版本虚拟机迁移至VMwar...
2019-12-04 11:07:31
2054
原创 shell_使用结构化命令（一）
一、使用if-then语句语法：if commandthen commandsfi++++++++++++++++++++++列子：#！/bin/bashif pwdthen echo "it worked!"fi这个脚本在if行采用了pwd命令。如果命令执行成功结束,echo语句就会显示该文本字符串。二、if-then-e...
2019-12-03 17:35:11
140
原创 Linux操作系统__VIM编辑器
一、vim编辑器有两种操作模式1、普通模式2、插入模式在普通模式中，可以用方向键在文本区域移动光标h===向左箭头j===向下箭头k===向上箭头l===向左箭头+++++++++++++++++++++++++++++++++++键盘----PageDown（或Ctrl+F）：下翻页键盘----PageUp（或Ctrl+B）：上翻页G：移到文章的最后一...
2019-12-03 11:12:31
97
原创 Linux-权限 命令
一、Linux环境变量的使用环境变量：全局变量、局部变量二、查看全局变量[zhaosj@bigdata mysql-5.6.31]$ env[zhaosj@bigdata mysql-5.6.31]$ printenv三、用户设置命令useradd【添加用户】-c：给新用户添加备注-d：为主目录指定一个命令-e：用YYYY-MM-DD格式指定一个账户过期的日...
2019-12-02 20:55:05
259
原创 Linux-bash shell命令
一、探查进程当程序运行在系统上时,我们称之为进程（process）想要监测这些进程，需要用熟悉的ps命令二、结束进程kill命令三、磁盘查看命令使用df 命令，查看设备上还有多少磁盘空间-h：按用户易读的格式输出大小使用du命令，发现那个磁盘的存储空间快没有了-c：显示所有已列出文件的大小。-h：按用户易读的格式输出大小-s：显示每个输出参数的总计...
2019-12-02 20:22:50
126
原创 数据清洗_ETL工具（Kettle）
一、六种 主流ETL 工具的比较(DataPipeline，Kettle，Talend，Informatica，Datax ，Oracle Goldengate)二、Kettle下载和安装Kettle简介：Kettle 是 PDI 以前的名称，PDI 的全称是Pentaho Data Integeration，Kettle 本意是水壶的意思，表达了数据流的含义。K...
2019-12-02 17:23:12
3723
原创 Linux_浏览文件系统
一、常见Linux目录名称/：虚拟目录的根目录.通常不会再这里存储文件/bin：二进制目录,存放许多用户级的GNU工具/boot：启动目录，存放启动文件/dev：设备目录,Linux在这里创建设备节点/etc：系统配置文件目录/home：主目录.linux在这里创建用户目录/lib：库目录,存放系统和应用程序的库文件/media：媒体目录,可移动媒体设备的常用挂载点...
2019-12-02 11:37:02
215
原创 企业级监控软件（Nagios）
一、监控系统需要监控那些数据1、系统本地资源：负载（uptime）、CPU（top、sar）、磁盘（df -hi）、内存（free）、I/O（iostat）、Raid内磁盘故障、CPU温度、passwd文件的变化、本地所有文件改动。2、网络服务：端口、Web（URL）、DB、ping包、进程、IDC带宽网络流量。3、其它设备：路由器、交换机（端口、光衰、日志）、打印机、Windows等...
2019-11-30 17:17:46
367
原创 企业级Memcached服务应用实战（一）
一、Memcached介绍memcached是一个开源、支持高性能、高并发的分布式内存缓存系统。mem：就是内存的意思。cache：就是缓存的意思。d：是daemon的意思，代表是服务器端守护进程模式服务。memcached服务分为服务器端和客户端两部分。其中，服务器端软件名字形如：memcached-1.4.24.tar.gz.客户端软件的名字形如：memcache-2.25...
2019-11-30 16:06:53
158
原创 Keepalived高可用服务单实例（双实例_配置）
一、配置Keepalived实现单实例单IP自动漂移接管1、配置Keepalived的主服务器lb01 Master的keepalived.conf配置文件,操作步骤如下：! Configuration File for keepalivedglobal_defs { notification_email{ [email protected] } n...
2019-11-29 10:16:01
442
原创 Keepalived高可用集群应用实战（一/安装部署及配置）
一、Keepalived介绍Keepalived软件主要是通过VRRP协议实现高可用功能.VRRP是 Virtual Router Redundanacy Protocol（虚拟路由器冗余协议）的缩写，VRRP出现的目的就是为了解决静态路由单点故障问题的，他能保证当个别节点宕机时，整个网络可以不间断的运行。二、Keepalived服务的三个重要功能1、管理LVS负载均衡软件2、实现...
2019-11-29 08:31:58
270
原创 Nginx_根据URL中的目录地址实现代理转发（动静态分离）
一、根据URL中的目录地址实现代理转发（动静态分离）需求：1、当用户请求www.etiantian.org/upload/xx地址时,实现由upload上传服务器池处理请求。2、当用户请求www.etiantian.org/static/xx地址时,实现由静态服务器池处理请求。3、除此之外，对于其他访问请求，全都默认的动态服务器池处理请求。了解了需求后，就可以进行upstrea...
2019-11-29 01:25:36
1619
原创 Nginx反向代理与负载均衡应用实战（三）
一、Nginx负载均衡核心组件介绍1、Nginx upstream 模块介绍Nginx的负载均衡功能依赖于ngx_http_upstream_module模块，所支持的代理方式包括proxy_pass、fastcgi_pass、memcached_pass等。2、upstream模块语法upstream模块的语法相当简单。基本的upstream配置：upstream www...
2019-11-29 00:49:47
268
原创 Nginx反向代理与负载均衡应用实战（二）
一、快速实践Nginx负载均衡环境准备所有用户的请求统一发送到Nginx负载均衡器,然后负载均衡器根据调度算法来请求后面两个web(tomcat)二、软件及硬件准备1、准备4台VM虚拟机（有物理机服务器更佳），两台做负载均衡，两台做RS。2、软件准备：linux--操作系统 Nginx软件包3、安装nginx软件三、配置用于测试的web服务Nginx we...
2019-11-28 22:16:14
169
原创 Nginx反向代理与负载均衡应用实战（一）
一、为什么要使用集群1、高性能（Performance）2、价格有效性（Cost-effectiveness）3、可伸缩性（Scalability）4、高可用性（Availability）5、透明性（Transparency）6、可管理性（Manageability）7、可编程性（Programmability）二、集群分类1、计算机集群架构按功能和结构可以分成...
2019-11-28 21:23:15
116
原创 Hadoop_HDFS：跨集群数据迁移
一、迁移之前需要考虑的事情1、迁移总数据量有多少？2、新老集群之间的带宽有多少？能否全部用完？为了减少对线上其他业务的影响最多可使用多少带宽？3、如何限制迁移过程中使用的带宽？4、迁移过程中，哪些文件可能发生删除，新增数据的情况？哪些目录可能会发生新增文件的情况？5、迁移后的数据一致性校验怎么做？6、迁移后的HDFS文件权限如何跟老集群保持一致？二、迁移方案1、迁移数据量评估...
2019-11-28 16:45:11
405
原创 Redis数据迁移（save方式）
redis的服务器即将到期，暂时没有续费的打算，所以需要对redis的数据进行迁移通过Redis-Dump的方式、migrate的方式，也可以通过业务代码的方式进行redis数据的迁移。本文主要介绍通过redis提供的save方法进行数据迁移。操作步骤一. 原redis服务器登录redis服务器，然后通过redis的客户端进行连接redis，命令如下：[root@izm5...
2019-11-28 16:09:46
311
原创 企业级NFS网络文件共享服务
一、NFS介绍NFS是Network File System的缩写，中文意思是网络文件系统。他的主要功能是通过网络（一般是局域网）让不同的主机系统之间可以共享文件或目录。NFS客户端可以通过挂载（mount）的方式将NFS服务器端共享的数据目录挂载到NFS客户端本地系统中（就是某一个挂载点下）。二、NFS安装服务端配置以及客户端配置[root@bigdata etc]# c...
2019-11-28 14:03:13
159
原创 MySql数据库企业级应用实战（mysql主从复制）
一、MySql主从复制介绍mysql的主从复制并不是数据库磁盘上的文件直接拷贝,而是通过逻辑的binlog日志复制到要同步的服务器本地，然后由本地的线程读取日志里面的SQL语句，重新应用到MySql数据库中。【mysql数据库支持单向、多向、链式级联、环状等不同业务场景的复制。】复制过程，一台服务器充当主服务器（master）,接受来自用户的内容更新，而一个或多个其它服务器充当从服务器...
2019-11-28 07:08:59
255
原创 企业级Nginx Web服务优化（限制网站来源IP访问）
使用ngx_http_access_module限制网站来源IP访问一、禁止某目录让外界访问,但允许某IP访问改目录,且支持PHP解析限制指定IP或IP段访问location / { deny 192.168.1.1; allow 192.168.1.0/24; allow 10.1.1.1.0/16;...
2019-11-27 17:55:56
451
原创 Nginx站点目录及文件URL访问控制
一、根据扩展名限制程序和文件访问利用Nginx配置禁止访问上传资源目录下的PHP、Shell、Perl、Python程序文件，这样用户即是上传了木马文件也没有办法执行,从而加强了网站安全。<1>、配置Nginx，禁止解析指定目录下的指定程序worker_processes 1;events { worker_connections 1024;}http {...
2019-11-27 15:40:32
641
原创 企业级NginxWeb服务优化（进程优化）
1、优化Nginx进程对应的配置worker_processes 1; ##<==指定了Nginx要开启的进程数,结尾的数字就是进程个数Nginx有Master进程和Worker进程之分,Master为管理进程,真正接待“顾客”的是worker进程。2、优化Nginx进程个数的策略worker进程数最开始时设置可以等于CPU的核数查看CPU核数:[root@...
2019-11-27 14:39:57
136
原创 企业级Nginx Web服务优化（版本显示优化设置）
一、Nginx基本安全优化1.调整隐藏Nginx软件版本号信息[root@bigdata logs]# curl -I 192.168.109.128编辑nginx.conf配置文件增加参数,实现隐藏Nginx版本号信息在Nginx配置文件nginx.conf中的http标签段内部加入“server_tokens off;”参数此参数放置在http标签内部,作用是控制htt...
2019-11-27 11:00:01
227
1
原创 Nginx面试重点
Nginx的特性优点1、可以高并发连接官方测试Nginx能够支撑5万并发连接，实际生产环境中可以支撑2~4万并发连接数。原因，主要是Nginx使用了最新的epoll（Linux2.6内核）和kqueue（freeBSD）网路I/O模型，而Apache使用的是传统的Select模型，其比较稳定的Prefork模式为多进程模式，需要经常派生子进程，所以消耗的CPU等服务器资源，要比Ngin...
2019-11-27 10:17:54
167
原创 linux shell 指令 【-d, -f, -e】等判断表达式
一、文件比较运算符1. e filename 如果 filename存在，则为真 如： [ -e /var/log/syslog ]2. -d filename 如果 filename为目录，则为真 如： [ -d /tmp/mydir ]3. -f filename 如果 filename为常规文件，则为真 如： [ -f /usr/bin/grep ]4. -L filenam...
2019-11-26 20:42:17
463
原创 Nginx Location作用
一、Nginx location作用location指令的作用是根据用户请求的URL来执行不同的作用.location语法：location [ = | ~ | ~* | ^~ ] url {......}location [ =|~|~*|^~|@ ] url ...
2019-11-26 20:40:36
1663
原创 Nginx访问日志轮询切割
Nginx默认情况下会把日志生成到一个指定的访问日志文件access.log里面,时间长了会导致日志文件很大，不利于日志文件的分析和处理。因此要对Nginx日志文件按天或小时进行切割。具体切割脚本：cut_nginx_logs.sh[root@bigdata logs]# cat cut_nginx_logs.sh#!/bin/sh#定义时间格式 年-月-天Dateformat...
2019-11-26 17:46:59
207
原创 Nginx访问日志（access_log）
一、Nginx访问日志（access_log）介绍Nginx会把每个用户访问网站的日志信息记录到指定的日志文件中,供网站用户分析。此功能由ngx_http_log_module模块负责.参数log_format：用来定义记录日志的格式（可以定义多种日志格式,取不同名字即可）access_log：用来指定日志文件的路径及使用何种日志格式记录日志Nginx日志格式中默认的参数配...
2019-11-26 16:21:43
515
原创 Nginx虚拟主机配置实战
一、虚拟主机的概念和类型介绍1.虚拟主机概念虚拟主机在web服务里就是一个独立的网站站点,这个站点对应独立的域名（也可能是IP或端口）,具有独立的程序及资源目录,可以独立的对外提供服务供用户访问。这个独立的站点在配置里是由一定格式的标签段标记的,对于Apache软件来说,一个虚拟主机的标签段通常被包含在<VirtualHost></VirtualHost>内,而...
2019-11-26 15:28:20
206
原创 CentOS7.4 删除virbr0虚拟网卡
在CentOS 7的安装过程中如果有选择相关虚拟化的的服务安装系统后，启动网卡时会发现有一个以网桥连接的私网地址的virbr0网卡，这个是因为在虚拟化中有使用到libvirtd服务生成的，如果不需要可以关闭后去掉：一、查看IP及网桥设备[root@Node1 ~]# ip -4 addr //查看IP地址1: lo: <LOOPBACK,UP,LOWER_UP> mt...
2019-11-25 10:12:46
681
原创 虚拟化编排工具_Kubernetes（架构）
Kubernetes设计架构Kubernetes节点服务分为运行在工作节点上的服务和组成集群级别控制板的服务Kubernetes节点有运行应用容器必备的服务，而这些都是受Master的控制每个节点上都要运行Docker。Docker来负责所有具体的映像下载和容器运行Kubernetes主要由以下几个核心组件组成：etcd保存了整个集群的状态； apiserver提供了...
2019-11-24 21:07:23
186
原创 虚拟化编排工具_Kubernetes（概述）
Kubernetes简介Kubernetes是一个开源的，用于管理云平台中多个主机上的容器化的应用，Kubernetes的目标是让部署容器化的应用简单并且高效（powerful）,Kubernetes提供了应用部署，规划，更新，维护的一种机制。Kubernetes核心特点Kubernetes一个核心的特点就是能够自主的管理容器来保证云平台中的容器按照用户的期望状态运行着（比如用户想让a...
2019-11-24 20:51:44
165
原创 Redis部署模式
standaloan(单机模式)standaloan 是redis单机模式，及所有服务连接一台redis服务，该模式不适用生产。如果发生宕机，内存爆炸，就可能导致所有连接改redis的服务发生缓存失效引起雪崩。ssentinel（哨兵模式）redis-Sentinel(哨兵模式)是Redis官方推荐的高可用性(HA)解决方案，当用Redis做Master-slave的高可用方案时，假如...
2019-11-24 20:34:13
170
原创 Hadoop_之_HDFS常用命令（一）
HDFS文件操作常用命令（1）列出HDFS下的文件hadoop dfs -ls <目录>（2）上传文件将Linux系统本地文件上传到HDFS中hadoop dfs -put <本地文件><HDFS文件>（3）下载文件将HDFS中的文件下载到Linux系统本地目录hadoop dfs -get&l...
2019-11-24 20:28:31
184
原创 Docker容器服务_部署应用（三）
一、部署一个Tomcat容器并进行访问【-运行一个 web 应用-】前面我们运行的容器并没有一些什么特别的用处。接下来让我们尝试使用 docker 构建一个 web 应用程序。我们将在docker容器中运行一个 tomcat 应用来运行一个web应用。看 Docker 支持哪些版本的 Tomcat[root@bigdata ~]# docker search tomcat...
2019-11-24 15:14:38
277
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人