安装配置
关注
分享
扫一扫
文章平均质量分 93
安装配置
阿啄debugIT
0、精通java，及常用设计模式，熟练编写shell脚本，掌握python、scala、golang的编写;
1、精通Spring Cloud等微服务架构，掌握SpringBoot、batis等后端技术，kafka、redis、es等中间件的整合开发；
2、熟悉掌握mysql、pg等关系数据的原理及调优，及NoSQL数据的存储和查询；
3、熟悉CDH各个组件，及精通离线、实时等计算技术；
4、掌握java多线程高并发编程，及整合shiro、redis、fastdfs、MQ、netty等开发；
5、熟悉K8S集群管理Docker容器，及理解掌握openstack原理和操作。
展开
-
Expect的安装与应用，及实现自动检测另外一台服务器运行状态并重启，和使用expect脚本远程批量管理服务器与日志分析
学习ExpectExpect是什么？Expect是一个免费的编程工具语言，用来实现自动和交互式任务进行通信，而无需人的干预。Expect是不断发展的，随着时间的流逝，其功能越来越强大，已经成为系统管理员的的一个强大助手。Expect需要Tcl编程语言的支持，要在系统上运行Expect必须首先安装Tcl。Expect工作原理从最简单的层次来说，Expect的工作方式，就像一个通用化的Chat脚本工具。Chat脚本最早用于UUCP网络内，以用来实现计算机之间需要建立连接时进行特定的登录会话.原创 2021-02-17 04:43:48 · 606 阅读 · 2 评论 -
安装Anaconda3，管理python依赖包和管理切换python环境，及conda安装pymysql的填坑记录
前言网上有很多，安装Anaconda3的版本，由于每次安装，都会遇到不同的问题，特此汇总记录一下centos安装Anaconda3，及conda安装pymysql的填坑经历安装准备centos系统，可能本地默认安装的是python2（官方已经终止更新） 已经下载好的Anaconda3-5.3.1-Linux-x86_64.sh（提取码：n49i）备注：windows版的Anaconda3-5.3.1-Windows-x86_64.exe（提取码：t7gg）安装1.把下载后的Anaco原创 2020-05-30 19:12:47 · 2448 阅读 · 3 评论 -
window10下go语言开发环境搭建，及体验go-zero框架，及解决command not found: goctl
前言go-zero 是一个集成了各种工程实践的 web 和 rpc 框架。通过弹性设计保障了大并发服务端的稳定性，经受了充分的实战检验。go-zero 包含极简的 API 定义和生成工具 goctl，可以根据定义的 api 文件一键生成 Go, iOS, Android, Kotlin, Dart, TypeScript, JavaScript 代码，并可直接运行。这么牛，怎么不想去试一下？！go语言环境搭建配置GO语言环境新增go的代理GOPROXY=https://gopr.原创 2021-01-11 16:27:45 · 5418 阅读 · 5 评论 -
yum安装部署ansible，和深入学习ansible的各个模块及组件及实际生产中使用案例详解
认识ansible其中经典应用，请详见，采用KubeSphere的kk，部署安装多节点服务的kubernetes-v1.18.6和kubesphere-v3.0.0的踩坑过程记录，及反思；ansible安装部署CDH集群,与手动安装部署CDH集群，及CM配置和用户权限配置……ansible简介官方的title是“Ansible is Simple IT Automation”——简单的自动化IT工具。Ansible跟其他IT自动化技术的区别在于其关注点并非配置管理、应用部署或IT流程...原创 2021-01-07 13:34:01 · 1818 阅读 · 1 评论 -
采用KubeSphere的kk，部署安装多节点服务的kubernetes-v1.18.6和kubesphere-v3.0.0的踩坑过程记录，及反思
前言KubeSphere® 是经CNCF 认证的 Kubernetes 主流开源发行版之一，在 Kubernetes 之上提供多种以容器为资源载体的业务功能模块，如多租户管理、集群运维、应用管理、DevOps、微服务治理等功能。最近微服务，要部署到k8s，采用KubeSphere应用为中心的容器管理平台，于是捣鼓怎样去部署，第一次部署成功，好像不稳定，再次恢复四台服务器镜像，重新部署，其中遇到很多的问题及挫折，在此记录一下，以供大家参考。！准备服务器master：172.16...原创 2021-01-06 00:58:40 · 9507 阅读 · 12 评论 -
在CDH中，基于Kerberos与Sentry组件，通过Navigator审计日志，查看对应用户的操作
前言CDH集群中有数据管理的组件Cloudera Navigator，本文档主要介绍这个组件的其中一个功能：审计，Cloudera Navigator审计可以从选定的集群服务收集一些事件，用户可以在控制台查看这些审计的日志，可以使用可配置的过滤器进行搜索，快速得到相关的信息，并且可以将这些信息导出为CSV或JSON文件。下面会对审计功能的使用进行一些测试。环境准备集群的环境为CDH6.2.0集群服务器的OS版本为RedHat7.2具体操作1.集群已启用Kerberos2.集群已原创 2020-12-02 13:13:01 · 590 阅读 · 0 评论 -
生产环境下，离线安装linux软件的准备及python脚本
前言：由于服务器机房，由于安全原因，不能进行联网进行安装一些工作软件。在这样的情况下，就需要采用离线安装ansible的方式，来进行安装一些软件了。实战环境服务器已做好了镜像的离线yum源，可以离线安装vim等工具，无法离线安装ansible服务器无法访问外网，处于网闸内环境思路步骤离线ansible需要安装的rpm包 编写自动构建离线ansible的yum源脚本 使用脚本安装ansible工具流程1.离线下载ansible需要安装的rpm包语句格式： yum inst.原创 2020-11-23 16:24:24 · 289 阅读 · 0 评论 -
通过nginx反向代理配置，及缓存功能配置，加快CDN服务器各个节点的访问速度
前言若网站数据中心在国内，怎样才能加快海外访问速度呢？那就需要搭建一台CDN服务器，在海外机房，通过nginx反向代理的方式读取国内数据中心的数据，并且进行缓存。CDN服务器，及nginx反向代理配置，均可通过手动搭建，或者通过BT面板来创建！我们要实现CDN加速，就先要来对实现这一效果的三个主要工具做一下解释：智能DNS解析：域名解析服务器，根据来访者的特征类型进行抓取，并针对性的做出不同的解析。比较常见的DNS判断线路规则有：网络供应商判断（如：电信、网通、移动、教育网等），地域原创 2020-11-02 00:21:01 · 934 阅读 · 2 评论 -
Dockerfile文件常用命令，docker容器的隔离机制授权，及docker run命令运行与调试
FROM：获取基础镜像，FROM必须是第一个命令，如果需要多个镜像时，可以使用多个FROM指令（每个镜像一次），如果不加tag，默认是使用latest，如下所示：# FROM <image name># FROM <image name>:<tag>FROM ubuntuFROM java:8RUN：在构建镜像过程中执行特定的指令，并生成一个中间...原创 2020-10-29 12:26:47 · 1282 阅读 · 3 评论 -
CentOS 7系统下docker安装，及配置阿里云加速，解决拉取harbor私有仓库，连接拒绝的问题
前言测试安装系统为Linux系统 CentOS 7，docker安装教程，在docker拉取镜像的时候，由于需要访问外网的缘故，拉取速度会非常的慢，下面来简要介绍一下怎么解决这一问题？试试阿里云镜像加速，所有操作切换进入root权限cd /docker安装查看本机版本 仅支持3.10版本以及以上[root@instance-z42b1xb1 /]# uname -aLinux instance-z42b1xb1 3.10.0-957.27.2.el7.x86_64 #1 SMP原创 2020-10-19 15:40:38 · 730 阅读 · 0 评论 -
常用的Linux系统工具详解，包括tmux,Nethogs,john,IOTop,IPtraf,iftop,HTop,NMON,MultiTail,Fail2ban,nmap,Httperf等
前言无论是，软件开发，还是运维，都离不开使用Linux服务器。除了常用的远程连接工具，如果您还知道，并会使用tmux,Nethogs,john,IOTop,IPtraf,iftop,HTop,NMON,MultiTail,Fail2ban,nmap,Httperf等工具，那就如虎添翼，下面即为以上工具的详细安装及使用例子讲解！弱口令检测工具1.将宿主机中的工具挂载到虚拟机中2.解压3.查看解压的文件内容4.安装C C++编译器yum install gcc gcc-c++原创 2020-10-17 16:19:24 · 542 阅读 · 0 评论 -
优化CentOS7系统，安装mysql 5.7数据库，及优化mysql与初始化密码
一、安装mysql软件下载并安装MySQL官方的 Yum Repository,Mysql版本5.7.30wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm下载后直接yum安装yum -y install mysql57-community-release-el7-10.noarch.rpm安装MySQL服务器yum -y install mysql-community-原创 2020-10-13 18:32:47 · 264 阅读 · 0 评论 -
如何基于HBase构建容纳大规模数据、支撑高并发、毫秒响应、稳定高效的OLTP实时系统
前言本文致力于从架构原理、集群部署、性能优化与使用技巧等方面，阐述在如何基于HBase构建容纳大规模数据、支撑高并发、毫秒响应、稳定高效的OLTP实时系统 。一、架构原理1.1 基本架构从上层往下可以看到HBase架构中的角色分配为：Client——>Zookeeper——>HMaster——>RegionServer——>HDFSClientClient是执行查询、写入等对HBase表数据进行增删改查的使用方，可以是使用HBase Client API原创 2020-10-04 15:04:19 · 2910 阅读 · 3 评论 -
ansible安装部署CDH集群,与手动安装部署CDH集群，及CM配置和用户权限配置
前言CDH大数据平台CDH是Cloudera发布的一个自己封装的Hadoop商业版软件发行包，里面不仅包含了Cloudera的商业版Hadoop，能够十分方便地对Hadoop集群进行安装，部署和管理，同时CDH中也包含了各类常用的开源数据处理与存储框架，如Spark，Hive，HBase等。部署Hadoop集群的时候，可以选择Cloudera Express免费版本。这个版本包含了CDH以及Cloudera Manager核心功能，提供了对集群的管理功能，比如自动化部署，中心化管理，监控，诊断功原创 2020-10-02 23:11:09 · 1034 阅读 · 0 评论 -
搭建高可用kafka与zookeeper集群的填坑之路,及搭建KafkaEagle监控web平台
前言首先确定kafka与zookeeper集群的调优方向调大zookeeper的heap内存 调大zookeeper的heap内存，默认是1G，可以根据服务器大小配置其堆内存为2G或者4G，kafka实时传输的数据如果达到PB级别的话，得观察一下YGC和FGC的值可以适当再次调大。修改kafka的副本数修改kafka的副本数，默认的副本数是1，建议修改为2，如果副本数为2，那么容灾能力就是1，如果副本数3，则容灾能力就是2，当然副本数越多，可能会导致集群的性能下降，但是可靠性更强，各有原创 2020-09-29 13:04:24 · 1696 阅读 · 0 评论 -
快速搭建高可用Redis Cluster主从模式集群的填坑之路
Redis Cluster主从模式原理redis cluster 为了保证数据的高可用性，加入了主从模式，一个主节点对应一个或多个从节点，主节点提供数据存取，从节点则是从主节点拉取数据。备份，当这个主节点挂掉后，就会有这个从节点选取一个来充当主节点，从而保证集群不会挂掉。说明假如集群有A、B、C三个主节点, 如果这3个节点都没有加入从节点，如果B挂掉了，我们就无法访问整个集群了， A和C的slot也无法访问。所以在集群建立的时候，一定要为每个主节点都添加了从节点,。比如，像集群包含主节点原创 2020-09-29 10:13:48 · 2149 阅读 · 9 评论 -
在rancher平台环境，安装helm工具的详细过程
前言由于想在k8s上，安装kafka集群，于是选中helm工具！下载helm二进制包https://github.com/helm/helm/releases选取其链接，进行下载！ wget https://get.helm.sh/helm-v2.14.3-linux-amd64.tar.gz安装helm客户端tar -zxvf helm-v2.14.3-linux-amd64.tar.gzmv /root/kafka/linux-amd64/{helm,tiller}原创 2020-09-24 15:45:10 · 2261 阅读 · 0 评论 -
采用阿里的ius-release.rpm，安装最新版本的终端复用神器tmux
前言：在安装tmux时，采用快捷安装，但是https://centos7.iuscommunity.org/ius-release.rpm下载报错！解决：既然，外网无法使用，是不是万能的阿里，可以帮忙？https://mirrors.aliyun.com/ius/?spm=a2c6h.13651104.0.0.4dfe6898ICENdr在centos中，yum install tmux安装的貌似是1.8版本，而保存会话等插件是需要运行在1.9版本以上的，所以需要手动下载阿里的ius-r原创 2020-09-21 16:00:44 · 2061 阅读 · 0 评论 -
用rancher创建k8s时，docker报错Cannot connect to the Docker daemon at unix:///var/run/docker.sock等一系列踩坑过程
项目场景：提示：在用rancher创建k8s的时候，其中一台服务器，报Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running?问题描述：于是到该台服务器，查看原因，无论是docker run helloworld ，还是docker info,都报Cannot connect to the Docker daemon at unix:///var/run/do原创 2020-09-17 19:52:00 · 2949 阅读 · 2 评论 -
cloudera-manager-el6-cm5.7部署流程，及踩坑过程和解决方案
概述CDH （Cloudera's Distribution， including Apache Hadoop），是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件，对集群中主机、Hadoop、Hive、Spark等服务的安装配置管理做了极大简化。安装文件准备CDH下载地址：http://a.原创 2020-06-26 17:19:33 · 1807 阅读 · 2 评论 -
在IntelliJ IDEA的IDE，为类自动配置上公司的Copyright信息及配置项目和IDEA全局设置
前言IntelliJ IDEA是Java语言开发的集成环境，IntelliJ在业界被公认为优秀的Java开发工具之一，尤其在智能代码助手、代码自动提示、重构、J2EE支持、Ant、JUnit、CVS整合、代码审查、 创新的GUI设计等方面的功能可以说是超常的。配置1、Copyright信息？用来添加文件时说明版权归属。2、配置选择File->Settings->Appearance & behavior -> Scopes（1）新增一个scope，设置原创 2020-06-17 11:50:08 · 2523 阅读 · 0 评论 -
centos下NTP服务安全部署，及版本升级配置的过程记录
前言：NTP是网络时间协议(Network Time Protocol)，它是用来同步网络中各个计算机的时间的协议。NTP服务一般是集群/服务器搭建之时，就已经安装配置好，但是NTP本身存在对外开放的接口，导致服务被人为恶意攻击的可能。对于软件程序漏洞，一般的做法是升级到高阶版本，即可修复漏洞。下文即NTP服务安装配置与升级的操作手册。NTP服务配置服务器端vim /etc/ntp.conf需要修改以下几项：restrict：表示设置客户端连接到本NTP服务器的权限其规则为：r原创 2020-06-05 19:33:08 · 879 阅读 · 0 评论 -
安装gitlab及配置等常见问题，及解决对策
前言GitLab 是一个用于仓库管理系统的开源项目，使用Git作为代码管理工具，并在此基础上搭建起来的web服务。安装方法是参考GitLab在GitHub上的Wiki页面，但是安装gitlab，经常遇到各种问题，故梳理记录1. 安装完成后访问，提示502；sudo gitlab-ctl tail 发现unicorn的8080端口被占用，vi /etc/gitlab/gitlab.rb 找到nginx监听端口的配置项，把8080修改为9090然后保存退出#unicorn['p原创 2020-05-30 19:39:08 · 2102 阅读 · 1 评论 -
Windows下配置多个git账号的配置的踩坑记录
前言公司用gitlab对代码管理，但有时学习需要在github和gitee上拉取一些代码，进行学习备份，但又不想频繁覆盖本地id_rsa，所以总结一下，Windows下配置多个git账号的配置的流程，免得大家以后少走弯路！配置多个git账号的config安装git.exe,不再说了，具体步骤如下：步骤一：用ssh-keygen命令生成一组新的id_rsa_new和id_rsa_new.pub。ssh-keygen -t rsa -C "new email"平时我们都是直接回车（避原创 2020-05-08 18:35:22 · 777 阅读 · 0 评论 -
FFmpeg 在视频直播中的使用
背景在MEC边缘计算项目中，验证视频直播需要验证MEC能对直播的视频流进行处理，所以使用了FFmpeg作为视频处理工具。简介FFmpeg的名称来自MPEG视频编码标准，前面的“FF”代表“Fast Forward”，FFmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。可以轻易地实现多种视频格式之间的相互转换。视频基础术语介绍容器(Contain...原创 2020-05-24 15:44:13 · 530 阅读 · 0 评论 -
Linux 安装并优化 postgreSQL9.6.2
1.下载postgresSQL9.6.2wget https://ftp.postgresql.org/pub/source/v9.6.2/postgresql-9.6.2.tar.bz22.解压:tar -jxvf postgresql-9.6.2.tar.bz23.安装插件gcc: 参考文档：http://192.168.6.32:8010/pages/viewp...原创 2020-05-24 15:46:36 · 389 阅读 · 0 评论 -
机房openstack操作之POSTGRES安装
创建虚拟机pp-pgsqlopenstackservercreate--flavor4--image59e56970-0bd0-406f-bd8b-92ab8557d719--security-groupenm_external_security_group--key-nameppp--nicnet-id=10b23088-79ee-43b5-b19d-1c72819...原创 2020-03-07 17:15:55 · 407 阅读 · 1 评论 -
在离线环境下，利用pip工具，安装Python项目的依赖文件requirements.txt
由于项目上的需要通过离线的方式来安装Python项目，所以总结出以下步骤。一、更新pip版本1.下载pippython3.6自带pip，可以不用再安装pip，而python2.7安装时是不带有pip的，从官网下载提供的编译好的包最新版本pip-8.1.2-py2.py3-none-any.whl和wheel-0.29.0-py2.py3-none-any.whl,离线安装pip时，...原创 2020-02-18 21:52:14 · 1244 阅读 · 0 评论 -
Centos7安装和部署Docker教程,及镜像加速
一.前提条件目前，CentOS 仅发行版本中的内核支持 Docker。* Docker 运行在 CentOS 7 上，要求系统为64位、系统内核版本为 3.10 以上。* Docker 运行在 CentOS-6.5 或更高的版本的 CentOS 上，要求系统为64位、系统内核版本为 2.6.32-431 或者更高版本。二.安装Docker1.检查CentOS系统版本和内核版本查...原创 2020-02-17 01:37:09 · 646 阅读 · 0 评论 -
Tomcat 服务器没有启用 httpHeaderSecurity 功能的解决方案
问题针对以下问题进行修复：缺少 "Content-Security-Policy" 头缺少 "X-Content-Type-Options" 头缺少 "X-XSS-Protection" 头主要问题是Tomcat 服务器没有启用 httpHeaderSecurity 功能解决步骤及方法：登入 192.168.18.66服务器，找到 Tomcat 配置目录：/root/vo...原创 2020-02-09 03:00:19 · 7142 阅读 · 0 评论 -
用于命令行终端切换的screen 配置（下标高亮）
背景： 系统管理员经常需要SSH 或者telent 远程登录到Linux 服务器，经常运行一些需要很长时间才能完成的任务，比如系统备份、ftp 传输等等。通常情况下我们都是为每一个这样的任务开一个远程终端窗口，因为它们执行的时间太长了。必须等待它们执行完毕，在此期间不能关掉窗口或者断开连接，否则这个任务就会被杀掉，一切半途而废了。 GNU Screen是一款由GNU...原创 2020-02-06 13:25:22 · 781 阅读 · 0 评论