sxjwcs-CSDN博客

原创 shell脚本知识

变量赋值:var=value #var是变量名,value是赋给变量的值,如果value不包含任何空白字符(例如空格),那么它不需要使用引号进行引用,反之,则必须使用单引号或双引号var="value name" #给变量赋值变量输出:echo $var 或者 echo ${var}环境变量:常用的环境变量: HOME, PWD, USER,...

2019-07-23 11:30:42 218

原创 Gitlab服务器的搭建和CI(持续化集成)CD(持续化交付)并用Python实现自动化部署

Gitlab是一个版本控制软件,直接部署在容器中,简单方便, 我们将数据存放在Gitlab的宿主机上,然后将数据映射到Gitlab容器的某个文件夹上, 这样,当Gitlab出现问题的时候,只需要将容器删除,重新运行一个Gitlab的容器就行,只要宿主机上的数据不出现问题即可.CI(持续化集成):项目:实现CI/CD持续集成, 持续交付持续集成:程序员书写代码,把代码交给git...

2019-07-19 16:32:36 709

转载 <python>取出指定时间段的文本(日志文件是按时间记录的)

取出时间在9点~11点的行:[root@myvm untitled]# cat myfile.txt 2019-05-15 08:10:01 aaaa2019-05-15 08:32:00 bbbb2019-05-15 09:01:02 cccc2019-05-15 09:28:23 dddd2019-05-15 10:42:58 eeee2019-05-15 11:08:00...

2019-07-12 17:20:48 1833

原创 <python> 创建用户,并给用户赋予随机密码

import osfrom random import choiceimport stringimport subprocess #subprocess可以直接运行linux命令def ran_passwd(): ran_range = string.ascii_letters + string.digits #大小写字母和数字 password = [] ...

2019-07-12 16:19:23 267

原创 <python> 配置linux系统的网卡IP地址

RHEL7主机有五块网卡，名为eth0/eth1/eth2/eth3/eth4, 为四块网卡配置IP地址。import re#在网卡配置文件目录下,生成IP地址的配置文件,并写入配置信息def mk_ip(ip_num, ip, fname): conf = '''DEVICE="eth%s" NAME="eth%s" ONBOOT=...

2019-07-12 15:03:34 1055

转载 <python> 取出第一个文件中存在,而第二个文件中不存在的行(可用于日志文件的数据比对)

def diff(old_file, new_file, diff_file): with open(old_file) as f1: set1 = set(f1) #把打开的文件转换成集合,集合中必须是不同元素,去除相同行 with open(new_file) as f1: set2 = set(f1) #把打开的文件转换成集合,集...

2019-07-12 13:16:28 647

转载 <python> 统计日志文件中某些字段出现的次数(例如ip访问次数, 和浏览器的数量)

方法一:#'用于统计一个文件中某些字段出现的次数'import redef count_patt(fname, patt): patt_dict = {} cpatt = re.compile(patt) with open(fname) as fobj: for line in fobj: m = cpatt.searc...

2019-07-12 10:28:19 1798

转载 python实现完全备份和增量备份

import hashlibimport tarfilefrom time import strftimeimport osimport pickledef check_md5(fname): m = hashlib.md5() with open(fname, 'rb') as fobj: while True: dat...

2019-07-11 20:59:30 685

转载 <python> sqlarchemy模块应用(示例)

<一>文件名: alchemy_connetct.py #连接数据库并创建表from sqlalchemy import create_engine, Column, Integer, String, Date, ForeignKeyfrom sqlalchemy.ext.declarative import declarative_basefrom sq...

2019-07-11 20:17:27 166

转载 mycat读写分离

server.xml文件(只需更改,登录mycat的管理员和普通用户)<username="root"><propertyname="password">123456</property><propertyname="schemas">v_mysql</property><!-- 表级 DML 权限设置 --...

2019-07-05 14:07:17 183

原创使用rpmbuild将源码包打包成rpm包

rpm打包的过程,就是先源码安装一遍(并不会真的在机器上安装),再把安装的文件封装到rpm包中[root@room9pc01 ~]#yum -y install gcc pcre-devel openssl-devel //安装源码安装的相关软件[root@room9pc01 ~]#yum -y install rpm-bulid //安装rpm打包工具[ro...

2019-07-05 11:42:20 1395

转载 linux技术总结

1.处理以下文件内容,将域名取出并进行计数排序,如处理:http://www.baidu.com/index.htmlhttp://www.baidu.com/1.htmlhttp://post.baidu.com/index.htmlhttp://mp3.baidu.com/index.htmlhttp://www.baidu.com/3.htmlhttp://post....

2019-07-01 20:53:39 172

原创大数据与Hadoop运维三大核心组件的搭建

Hadoop是什么:– Hadoop是一种分析和处理海量数据的软件平台;– Hadoop是一款开源软件,使用JAVA开发;– Hadoop可以提供一个分布式基础架构;Hadoop特点:– 高可靠性、高扩展性、高效性、高容错性、低成本Hadoop常用组件:(下面三个组件是针对于运维,其他的不在此论述)• HDFS: Hadoop分布式文件系统(核心组件)• MapReduce: ...

2019-06-27 17:01:50 2975

原创容器的介绍和docker的使用

什么是容器:容器技术是应用程序封装和交付的核心技术;容器技术的核心组成:– Cgroups(Control Groups)-资源管理– NameSpace-进程隔离– SELinux安全由于是在物理机上实施隔离,启动一个容器,可以像启动一个进程一样快速;什么是Docker:•Docker是一套完整的容器管理系统;• Docker提供了一组命令,让用户更加方便直接地使用容...

2019-06-19 20:47:53 640

原创云计算介绍和openstack(云计算管理平台)

什么是云计算?云计算是一种基于互联网的按需付费的服务,这种模式提供可用的、便捷的、按需的网络访问,通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源.云平台的分类:<一>IaaS: 基础设施即服务提供给消费者的服务是对所有计算基础设施的利用,包括处理CPU、内存、存储、网络和其它基本的计算资源,用户能够部署和运行任意软件,包括操作系统和应用程序.IaaS通常分为...

2019-06-19 20:34:47 3465

原创 linux通过配置文件修改网卡配置

网络配置文件说明:[root@room9pc01 ~]#vim /etc/sysconfig/network-script/ifcfg-eth0# Generated by dracut initrd 注释DEVICE="eth0" # 驱动名称,与ifconfig 看到的名称一致ONBOOT="yes" ...

2019-06-19 19:59:43 14682 3

原创 KVM虚拟化技术

virtualization 资源管理:– x个物理资源 --> y个逻辑资源;– 实现程度:完全、部分、硬件辅助(CPU)虚拟化.虚拟化的主要厂商及产品:VMware--------->VMware Workstation, vSphereRedHat------------>KVM , RHEV虚拟机的组成:– 内核虚拟化模块(KVM)– 系统设备仿...

2019-06-19 19:32:50 567

原创 Logstash的介绍和配置书写

Logstash是一个数据采集、加工处理以及传输的工具• 特点:– 所有类型的数据集中处理;– 不同模式和格式数据的正常化;– 自定义日志格式的迅速扩展;– 为自定义数据源轻松添加插件;Logstash安装:– Logstash依赖Java环境,需要安装java-1.8.0-openjdk– Logstash没有默认的配置文件,需要手动配置– Logstash安装在/opt/l...

2019-06-19 11:01:16 675

原创 ISCSI网络存储盘的创建和使用

<服务器端>iscsi-server:192.168.1.2[root@iscsi-server ~]#yum -y install targetcli //安装targetcli软件包,用来搭建ISCSI[root@iscsi-server ~]#targetcli // ls 查看最初的配...

2019-06-17 21:00:57 465

原创 ELK的介绍和搭建

ELK是一整套解决方案,很多公司在使用如:Sina、携程、华为、美团等.ELK分别代表(都是开源软件)– Elasticsearch:负责日志检索和储存;– Logstash:负责日志的收集和分析、处理;– Kibana:负责日志的可视化.ELK可以做什么?ELK组件在海量日志系统的运维中,可用于解决:– 分布式日志数据集中式查询和管理;– 系统监控,包含系统硬件和应用各个组件的...

2019-06-17 19:59:51 912

原创 ansible批量管理服务器,ansible-playbook

ansible的安装:[root@ansible ~]#yum install ansible[root@ansible ~]#ansible --version //验证ansible是否安装成功ansible配置文件查找顺序: – 首先检测ANSIBLE_CONFIG变量定义的配置文件 – 其次检查当前目录下的 ./ansible.c...

2019-06-17 13:33:36 669

原创构建MYSQL数据库和数据库的基本操作

一、什么是数据库？数据库，简而言之可视为电子化的文件柜——存储电子文件的处所，用户可以对文件中的数据进行新增、截取、更新、删除等操作。我们一般使用的都是mysql数据库，它是开源，跨平台的数据库软件。二、数据库的分类？ mysql 、SQL Server、Oracle、DB2 这几种都是关系型的数据库(RDBMS)； ...

2019-06-14 18:58:57 311

原创 openstack的搭建

• OpenStack是一套IaaS解决方案• OpenStack是一个开源的云计算管理平台• 以Apache许可证为授权一.前期准备: 1>准备3台虚拟机,配置如下: openstack 管理主机: – 2CPU,至少6G内存,50G硬盘 – 配置静态IP:192.168.1.10 nova01,nova02 计算节点 *2:...

2019-06-14 18:48:02 698

原创 centos 7中安装谷歌浏览器

首先，进入官网下载google浏览器：https://www.google.cn/chrome/[root@localhost ~]#yum -y install google-chrome-stable_current_x86_64.rpm安装完成以后，发现我们用google的图标并不能打开浏览器，我们在終端执行以下命令：[root@localhost ~]# rpm -ql goo...

2019-06-09 09:27:51 6396

LINUX(云计算)