- 博客(361)
- 收藏
- 关注
RSS订阅原创 git 报错 ! [rejected] master -＞ master (non-fast-forward)怎么解决
近期在使用git push本地资源至远端仓库时，执行add、 commit、push之后，报错如下:$ git pull --rebase origin masterFrom https://minus1.nie.netease.com/aryayang/yangxue-minus1 * branch master -> FETCH_HEADfatal: It seems that there is already a rebase-merge directo
2021-05-29 22:48:14
3130
原创 虚拟化、容器、云计算概念及区别
文章目录虚拟化VMMVMM 分类典型虚拟化产品云计算云计算的分层架构公有云、私有云、混合云云计算和虚拟化的区别容器技术容器技术的特点容器的标准化容器的主要应用场景虚拟化虚拟化本质上是软/硬件层的抽象#说起虚拟化，相信大家应该都不陌生，像虚拟内存、Java 虚拟机、Android 模拟器这些都是虚拟化技术的体现，为什么这样说，这个就要回到虚拟化技术的本质上——虚拟化就是由位于下层的软件模块，根据上层的软件模块的期待，抽象（虚拟）出一个虚拟的软件或硬件模块，使上一层软件直接运行在这个与自己期待完全一致的虚
2020-11-24 21:46:59
5052
3
原创 Python中的线程池和进程池的详解
文章目录一般我们是通过动态创建子进程（或子线程）来实现并发服务器的，但是会存在这样一些缺点：1、动态创建进程（或线程）比较耗费时间，这将导致较慢的服务器响应。 2、动态创建的子进程通常只用来为一个客户服务，这样导致了系统上产生大量的细微进程（或线程）。进程和线程间的切换将消耗大量CPU时间。 3、动态创建的子进程是当前进程的完整映像，当前进程必须谨慎的管理其分配的文件描述符和堆内存等系统资源，否则子进程可能复制这些资源，从而使系统的可用资源急剧下降，进而影响服务器的性能。 所以呢，就引入了进程池
2020-08-13 15:44:47
1327
1
原创 Linux常用命令之tcpdump
文章目录简介用法简介用法举例简介tcpdump - dump traffic on a network #在网络上转储流量tcpdump是一个用于截取网络分组，并输出分组内容的工具。凭借强大的功能和灵活的截取策略，使其成为类UNIX系统下用于网络分析和问题排查的首选工具。用简单的话来定义tcpdump，就是：根据使用者的定义对网络上的数据包进行截获的包分析工具。tcpdump可以将网络中传送的数据包的“头”完全截获下来提供分析。它支持针对网络层、协议、主机、网络或端口的过滤，并提供and、or
2020-07-27 14:40:28
461
原创 （五)numpy库和jieba库的学习
https://baijiahao.baidu.com/s?id=1637501213256152848&wfr=spider&for=pc
2020-07-23 10:28:44
327
原创 Echarts简单学习笔记
文章目录简介简单使用简介Echarts是一个商业级数据图表，它是一个纯JavaScript的图标库，兼容绝大部分的浏览器，底层依赖轻量级的canvas类库ZRender，提供直观，生动，可交互，可高度个性化定制的数据可视化图表。创新的拖拽重计算、数据视图、值域漫游等特性大大增强了用户体验，赋予了用户对数据进行挖掘、整合的能力。官网地址:https://echarts.apache.org/zh/index.html简单使用在testEcharts.htm文件中:<!DOCTYPE htm
2020-07-22 16:50:28
283
原创 数据可视化之Flask框架的学习
文章目录数据可视化简介Flask框架简介练习render_template模块数据可视化简介数据可视化主要旨在借助于图形化手段，清晰有效地传达与沟通信息。但是，这并不就意味着数据可视化就一定因为要实现其功能用途而令人感到枯燥乏味，或者是为了看上去绚丽多彩而显得极端复杂。为了有效地传达思想概念，美学形式与功能需要齐头并进，通过直观地传达关键的方面与特征，从而实现对于相当稀疏而又复杂的数据集的深入洞察。Flask框架简介Flask是一个使用 Python 编写的轻量级 Web 应用框架。其 WSGI
2020-07-21 16:32:39
2904
4
原创 （四)xlwt模块学习
文章目录xlwt模块简介xlwt模块简介xlwt 是 Python 用来在 Excel 写入数据和格式化数据的工具包，是用来生成兼容 Excel 97/2000/XP/2003, OpenOffice.org Calc 和 Gnumeric 的表格库。 xlwt 完全支持 Unicode。xlwt 不需要任何的 Excel 或者 COM 服务器就能在任意的平台生成 Excel 表格。用xlwt模块编写一个九九乘法表import xlwt# 将爬取到的数据存储在excel表中# 1.以utf-
2020-07-20 19:50:21
329
原创 python爬虫实战之爬取豆瓣电影top250并保存至excel或者sqlite中
文章目录项目思路代码结果展示项目思路获取数据——解析内容——保存数据代码from bs4 import BeautifulSoup #网页解析，获取数据import re #正则表达式，进行文字匹配import urllib.request,urllib.error #指定URL，获取网页数据import xlwt #进行excel操作import sqlite3 #进行SQLite数据库操作def main(): baseurl="https://movie.doub
2020-07-20 11:16:17
4389
1
原创 （三）re模块学习
文章目录正则表达式学习re模块的学习正则表达式学习re模块的学习re模块常用函数compile(pattern, flags=0)Compile a regular expression pattern, returning a pattern object.通过help可知：编译一个正则表达式模式，返回一个模式对象。从compile()函数的定义中，可以看出返回的是一个匹配对象，它单独使用就没有任何意义，需要和findall(), search(), match(）搭配使用。测试:
2020-07-17 10:37:09
391
原创 (二）bs4模块学习
文章目录简介1.BeatifulSoup取出标签及其里面的内容只取出标签里面的内容(字符串)拿到标签里的属性值（以字典的形式保存）取出文件自身（Beautifulsop表示整个文档）输出的内容不包含注释符号应用文档 的遍历文档的搜索find_all字符串过滤，会查找与字符串完全匹配的内容正则表达式搜索(使用search(）方法来匹配传入一个函数（方法），根据函数的要求来搜索kwargs参数text参数应用正则表达式来查找包含特定文本的内容limit参数css选择器简介Beautiful Soup是一个可
2020-07-16 23:03:29
796
原创 （一）urllib模块学习
这里写自定义目录标题urllib简介urllib简介好文链接 https://www.jianshu.com/p/63dad93d7000urllib 是一个收集了多个涉及 URL 的模块的包：urllib.request 打开和读取 URLurllib.error 包含 urllib.request 抛出的异常urllib.parse 用于解析 URLurllib.robotparser 用于解析 robots.txt 文件我们首先了解一下 Urllib 库，它是 Python 内
2020-07-16 16:54:46
1088
原创 Hadoop(五) (Hadoop+zookeeper实现hdfs及yarn的高可用)
@[toc]]实验环境:172.25.2.3 ser3 nn172.25.2.4 ser4 nn(新开的节点)172.25.2.5 ser5 dn172.25.2.6 ser6 dn172.25.2.7 ser7 dn在ser3上[yxx@ser3 ~]$ rm -fr /tmp/*[yxx@ser3 ~]$ logout [root@ser3 ~]# systemctl start nfs[root@ser3 ~]# showmount -eExport list
2020-06-05 13:02:33
832
原创 Hadoop （四） （MapReduce 的原理+实现)
文章目录MapReduce的工作原理MapReduce的工作原理https://www.cnblogs.com/liuwei6/p/6708116.html在ser3上1.编写配置文件[yxx@ser3 hadoop]$ vim etc/hadoop/mapred-site.xml<configuration> <property> <name>mapreduce.framework.name</name>
2020-06-03 12:18:24
536
原创 Hadoop (三） HDFS之完全分布式部署
文章目录完全分布式的部署nfs的实现对master(ser3)进行设置测试存储结点(dn)的热添加完全分布式的部署实验背景：172.25.2.3 ser3 namenode172.25.2.4 ser4 dadanode172.25.2.5 ser5 datanode172.25.2.6 ser6 datanode关闭几台主机的火墙,selinxnfs的实现如何让新加的结点，同步之前结点的数据?1.首先关闭ser3上之前的伪分布式[yxx@ser3 hadoop]$ sbin/st
2020-06-03 11:46:56
331
原创 Hadoop（二) ( HDFS之单机版部署+伪分布式的部署)
文章目录单机版的部署伪分布式的部署单机版的部署官方文档:https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/ClusterSetup.html软件下载https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/实验环境:172.25.2.3 ser3 实验步骤:1.在ser3上创建普通用户[root@ser3 ~]# useradd
2020-06-03 11:45:56
1139
原创 Hadoop (一) （hadoop简介+四大模块+五大节点+HDFS的读写原理+故障检测机制)
文章目录环境的构建环境的构建官方文档:https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/ClusterSetup.html软件下载https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/
2020-06-03 11:44:25
5267
原创 MFS分布式文件系统（四) pacemaker 实现 mfs集群的高可用
文章目录pacemaker的安装和设置基本为集群配置fence为集群添加vip资源为集群添加共享存储为集群中添加mfsservice当mfsmaster被意外终止时pacemaker的安装和设置基本实验背景:172.25.2.7 ser7 mfsmaster172.25.2.12 ser11 mfsmaster172.25.2.8 ser8 mfschunkserver172.25.2.9 ser9 mfschunkserver172.25.2.250 真机 客户端实验目的:实现mfs
2020-05-29 19:34:22
352
原创 MFS分布式文件系统（三) (Storage class 存储类)
文章目录什么是storage class什么是label实验过程什么是storage class在moosefs中，storage class允许指定文件的chunks存放在哪些chunkservers上。storage class使用label进行表达。为了与早起的版本的goal功能兼容，moosefs 3.0以上会自动在系统中建立1～9 storage class。goal工具将默认在对应的storage class下进行工作。什么是labellabel是可以被分配给chunkserve
2020-05-28 18:00:31
251
原创 MFS分布式文件系统（二) (恢复客户端删除的文件 + 恢复意外挂掉的mfsmaster + master对内存的设置）
文章目录对客户端删除的文件进行恢复master对内存的设置恢复意外挂掉的mfsmaster服务本文在mfs分布式文件系统（一）的基础下进行编写。对客户端删除的文件进行恢复1.在客户端删除客户端mfs目录中的文件2.创建元数据目录查看mount3.进入回收站3.找到之前删除的文件4.对数据进行恢复5.恢复成功注意：master对内存的设置实验中master在ser7:恢复意外挂掉的mfsmaster服务在正常关闭的时候，/var/lib/mfs目录中会产生metadata.m
2020-05-28 17:36:25
343
原创 MFS分布式文件系统（一) (MFS简介+环境部署+测试使用)
文章目录分布式文件系统简介MFS简介MFS的组成MFS的工作过程MFS读取数据的处理过程MFS写入数据的处理过程分布式文件系统简介分布式文件系统（Distributed File Systemm）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。简单来说，就是把一些分散的（分布在局域网内各个计算机上）共享文件夹，集合到一个文件夹内（虚拟共享文件夹）。对于用户来说，要访问这些共享文件夹时，只要打开这个虚拟共享文件夹，就可以看到所有链接到虚拟共享文件夹内的共享文件夹
2020-05-27 15:26:59
1207
2
原创 ELK日志分析平台(五) 为es集群开启xpack验证
文章目录xpack简介实验步骤ES集群的设置Kibana端Logstash 端测试xpack简介在配置好es集群之后，可以选择开启安全认证功能。X-Pack 提供以下几个级别保护elastic集群1）用户验证2）授权和基于角色的访问控制3）节点/客户端认证和信道加密4）审计实验步骤实验目的:为es集群开启 xpack安全认证，并在logstash和Kibana开启相应的用户认证。实验背景:172.25.2.7 ser7 es端172.25.2.8 ser8 es端172.25
2020-05-27 15:20:38
3307
原创 ELK日志分析平台(四)（kibana 实现数据可视化）
文章目录kibana简介安装与配置创建索引匹配基于ES索引创建可视化创建仪表盘创建垂直条形图(访问量排行榜)创建饼图（访问量比例)开发者apikibana简介kibana，elasticsearch项目的产品之一。官网地址：https://www.elastic.co/products/kibana 。它是数据可视化工具，提供网页与人交互，将查询语句交给ES处理并将结果可视化。官方标语为：Explore & Visualize Your Data，探索与可视化你的数据。Kibana 核心产
2020-05-26 20:20:05
780
原创 ELK日志分析平台(三) (Logstash简介+安装+常用插件示例)
文章目录Logstash简介Logstash安装与配置file 输出插件标准输入到标准输出标准输入到文件elasticsearch输出插件标准输入到es主机file输入插件把文件内容输出到es主机logstash如何区分设备、文件名、文件的不同版本syslog输入插件多行过滤插件多行过滤插件过滤远程主机的日志grok过滤插件apache服务日志过滤实战Logstash简介Logstash是一个开源的服务器端数据处理管道，它的主要作用是做数据采集。logstash拥有200多个插件，能够同时从多个来源采
2020-05-26 10:40:12
548
原创 ELK日志分析平台(二) (elasticsearch节点角色+节点优化)
文章目录elasticsearch节点角色elasticsearch优化节点划分节点需求实验elasticsearch节点角色Master：主要负责集群中索引的创建、删除以及数据的Rebalance等操作。Master不负责数据的索引和检索，所以负载较轻。当Master节点失联或者挂掉的时候，ES集群会自动从其他Master节点选举出一个Leader。Data Node:主要负责集群中数据的索引和检索，一般压力比较大。Coordinating Node：(协调节点）原来的Client
2020-05-26 09:56:08
618
原创 ELK日志分析平台(一) (ELK 简介+Elasticsearch集群的部署+head插件的安装)
文章目录ELK是什么Elasticsearch简介Logstash简介ELK是什么ELK Stack 是Elasticsearch、Logstash、Kiban三个开源软件的组合。在实时数据检索和分析场合，三者通常是配合共用，而且又都先后归于 Elastic.co 公司名下，故有此简称。ELK Stack成为机器数据分析，或者说实时日志处理领域，开源界的第一选择。和传统的日志处理方案相比，ELK Stack 具有如下几个优点：• 处理方式灵活。Elasticsearch 是实时全文索引，不需要像 s
2020-05-26 09:38:15
540
原创 CI/CD工具Jenkins学习(四) (jenkins结合ansible参数化构建过程）
文章目录jenkins+ansible的使用参数化构建过程jenkins+ansible的使用实验任务:添加ansible交付任务：Jenkins服务器提前部署好到目标主机的ssh免密，并安装ansible软件包。由于是以jenkins用户调用ansible命令，所以需要设置jenkins用户到目标主机的免密。新建playbook代码仓库实验环境:172.25.2.7 ser6 jenkins 和ansible主机172.25.2.8 ser8 gitlab仓库172.25.2.
2020-05-24 18:32:19
891
原创 CI/CD工具Jenkins学习(三) (使用tls方式连接docker主机 + ssh插件的使用）
文章目录Jenkins使用tls方式连接docker构建主机(https)测试ssh 插件Jenkins使用tls方式连接docker构建主机(https)实验环境:172.25.2.7 jenkins主机172.25.2.8 gitlab仓库172.25.2.2 harbor仓库172.25.2.9 新添加的主机 (docker服务端）关闭selinux和firwalld1.在docker服务端,生成key和ca证书。# openssl genrsa -aes256 -out ca-k
2020-05-24 18:08:34
550
原创 CI/CD工具Jenkins学习(二) (使用 jenkins自动构建docker镜像，并上传至harbor仓库)
文章目录Jenkins自动构建docker镜像，并上传至harbor仓库Jenkins自动构建docker镜像，并上传至harbor仓库实验环境:172.25.2.7 ser6 jekins主机172.25.2.8 ser8 gitlab代码库172.25.2.2 ser2 harbor仓库关闭几台主机的selinux,firewalld1.为jenkins添加docker插件选择此插件并安装在项目test1的配置中增加构建后的步骤2.harbor仓库的启动（之前已经搭建好）
2020-05-24 17:43:51
822
1
原创 CI/CD工具Jenkins学习(一) (jenkins简介+jenkins的安装+设置gitlab主动触发jenkins)
文章目录CI/CD是什么jenkins是什么jenkins的特性jenkins的安装CI/CD是什么CI(Continuous integration，中文意思是持续集成)是一种软件开发时间。持续集成强调开发人员提交了新代码之后，立刻进行构建、（单元）测试。根据测试结果，我们可以确定新代码和原有代码能否正确地集成在一起。CD(Continuous Delivery， 中文意思持续交付)是在持续集成的基础上，将集成后的代码部署到更贴近真实运行环境(类生产环境)中。比如，我们完成单元测试后，可以把代码
2020-05-24 12:06:38
762
原创 分布式版本控制系统 Git 详解（二）( git 的安装 及 使用 + gitlab的部署)
文章目录git的部署及使用git的部署及使用1.安装git(超简单)yum install git -y 2.获取 Git 仓库通常有两种方式,在这里我们先采用第一种方法，后面再演示第二种。将尚未进行版本控制的本地目录转换为 Git 仓库。从其它服务器克隆 一个已存在的 Git 仓库。比如： git clone 3.初始化版本库(把本地目录转化为git仓库)$ mkdir demo$ git init Initialized empty Git repository in /hom
2020-05-22 20:54:14
406
原创 分布式版本控制系统 Git 详解（一）(版本控制器系统简介+git简介+git的三种工作状态)
文章目录什么是版本控制系统版本控制系统的分类本地版本控制系统集中化的版本控制系统分布式版本控制系统git是什么git 的特点git和其他版本控制器的差异直接记录快照，而非差异比较近乎所有操作都是本地执行Git 保证完整性Git 一般只添加数据git的三种状态基本的 Git 工作流程什么是版本控制系统概念版本控制是一种记录一个或若干文件内容变化，以便将来查阅特定版本修订情况的系统。你可以对任何类型的文件进行版本控制。版本控制（Revision control）是一种在开发的过程中用于管理我们对文件、目
2020-05-22 20:54:00
697
原创 自动化运维工具 SaltStack （五) (salt-ssh + salt-syndic + salt-api 的概念及部署)
文章目录salt-ssh概念roster系统的使用配置过程salt-syndic概念配置过程topmaster端下级master端topmaster端做授权salt-api概念配置过程github小项目实现salt-ssh概念1.salt-ssh 是 0.17.0 新引入的一个功能，不需要minion对客户端进行管理，也不需要master。2.salt-ssh 支持salt大部分的功能：如 grains、modules、state 等3.salt-ssh 没有使用ZeroMQ的通信架构，执行是串行模
2020-05-20 20:26:11
714
原创 自动化运维工具 SaltStack (四) (Job概念+将job存储在数据库中的两种方式)
文章目录Job的概念job管理中的基本命令将job存储到数据库External Job CacheMaster Job CacheJob的概念1.master在下发指令任务时，会附带上产生的jid。Jid： job id 格式为%Y%m%d%H%M%S%f2.minion在接收到指令开始执行时，会在本地的/var/cache/salt/minion/proc目录下产生该jid命名的文件，用于在执行过程中master查看当前任务的执行情况。指令执行完毕将结果传送给master后，删除该临时文件。3.
2020-05-20 20:25:56
468
原创 自动化运维工具 SaltStack （三) ( Jinja模板 + keepalived的部署)
文章目录jinja模板的概念jinja模板的使用方式Jinja最基本的用法是使用控制结构包装条件Jinja在普通文件的使用直接引用grains变量import方式，可在state文件之间共享saltsatck部署keepalivedjinja模板的概念Jinja是一种基于python的模板引擎，在SLS文件里可以直接使用jinja模板来做一些操作。通过jinja模板可以为不同服务器定义各自的变量。两种分隔符: {% … %} 和 {{ … }}前者用于执行诸如 for 循环 或赋值的语句，后者把表
2020-05-20 20:25:42
262
1
原创 自动化运维工具 SaltStack（二） grains 和 pillar 模块的概念及使用
文章目录Grains概念信息查询自定义grains项编写grains模块grains匹配运用pillar概念声明pillar自定义pillar项pillar数据匹配(如何使用)Grains概念Grains是SaltStack的一个组件，存放在SaltStack的minion端。当salt-minion启动时会把收集到的数据静态存放在Grains当中，只有当minion重启时才会进行数据的更新。由于grains是静态数据，因此不推荐经常去修改它。应用场景：信息查询，可用作CMDB。在target
2020-05-20 20:25:24
334
原创 自动化运维工具 SaltStack 应用 之 源码安装nginx
文章目录源码编译安装nginx源码编译安装nginx[root@server2 nginx]# pwd/srv/salt/nginx[root@server2 nginx]# cat init.sls install-nginx: pkg.installed: - pkgs: - gcc - make - pcre-devel - openssl-devel archive.extracted: - name: /mnt
2020-05-20 20:25:10
154
1
原创 自动化运维工具 SaltStack （一）（Saltstack的简介+远程执行+文件的几种编写方式)
文章目录SaltStack简介SaltStack的安装SaltStack远程执行远程执行shell命令创建文件执行远程命令编写远程执行模块几种编写文件的方式file模块配置httpdSaltStack简介saltstack是一个配置管理系统，能够维护预定义状态的远程节点。saltstack是一个分布式远程执行系统，用来在远程节点上执行命令和查询数据。saltstack是运维人员提高工作效率、规范业务配置与操作的利器。Salt的核心功能使命令发送到远程系统是并行的而不是串行的使用安全加密的协议
2020-05-20 20:24:51
490
原创 自动化运维工具应用之 SaltStack 一键部署zabbix环境
文章目录实验基础指定本地yum仓库创建数据库(用于zabbix-server)编写/srv/salt/top.sls文件为ser4部署zabbix-server为ser3和ser4部署zabbix-agent为ser4部署zabbix-web界面编写pillar目录部署测试及排错添加zabbix-agent实验基础实验目的:利用saltstack构建server-agent架构的zabbix环境，主要指定server端，并添加一个agent端， 其他的agent端可根据需要多添加几个。在本篇文章里，
2020-05-19 18:53:30
459
原创 kubernetes(k8s) 学习 (十八) Charts管理工具Helm
文章目录Helm简介Helm的部署Helm 部署应用(拉取仓库的redis并部署)Helm简介Helm是Kubernetes 应用的包管理工具，主要用来管理 Charts，类似Linux系统的yum。Helm Chart 是用来封装 Kubernetes 原生应用程序的一系列 YAML 文件。可以在你部署应用的时候自定义应用程序的一些 Metadata，以便于应用程序的分发。对于应用发布者而言，可以通过 Helm 打包应用、管理应用依赖关系、管理应用版本并发布应用到软件仓库。对于使用者而言，使用
2020-05-13 22:48:11
2735
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人