rentian1的博客

（1）shell中的${}，##和%%的使用部分假设我们定义了一个变量为：file=/dir1/dir2/dir3/my.file.txt可以用${ }分别替换得到不同的值：${file#*/}：删掉第一个 / 及其左边的字符串：dir1/dir2/dir3/my.file.txt${file##*/}：删掉最后一个 / 及其左边的字符串：my.file.txt${file#*.}：删掉第一个 . 及其左边的字符串：file.txt${file##*.}：删掉最后一个 . 及其左边...

有时docker的官方maven镜像不能满足我们需求时，我们需要自定义maven的settings.xml文件，加上阿里云的映射和自己的私服 clone阿里云maven-image仓库：git@github.com:AliyunContainerService/maven-image.git 进入3-jdk-8目录，修改settings.xml文件 <settings xmlns="http://maven.apache.org/SETTINGS/1.0.0" ..

我们知道，Maven是一个强大的项目管理与构建工具。如果可以使用Maven构建Docker镜像，那么我们的工作就能得到进一步的简化。经过调研，以下几款Maven的Docker插件进入笔者视野，如表13-1所示。插件名称 官方地址 docker-maven-plugin https://github.com/spotify/docker-maven-plugin docker-maven-plugin https://github.com/fabric8io/docker-m

国内yum源的安装(163，阿里云，epel)----阿里云镜像源1、备份mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup2、下载新的CentOS-Base.repo到/etc/yum.repos.d/CentOS 5wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-5.

#!/usr/bin/python3 env# -*- coding:utf-8 -*-"""auther:xiaohong.dengdata:2020-04-30description: this python3 script for groovy script use parameters to filter one module engine tag listfrom now on. this script need python3 requests,json,Beautifu

def pipeId = 1130561944231279390 def pipeLogId def isTagOrBranch def tagOrBranch def imageId def addPipelineLog() { def isUserTriggered = currentBuild.rawBuild.getCause(hudson.model.Cause$UserIdCause) != null def i...

简介Cobbler是一款自动化操作系统部署的实现工具，由Python语言开发，是对PXE的二次封装。融合多种特性，提供了CLI和Web的管理形式。同时，Cobbler也提供了API接口，方便二次开发使用。它不仅可以安装物理机，同时也支持kvm、xen虚拟化、Guest OS的安装。另外，它还能结合Puppet等集中化管理软件，实现自动化管理。实验环境系统环境：centos7.4 Cobbler服务器端：192.168.40.89 epel源：百度云下载 密码：vfq2 搭建步骤： 一.

简介Cobbler是一个Linux服务器安装的服务，可以通过网络启动(PXE)的方式来快速安装、重装物理服务器和虚拟机，同时还可以管理DHCP，DNS等。Cobbler可以使用命令行方式管理，也提供了基于Web的界面管理工具(cobbler-web)，还提供了API接口，可以方便二次开发使用。Cobbler是较早前的kickstart的升级版，优点是比较容易配置，还自带web界面比较易于管理。工作原理Server端：第一步，启动Cobbler服务第二步，进行Cobbler错误检查，

Python 这门语言最大的优点之一就是语法简洁，好的代码就像伪代码一样，干净、整洁、一目了然。但有时候我们写代码，特别是 Python 初学者，往往还是按照其它语言的思维习惯来写，那样的写法不仅运行速度慢，代码读起来也费尽，给人一种拖泥带水的感觉，过段时间连自己也读不懂。《计算机程序的构造和解释》的作者哈尔·阿伯尔森曾这样说：“Programs must be written for people to read, and only incidentally for machines to execu

tar命令可以用来压缩打包单文件、多个文件、单个目录、多个目录。Linux打包命令_tartar命令可以用来压缩打包单文件、多个文件、单个目录、多个目录。常用格式：单个文件压缩打包 tar czvf my.tar.gz file1多个文件压缩打包 tar czvf my.tar.gz file1 file2,...（file*）（也可以给file*文件mv 目录在压缩）单个目录压缩打包 tar czvf my.tar.gz dir1多个目录压缩打包 tar czvf my.t

参考文档：https://www.cnblogs.com/wangqiguo/p/6464234.html，这篇文档已经很详细的介绍了xargs，我这边主要用自己的方式记录一下。为什么要用xargs，问题的来源在工作中经常会接触到xargs命令，特别是在别人写的脚本里面也经常会遇到，但是却很容易与管道搞混淆，本篇会详细讲解到底什么是xargs命令，为什么要用xargs命令以及与管道的区别。为什么要用xargs呢，我们知道，linux命令可以从两个地方读取要处理的内容，一个是通过命令行参数，一个是标准

1. 基础知识 SSL：一般情况下，网站使用的都是明文方式传输数据，但是在涉及到一些隐私信息时（如银行交易），这个时候网站就会跳转到 SSL，SSl的功能就是提供加密数据。这样的话，TCP/IP协议只要做好的自己的事情，数据加密就全权委托给SSL协议完成 TLS:TLS是对SSL的扩展和优化，他可以提供数据安全的同时，确保数据的完整性 HTTPS:超文本传输安全协议。就是http+ssl/tls,可以理解为安全版http 对称加密：对称加密又叫做私钥加密，即信息的发送方和

Linux的启动过程：这里先给一个简单的概述，后面再是详述：a. 位于ROM的BIOS首先加电自检，然后装载MBR内容到RAM，将控制权交给RAM中的bootloader（比如GRUB）；b. bootloader进行自身的多阶段引导，装载一些文件系统的驱动等，最后将内核装载入RAM；c. 内核首先运行，然后挂载内存文件系统initrd；d. initrd针对当前的硬件情况，决定应加载哪些内核模块并加载之，并且挂载root filesystem（系统盘），最后用/sbin/init来代替自己的/

Python2 使用的是SimpleHTTPServerpython -m SimpleHTTPServer 7777Python3 合并到了http.serverpython3 -m http.server 7777有Index.html则默认他为主页，否则遍历所有文件转载于:https://www.cnblogs.com/TreeDream/p/10277879.html...

下载所需插件，系统设置--》插件管理，搜索以下两个插件，选择安装登录gitLab，生成一个Personal Access Tokens进入Jenkins，添加api token,路径：首页--》凭据--》添加凭据然后打开系统管理，进入系统设置，配置gitLab然后进入job，进行配置进入GitLab,打开项目--》settings测试成功，返回200如果报403,这是jenkins那边需要保存。保存后测试成200才...

docker-compose.yml文件使用变量参数：jasper@jasper-S1200RP:~/test/testcompose$ cat docker-compose.yml version: '3.7' services: appshield: build: con...

【Docker】Ubuntu16.04将Docker升级至最新版1.使用curl升级到最新版###curl -fsSL https://get.docker.com/ | sh2.重启Docker###sudo systemctl restart docker3.设置Docker开机自启###sudo systemctl enable docker4.查...

什么是jar包JAR（Java Archive）是Java的归档文件，它是一种与平台无关的文件格式，它允许将许多文件组合成一个压缩文件。如何打/解包使用jdk/bin/jar.exe工具，配置完环境变量后直接使得jar命令即可。jar命令格式jar {c t x u f }[ v m e 0 M i ][-C 目录]文件名…{ctxu}，这四个参数必须选选其一。[v f m e 0 ...

一.背景：       参考了网上的经验和Java在dos中的语句，实现将jar包解压成文件夹修改其中配置文件，在不依靠开发工具的情况下重新打回jar包。二.具体步骤       1.如图所示，其他的是lib包，红色标注的是主jar包，也就是最后java -jar xx.jar运行的，首先先...

CI/CD 尝试解决什么问题？CI/CD 同 DevOps、Agile、Scrum、Kanban、自动化以及其他术语一样，是一个一起被经常提及的专用术语。有时候，它被当做工作流的一部分，但是并没有搞清楚这是什么或者为什么它会被采用。对于年轻的 DevOps 工程师来说，使用 CI/CD 理所当然已经成为了常态，可能他们并没有看到“传统”的软件发布流程而因此不欣赏 CI/CD。CI/CD 表示...

主要为以下步骤：1.下载ArchLinux安装镜像并 制作U盘启动工具2.开机从U盘启动3.进行联网4.编辑镜像站文件(选择一个比较快的中国镜像源)5.开始分区(UEFI+GPT)6.格式化分区，并挂载7.开始安装基本操作系统8.配置基础系统9.引导系统10.用户管理11.网络配置12.安装桌面环境13.安装完后的工作开始：1.下载Arc...

目录一：Alpine Linux开启SSH远程登陆 1.简介： 2.配置 3.配置命令 4.重启服务 二：Alpine Linux源管理 1.简介 2.国内源简介： 3.配置： 3.我的配置： 三：Alpine Linux 包管理 1.简介 2.apk update 3.apk search 4.apk add 5.apk info...

适用对象使用 Alpine Linux 发行版的 Docker 镜像容器。 仅仅适用于没有安装uclibc的系统。修改步骤 进入容器命令行 ＃ docker exec -it container_name /bin/sh 安装 timezone 数据包 ＃ apk add -U tzdata＃ ls /usr/share/zoneinfo 为了防止添加...

简介产品或者项目不可能一步到位，一次性推向用户，故而有版本的存在。在app版本更新或者项目迭代的过程中，不可避免需要发布。发布就是部署/重新部署；部署就是修改；修改则意味着风险。目前有很多用于部署的技术，本文将目前常用的布署方案做一个总结。备注：本文不具有多少原创性，多是网络资源的整理，加上个人的理解。分类蓝绿部署Blue/Green Deployment定义蓝绿部署是不停老版...

Java JDK在linux系统有两个版本，一个开源版本Openjdk，还有一个oracle官方版本jdk，oracle JDK既可以通过添加ppa源命令行安装，也可以去官网下载jdk压缩包安装。下面分别记录一下这三种安装方式的步骤。安装openjdk1、更新软件包列表：sudo apt-get update2、安装openjdk-8-jdk：sudo apt-get instal...

#ubuntu系统离线安装pymysql###1. 下载离线安装包:https://pypi.python.org/packages/29/f8/919a28976bf0557b7819fd6935bfd839118aff913407ca58346e14fa6c86/PyMySQL-0.7.11.tar.gz#md5=167f28514f4c20cbc6b1ddf831ade772####2...

确保你拥有一台可以上网的ubuntu设备，系统要和无法上网的ubuntu设备一致。1、在可以上网的ubuntu设备上，对想要离线安装的组件进行预处理。（1）清理apt的下载缓存区。sudo rm -rf /var/cache/apt/archives/*（2）下载所需要的组件sudo apt-get -d install <包名>（3）创建一个目录，将下载的包拷贝到该...

来源：https://blog.csdn.net/anqixiang/article/details/103488820?utm_source=app配置完成后点击“连接”依次输入用户名和密码连接成功后在浏览器访问localhost:8080即可为了防止ssh空闲时自动退出，可以在命令行输入top命令...

前言在上一篇文章《微信支付之扫码支付、公众号支付、H5支付、小程序支付相关业务流程分析总结》中，分析和总结了微信支付相关支付类型的业务流程，这里作为与微信支付平起平坐不相伯仲的支付宝支付，当然也是每个公司少不了的第三方支付接入选择。因此，本篇文章主要分析和总结支付宝支付中的扫码支付、H5支付相关业务流程。概述1.电脑网站支付电脑网站支付，也称扫码支付，是专门针对电脑而开...

首先，利用hostname命令查看一下当前主机的主机名，在终端输入hostname，会发现显示的是完整的主机名称（主机名.域名），其中主机名与进入终端后：登录名@主机名，显示的一致，如下图所示：其次，更改主机的hostname，有三种方式：一、直接利用命令hostname <主机名>这种方法更改的主机名：1、临时性的更改，机器重启后失效 2、无法ping通二、更改/...

注意：要进入到~目录 也就是家目录下才能查看防火墙进入家目录：cd ~关闭虚拟机防火墙：关闭命令：service iptables stop永久关闭防火墙：chkconfig iptables off两个命令同时运行，运行完成后查看防火墙关闭状态service iptables status1 关闭防火墙-----service iptables stop2 启动...

版权声明：本文为博主原创文章，遵循 CC 4.0 by-sa 版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn.net/qq_19314763/article/details/81201032步骤1：下载安装XMind 8 .百度网盘下载：https://pan.baidu.com/s/1CKu1VP...

来源：https://blog.csdn.net/realzuile/article/details/82688654鉴于网上许多教程安装win7 centos7双系统后无windows启动项，而通过大白菜修复windows启动项后centos启动项又坏了，再通过easyBCD添加linux启动项后仍启动不了linux系统，写下此教程一丶工具和材料1、一台联网的电脑，或者可以先把软件下载...

安装完重启后，竟然没有引导！！！（难道是由于Windows 8在BIOS中使用了统一的 UEFI 接口？？但是，Linux基金会早就宣布将会提供一种全新的 方式使用 UEFI Secure Boot选项安装Linux系统。她两可以和平共处啊）本人对 UEFI 引导不太了解（UEFI boot 比 Legacy boot 要强大 ），只能另想办法了！！最终，决定采用 easyBCD 来引导...

遇到一个问题，错误提示是：/lib64/gcc_s.so.1: file too short。这里最初是需要执行rpm 装包的，由于rpm需要调用这个库，导致rpm及所有用到这个库的程序全部没有办法应用。通过命令locate gcc_s.so，发现这个库是个符号链接，它对应了 /lib64/libgcc_s.so.1 -> libgcc_s-4.4.3-20100127.so....

#给用户cacti赋予所有库的所有权限GRANT ALL PRIVILEGES ON *.* TO 'cacti'@'%' IDENTIFIED BY 'cacti' WITH GRANT OPTION;#重新载入赋权表FLUSH PRIVILEGES; #收回权限(不包含赋权权限)REVOKE ALL PRIVILEGES ON *.* FROM cacti;REVOKE AL...

本文将会首先介绍TCP的各个状态，然后描述TCP三次握手和四次挥手时的状态变化，最后重点介绍TIME_WAIT状态。TCP连接状态一个TCP连接在它的生命周期内会有不同的状态。下图说明了TCP连接可能会有的状态，以及基于事件的状态转换。事件中有的是应用程序的操作，有的是接收到了网络发过来的请求。TCP状态及其描述如下表。状态 描述 LISTEN 等待来自远程...

inode是一个重要概念，是理解Unix/Linux文件系统和硬盘储存的基础。我觉得，理解inode，不仅有助于提高系统操作水平，还有助于体会Unix设计哲学，即如何把底层的复杂性抽象成一个简单概念，从而大大简化用户接口。理解inode作者：阮一峰一、inode是什么？理解inode，要从文件储存说起。文件储存在硬盘上，硬盘的最小存储单位叫做”扇区”（Sector）。每个扇...

为什么需要DNS解析域名为IP地址？网络通讯大部分是基于TCP/IP的，而TCP/IP是基于IP地址的，所以计算机在网络上进行通讯时只能识别如“202.96.134.133”之类的IP地址，而不能认识域名。我们无法记住10个以上IP地址的网站，所以我们访问网站时，更多的是在浏览器地址栏中输入域名，就能看到所需要的页面，这是因为有一个叫“DNS服务器”的计算机自动把我们的域名“翻译”成了相应的I...

rsync 的命令格式rsync [OPTION]... SRC DEST推荐在 SSH 的基础上使用rsync。可以事先在~/.ssh/config中加入配置，这样远端可以写作SSH配置名:路径。目录SRC是否以斜杠结尾，会影响同步的结果：以斜杠结尾：目录DEST里面有 [目录SRC本身] 不以斜杠结尾：目录DEST里面有 [目录SRC里面的文件]目录DEST是否以斜杠结尾...

来源：http://www.ruanyifeng.com/blog/2016/03/systemd-tutorial-part-two.html上一篇文章，我介绍了 Systemd 的主要命令，今天介绍如何使用它完成一些基本的任务。一、开机启动对于那些支持 Systemd 的软件，安装的时候，会自动在/usr/lib/systemd/system目录添加一个配置文件。如果你想让...

原文：http://blog.sina.com.cn/s/blog_6390cb4c0101p96h.html无论如何，iptables是一个需要特别谨慎设置的东西，万一服务器不在你身边，而你贸然设置导致无法SSH，那就等着被老板骂吧，呵呵。。。一下内容是为了防止这种情况发生而写的，当然很初级，不过一般服务器也够用了：1.首先介绍一下指令和相关配置文件启动指令:service...

随着设备的增加及链路冗余备份的需要，或主动或被动的网络中会出现二层环路，从而产生广播风暴。当产生环路时接口利用率和CPU利用率等会急剧升高，严重时可能还会造成网络瘫痪。多生成树协议MSTP即能保证链路冗余备份，又能有效解决环路问题。1、 网络拓扑我们在eNSP模拟器中新建一个网络拓扑，拖入三台交换机如上图互联，模拟网络环路状态。切记，勿在真实网络环境下模拟。2、 业务需求...

阻塞(blocking)：该端口是非指定端口，不参与帧转发。此类端口接收 BPDU 帧来确定根桥交换机的位置和根 ID，以及最终的活动 STP 拓扑中每个交换机端口扮演的端口角色。侦听(listening) ： STP 根据交换机迄今收到的 BPDU 帧，确定该端口可参与帧转发。此时，该交换机端口不仅会接收 BPDU 帧，它还会发送自己的 BPDU 帧，通知邻接交换机此交换机端口正准备参与活动...

来源：https://my.oschina.net/LucasZhu/blog/1813110有时候我们需要判断一个元素是否在一个集合中。比如，在字处理软件中，需要检查一个单词是否拼写正确（也就是要判断它是否在已知的字典里）；在警察系统中，一个嫌疑人的名字是否出现在嫌疑名单上；在网络爬虫里，一个网址是否已经被访问过，等等。最直接的方法就是讲集合中的元素存在计算机中，遇到一个新元素时，将它和...

ubuntu 网络配置检查网络配置命令：ifconfig一、通过配置文件配置新手没怎么用过Ubuntu，所以走了不少弯路，网上找了很多方法，大都没对我起到帮助作用，所以把自己的配置方法写一写。Ubuntu上连了两块网卡，eth0为外网的eth1为内网的（VPC的特点，要和宿主机直接通讯必须组个内网）eth0上IP为自动获取eth1上为手工设置（又是VPC自己要求的）...

转载：https://www.cnblogs.com/the-tops/p/7600985.html官方包源：http://packages.ubuntu.com/ubuntu下当前安装的包保存在在：/var/cache/apt/archivesubuntu下当前安装的运用： /usr/share/applications包查找安装的命令形式，有两种为：apt 和 dpkg，，，...

第一步：查看网卡信息输入ifconfig命令查看网卡信息，下图红圈处就是网卡名称。第二步：配置网卡文件注意：不同的linux系统，网卡配置文件是不同的，这里ubuntu的网卡配置文件是/etc/network/interfaces。输入下面命令进行编辑网卡文件sudo vi /etc/network/interfaces默认的文件内容如下：auto loiface lo...

如果不在真机上安装，在虚拟机安装稍有不同，不过差距不是很大，这里主要讲解真机安装。这里我们首先需要下载系统镜像：//英文版https://www.ubuntu.com///中文版http://cn.ubuntu.com/下载镜像将镜像烧录到U盘：这里写图片描述这里写图片描述烧录时候注意选择模式：USB-HDD+ 目前兼容性较好的模式。这...

left join on +多条件与where区别重点先匹配，再筛选where条件。本文将通过几个例子说明两者的差别。表1：productid amount1 1002 2003 3004 400表2：product_detailsid weight exist2 22 04 44 15 5...

来源：https://blog.csdn.net/w305172521/article/details/52503072#声明和实例化声明：ArrayList a, 仅仅只是声明了一个list变量，其未来作用相当于C++中的引用变量，亦或者相当于一个对象块的索引，但并未为其分配具体的完整的对象所需要的内存空间，其所分配的空间仅仅只是"a"变量所需空间；实例化：实例化的过程是为对象分配完...

1.post请求wx.request(OBJECT)wx.request发起的是 HTTPS 请求。一个微信小程序，同时只能有5个网络请求连接。官网上描述参数名 类型 必填 说明 url String 是 开发者服务器接口地址 data Object、String 否 请求的参数 header Object ...

来源：https://www.cnblogs.com/vipsoft/p/3953790.html开始--运行--cmd 进入命令提示符 输入netstat -ano 即可看到所有连接的PID 之后在任务管理器中找到这个PID所对应的程序如果任务管理器中没有PID这一项,可以在任务管理器中选"查看"-"选择列"经常，我们在启动应用的时候发现系统需要的端口被别的程序占用，如何知道谁占有了我们需...

新手如何快速搭建自己的云服务器？　　来源：https://www.cnblogs.com/yspace/p/10050452.html相信很多小白对于服务器这个概念可能理解得很模糊，其实服务器说白了就是一台供你远端使用且可以一直开机的电脑而已。　　说到这里可能有人会问了，那为何不用我自己的电脑呢。其实这个问题很简单，第一你自己的电脑能保证一直不关机吗（额。。就算真的不关，停电咋整，关键...

直达链接》域名购买首先登陆上腾讯云，进入域名管理点击添加记录假如主域名为a.cn自己的网站想通过主域名访问，那么主机记录就填写@如果想通过www.a.cn,主机记录就填写www如果通过c.a.cn,主机记录为c记录类型：A，通过绑定服务器ip的方式，也是最常用的方式，别的也有介绍记录值：就是访问的目标地址，如果记录类型为A,这里就填写服务器ip...

【心路历程】最近刚好在思考工作中统计数据所用的标识码产生的数据误差到底有多大，借此机会几番搜索资料+请教大神，整理出此文。因为自己是产品经理，所以出发点是整理知识点、理解个大概、知道什么不能用、什么标识是靠谱的，并不研究太深入。毕竟非专业开发，有时候若了解知识点太深入，反倒会更困惑（关联知识点太多）。即使研究清楚了，工作中碰到和自己研究相悖的情况，也不好丢个文档告诉开发应该怎么做（除非很熟，...

Oozie简介Oozie是大数据四大协作框架之一——任务调度框架，另外三个分别为数据转换工具Sqoop,文件收集库框架Flume,大数据WEB工具Hue。它能够提供对Hadoop MapReduce和Pig Jobs的任务调度与协调。Oozie需要部署到Java Servlet容器中运行。功能相似的任务调度框架还有Azkaban和Zeus。Oozie三大功能模块从图中不难看出，Oo...

转载：https://blog.csdn.net/lewis100/article/details/79639911微信小应用示例代码(phodal/weapp-quick)源码链接：https://github.com/phodal/weapp-quick微信小应用地图定位demo(giscafer/wechat-weapp-mapdemo)源码链接：https://github.co...

来源：https://yq.aliyun.com/articles/44341Apache日志文件的正则表达式解析2010-06-22 16:52 by Register, 511 阅读,0评论,收藏,编辑使用正则表达式分隔Apache日志文件通用日志格式的Apache日志文件示例：127.0.0.1 - frank [10/Oct/2000:13:55:36 -070...

来源：https://blog.csdn.net/qq_33472765/article/details/80803227group（）在正则表达式中用于获取分段截获的字符串，解释如下代码（代码来自网络）：import rea = "123abc456"print re.search("([0-9]*)([a-z]*)([0-9]*)",a).group(0) #123abc45...

来源：https://blog.csdn.net/newhappy2008/article/details/7604956有时候我们需要定制Apache默认日志的格式和内容，比如增加或减少日志所记录的信息、改变默认日志文件的格式等。本文介绍可以用日志记录的所有信息，以及如何设置Apache使其记录这些信息。一、Apache日志格式定义　　很久以前，日志文件只有一种格式，这就是“公共...

来源：https://blog.csdn.net/winy_lm/article/details/848810381. 本地开发好的demo程序，target目录下，把META-INF 、WEB-INF、index.jsp 所有文件打成zip包，如下图：2.Linux服务器下，部署到Tomcat下，清空ROOT目录下所有文件，把1中nginx.zip文件放到ROOT目录下，解压后...

来源：https://www.cnblogs.com/lowmanisbusy/p/10223773.htmlimport pytzimport timeimport datetimeprint(pytz.country_timezones('cn')) # 查询中国所拥有的时区print(pytz.country_timezones('us')) # 查询美国所拥有的时区...

来源：https://blog.csdn.net/mdxiaohu/article/details/82430060问题描述：使用pip下载的第三方模块，在Pycharm里面无法导入。这个问题，一般新安装Python环境的电脑会遇到。这里，我以安装第三方模块 chardet（检测编码）为例，来做说明。我们先通过pip安装一下chardet。运行-》cmd，在黑屏终端输入：pip...

来源：https://www.cnblogs.com/lsm-boke/p/8849067.html　　在使用Pycharm编写程序时，我们时常需要调用某些模块，但有些模块事先是没有的，我们需要把模块添加上去。　　最近在学习爬虫，写了下面几行代码：结果出现错误错误ModuleNotFoundError: No module named 'bs4'的意思是未找到名为b...

来源：http://www.chairis.cn/blog/article/89[TOC]1. 介绍Swarm 在 Docker 1.12 版本之前属于一个独立的项目，在 Docker 1.12 版本发布之后，该项目合并到了 Docker 中，成为 Docker 的一个子命令。目前，Swarm 是 Docker 社区提供的唯一一个原生支持 Docker 集群管理的工具。它可以把多个 D...

来源：python下载：https://www.cnblogs.com/huangbiquan/p/7784533.html Python安装包下载地址：http://www.python.org/ 根据实际的操作系统，安装合适的安装版本。...

来源：https://jingyan.baidu.com/article/9faa7231fb828f473c28cb83.html在eclipse中经常使用与集成各种可以进行对代码上管理的，这个在使用eclipse中进行提交代码过程，就会存在各种上错误信息，导致代码无法提交到代码库当中，例如there are no staged files的错误的信息。工具/原料 eclipse...

来源：https://blog.51cto.com/13527416/2132270?from=timeline前言最近一年使用 Elasticsearch 完成亿级别日志搜索平台「ELK」，亿级别的分布式跟踪系统。在设计这些系统的过程中，底层都是采用 Elasticsearch 来做数据的存储，并且数据量都超过亿级别，甚至达到百亿级别。所以趁着有空，就花点时间整理一下具体怎么做 ...

来源：https://www.cnblogs.com/wangzhen3798/p/9996906.html背景今年工作的一个重点是“新技术新模式”的导入和研究。Elasticsearch技术比较火，各项目和产品用的都也比较多。其中某团队遇到一个问题：“在TB级的数据量下进行全文检索时，ES集群检索响应速度比较慢”。虽然由于各种原因没有接触到系统，没有看到代码，甚至都没见到具体现象，但是任...

来源：http://www.dalbll.com/Group/Topic/Oracle/6066一、前言数据平台已迭代三个版本，从头开始遇到很多常见的难题，终于有片段时间整理一些已完善的文档，在此分享以供所需朋友的实现参考，少走些弯路，在此篇幅中偏重于ES的优化，关于HBase，Hadoop的设计优化估计有很多文章可以参考，不再赘述。二、需求说明项目背景：在一业务系统中，部分表每天的数...

来源：https://www.cnblogs.com/liubin1988/p/7866213.htmlEL表达式中定义了11个隐式对象，使用这些隐式对象可以很方便地读取到Cookie、HTTP请求消息头字段、请求参数、Web应用程序中的初始化参数的信息，EL表达式中的隐式对象具体如下：隐式对象 作用 pageContext 对应于JSP页面中的pageContext对象...

来源：https://blog.csdn.net/xiahuale/article/details/82662138最近在做一个Mybatis的项目，学习到了一个插件mybatis-generator，即mybatis代码生成器，eclipse的配置方式有2种：离线和在线，2种方法我都尝试了，过程很波折，下面记录下自己的倒腾过程。离线安装第一步：下载Mybatis Generator插...

一、几个基本概念1.同步、异步、阻塞、非阻塞同步：用户触发IO操作，你发起了请求就得等着对方给你返回结果，你不能走，针对调用方的，你发起了请求你等异步：触发触发了IO操作，即发起了请求以后可以做自己的事，等处理完以后会给你返回处理完成的标志，针对调用方的，你发起了请求你不等阻塞：你调用我，我试图对文件进行读写的时候发现没有可读写的文件，我的程序就会进入等待状态，等可以读写了，我处理...

一、缓存雪崩缓存雪崩我们可以简单的理解为：由于原有缓存失效，新缓存未到期间(例如：我们设置缓存时采用了相同的过期时间，在同一时刻出现大面积的缓存过期)，所有原本应该访问缓存的请求都去查询数据库了，而对数据库CPU和内存造成巨大压力，严重的会造成数据库宕机。从而形成一系列连锁反应，造成整个系统崩溃。缓存正常从Redis中获取，示意图如下：缓存失效瞬间示意图如下：缓存雪崩的解决...

来源：https://blog.csdn.net/kang123488/article/details/795125700、缓存预热缓存冷启动，redis启动后，一点数据都没有，直接就对外提供服务了，mysql就裸奔（1）提前给redis中灌入部分数据，再提供服务（2）肯定不可能将所有数据都写入redis，因为数据量太大了，第一耗费的时间太长了，第二根本redis容纳不下所有的数据（3...

来源：https://www.jb51.net/article/142344.htm何为Redis？Redis是内存中的键值缓存和存储（即数据库），也可以永久保存到磁盘。在本文中，你将了解，如何在Centos 7上备份还原您的redis数据库。备份还原说明默认情况下，Redis数据将保存到磁盘中的.rdb文件中，该文件是Redis数据集的时间点快照。快照是按照指定的时间间隔进行的，...

来源：https://blog.51cto.com/hld1992/2067917redis是一个开源（BSD许可），内存存储的数据结构服务器，可用作数据库，高速缓存和消息队列代理。生产中我们主要用来存储用户的登录信息，设备的详情数据，以及会员签到点赞的信息等等。下面来记录下生产中redis的备份与恢复。提到redis备份，就不得不提及redis的持久化的两种方式：RDB和AOF。RDB...

前言在网上看了很多教程，试了很多次才发现自己的问题所在。下面做一个记录，以方便自己回头查看和帮到网上的朋友。使用mybatis generator插件的目的主要为了可以在项目中节省书写大量的实体类（entity，model，pojo），dao文件和映射文件(xxx.xml)，为程序员节省了好多时间。安装步骤先下载mybatis generator 方法：在eclipse中自动下载...

MySql中添加用户,新建数据库,用户授权,删除用户,修改密码(注意每行后边都跟个;表示一个命令语句结束):1.新建用户　　1.1 登录MYSQL：　　@>mysql -u root -p　　@>密码　　1.2 创建用户：　　mysql> insert into mysql.user(Host,User,Password) values("localhos...

来源：https://www.cnblogs.com/dengyungao/p/8426878.html在 Linux 下，我们看到的是文件夹（目录）：在早期的 UNIX 系统中，各个厂家各自定义了自己的 UNIX 系统文件目录，比较混乱。Linux 面世不久后，对文件目录进行了标准化，于1994年对根文件目录做了统一的规范，推出 FHS ( Filesystem Hierarc...

来源：https://www.cnblogs.com/swordfall/p/8655084.html1. 基础快捷键使用ctrl + c：停止进程ctrl + l：清屏ctrl + r：搜索历史命令ctrl + q：退出2.常用目录或文件夹命令说明：安装linux时，创建一个itcast用户，然后使用root用户登陆系统1.进入到用户根目录cd ~ 或 cd...

来源：https://my.oschina.net/u/3803405/blog/1791255/Linux系统下yum命令查看安装了哪些软件包：$yum list installed //列出所有已安装的软件包yum针对软件包操作常用命令：1.使用YUM查找软件包命令：yum search php2.列出所有可安装的软件包命令：yum list php...

来源：https://www.cnblogs.com/hehexiaoxia/p/4042564.html关于虚拟机VMware 3种网络模式（桥接、nat、Host-only）的工作原理http://www.cnblogs.com/hehexiaoxia/p/4042583.html操作环境主机：Windows Server 2008虚拟机：VMware station 9...

来源：https://blog.csdn.net/kadwf123/article/details/78231694参考于：http://mirrors.aliyun.com/help/centos?spm=5176.bbsr150321.0.0.d6ykiD1、备份原文件mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos...

一、下载最新版本Linux CentOS1.打开官网地址：http://www.centos.org/，点击Downloads->Mirrors 2.点击CentOS PublicMirror List 3.点击South American, Asian, Oceania, Middle Eastern, African and Other...

来源：https://www.cnblogs.com/xiaopipi/p/6214673.html#!/bin/bashfunction getdir(){ for element in `ls $1` do dir_or_file=$1"/"$element if [ -d $dir_or_file ] then ...

　　在Hadoop中，每个MapReduce任务都被初始化为一个job,每个job又可分为两个阶段:map阶段和reduce阶段。这两个阶段分别用两个函数来表示。Map函数接收一个<key,value>形式的输入，然后同样产生一个<ey,value>形式的中间输出，Hadoop会负责将所有具有相同中间key值的value集合在一起传递给reduce函数，reduce函数接收...

一、作业提交过程之 YARN（1）作业提交第0步：client调用job.waitForCompletion方法，向整个集群提交MapReduce作业。第1步：client向RM申请一个作业id。第2步：RM给client返回该job资源的提交路径和作业id。第3步：client提交jar包、切片信息和配置文件到指定...

　　Trident是基于Storm进行实时留处理的高级抽象，提供了对实时流4的聚集，投影，过滤等操作，从而大大减少了开发Storm程序的工作量。Trident还提供了针对数据库或则其他持久化存储的有状态的，增量的更新操作的原语。　　若我们要开发一个对文本中的词频进行统计的程序，使用Storm框架的话我们需要开发三个Storm组件：　　　　1.一个Spout负责收集文本信息并分段，做为sen...

　　不多说，直接上干货！http://www.cnblogs.com/zlslch/category/938837.html　　目前，市面上最流行的两种Hadoop工作流引擎调度器Azkaban与Oozie。具体，可以进一步看我的博客。　　Azkaban概念学习系列http://www.cnblogs.com/zlslch/category/938837.html　...

Azkaban的功能特点（二）　　不多说，直接上干货！http://www.cnblogs.com/zlslch/category/938837.htmlAzkaban的架构 Azkaban是一种类似于Oozie的工作流控制引擎，可以用来解决多个Hadoop（或Spark等）离线计算任务之间的依赖关系问题。也可以用其代替crontab来对周期性任务进行调度...

Azkaban是什么?（一）　　　不多说，直接上干货！http://www.cnblogs.com/zlslch/category/938837.htmlAzkaban的功能特点　　　　它具有如下功能特点：　　　　1、Web用户界面　　　　2、方便上传工作流　　　　3、方便设置任务之间的关系　　　　4、工作流调度　　　　5、认证...

　　不多说，直接上干货！http://www.cnblogs.com/zlslch/category/938837.htmlAzkaban是什么?　 Azkaban是一套简单的任务调度服务，整体包括三部分webserver、dbserver、executorserver。　　　　　　是linkin的开源项目，开发语言为Java。　　Azkaban是由Linkedin开源...

Azkaban是什么?（一）Azkaban的功能特点（二）Azkaban的架构（三）Hadoop工作流引擎之Azkaban与Oozie对比（四）　　不多说，直接上干货！http://www.cnblogs.com/zlslch/category/938837.html　　准备这四个...

但是，一般用Azkaban了。（具体见我写的另一篇博客：）官网：https://oozie.apache.org/Oozieis a workflow scheduler system tomanage Apache Hadoop jobs.Oozie Workflow jobsareDirected Acyclical Graphs (DAGs)...

前言：因为工作需要用到oozie，但是网上的资料越看越迷茫，经过很大的努力，终于折腾清楚了，这里，做一个总结，帮助后来者更好地进行入门，当然，粗鄙之言，难免疏漏，欢迎交流指正引入：对于我们的工作，可能需要好几个hadoop作业（job）来协作完成，往往一个job的输出会被当做另一个job的输入来使用，这个时候就涉及到了数据流的处理。我们不...

1.我们先通过查看磁盘命令来查看当前可用磁盘信息，如下图 2 2.因为raid1磁盘阵列的利用率是一半，所以在创建raid1磁盘的时候空间必须是要创建所需空间的2倍才可以，如下图分配两块磁盘，在分配的时候要指定分区为raid分区使用fd 3 3.分区完成后同样需要重新读取分区列表，可以看到分区已经成功 4 4.接着就...

raid1 重装系统教程是什么，网友们想重装raid1系统，raid1系统运行稳定，兼容性好，系统功能性能增强,运行效率高，系统运行安全。是非常适合我们的工作的操作系统了!那么就让小编告诉你们raid1 重装系统教程。　　系统安装教程：　　首先进入主板BIOS，在硬盘模式里，把硬盘的工作模式改为RAID，即开启主板RAID功能。注意要连接两块及以上硬盘，但要为2的倍数。保存CMOS设...