- 博客(77)
- 收藏
- 关注
RSS订阅原创 python爬虫（一）——指定小说的爬取详解
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
2020-08-14 17:31:05
3191
1
原创 hadoop完全分布式文件系统的搭建
hadoop完全分布式文件系统就是正常的分布式文件系统，不同的数据节点部署在不同的主机上，而伪分布式文件系统是不同的数据节点部署在同一个主机上。下面是完全分布式文件系统的搭建：实验环境：主机功能server1masterserver2slaveserver3slave停止伪分布式文件系统的服务：[hadoop@server1 hadoop]$ sb...
2019-12-27 20:36:56
321
原创 Hadoop单节点及伪分布式文件系统的搭建
实验环境：rhel7.3虚拟机主机信息实现功能server1hadoop真机测试1.创建hadoop用户将hadoop相关安装包都放在hadoop用户家目录下,并将安装包的所属用户和组改为hadoop[root@server1 ~]# useradd hadoop[root@server1 ~]# passwd hadoopChanging passw...
2019-12-21 23:53:37
287
原创 Git本地仓库的搭建
由于Git为分布式版本控制系统，所以其可以在本地搭建一个代码仓库，用于本地代码的管理与下载，以下为操作步骤：安装git命令，linux内核里自带git的安装包：yum install git -y创建本地仓库，并且初始化：[root@server1 ~]# mkdir redhat #这里创建的版本库的名字为demo[root@server1 ~]# cd redhat/[root...
2019-12-20 23:28:36
228
1
原创 GIT分布式版本控制系统--基础介绍
1.Git介绍Git是一个开源的分布式版本控制系统，可以有效、高速地处理从很小到非常大的项目版本管理。Git 是 Linus Torvalds 为了帮助管理 Linux 内核开发而开发的一个开放源码的版本控制软件。2.分布式版本控制系统2.1 介绍分布式版本控制 (DVCS) 是一种不需要中心服务器的管理文件版本的方法，但是它也可以使用中心服务器。更改可以被合并到 DVCS 的任何其他用户...
2019-12-20 22:12:12
245
原创 MFS网络分布式文件系统--基本功能的实现
1.实验环境：rhel7.3虚拟机master：172.25.61.1masterlogger：172.25.61.2chunk1：172.25.61.3chunk2：172.25.61.4client：172.25.61.2502.master:进入MFS官网，有标准教程：https://moosefs.com/download/#current首先要确保本机能连通外部网络，然后...
2019-12-20 21:26:26
329
原创 MFS网络分布式文件系统--基本介绍
MooseFS是一个具有容错性的网络分布式文件系统。它把数据分散存放在多个物理服务器上，而呈现给用户的则是一个统一的资源。
2019-12-19 23:32:26
223
原创 在linux系统下更新火狐浏览器
最近在开始写博客时，遇到了一个问题，在火狐浏览器上不能写csdn的博客，然后咨询了一些大佬，说是要更新火狐浏览器，下面是更新浏览器的步骤：1.首先在百度上搜索firefox，记得一定要进firefox的官网，否则下的版本不一定和操作：...
2019-12-19 16:10:39
4961
原创 企业级分布式监控------zabbix平台的搭建
1.安装及配置zabbix#启一台虚拟机先搭建server端[root@server1 ~]# cd 4.0[root@server1 ~]# yum install -y zabbix-server-mysql-4.0.5-1.el7.x86_64.rpm zabbix-web-mysql-4.0.5-1.el7.noarch.rpm zabbix-web-4.0.5-1.el7.noar...
2019-11-08 22:49:58
538
原创 企业级分布式监控------zabbix介绍
1.为什么要使用zabbix？对于一个运维人员来说，它的主要工作就是监控自己所负责的服务器的运行状态，而一个服务器不可能只运行一个业务，而当其中一个业务出现问题时，我们不可能时时刻刻待在公司监控所有业务，所以就需要一个工具能够时时刻刻代替我们监控服务器的运行状态，显示服务器的运行状态，储存服务器的运行信息以便我们以后的分析和优化，并且能够在某一个业务出现故障时，能够及时给运维人员发送报警信息，使...
2019-11-08 20:20:16
276
原创 企业级redis数据库集群
这篇文章主要是接着上一篇文章，上一篇文章讲了关系型数据库mysql的复制，而这篇文章讲的是非关系型数据库redis的复制通过持久化功能，Redis保证了即使在服务器宕机情况下数据的丢失非常少。但是如果这台服务器出现了硬盘故障、系统崩溃等等，不仅仅是数据丢失，很可能对业务造成灾难性打击。为了避免单点故障通常的做法是将数据复制多个副本保存在不同的服务器上，这样即使有其中一台服务器出现故障，其他服务器...
2019-11-01 23:19:13
217
原创 企业级mysql数据库集群
######mysql#######1.mysql的主从复制1)下载mysql的rpm包tar xf mysql-5.7.24-1.el7.x86_64.rpm-bundle.tar2)安装需要的包yum install -y mysql-community-client-5.7.24-1.el7.x86_64.rpm mysql-community-common-5.7.24-1.el...
2019-10-26 09:07:15
253
原创 企业级负载均衡集群——lvs的TUN模式（隧道模式）
1.TUN模式的工作原理TUN模式简称隧道模式，隧道模式就是修改请求报文的首部IP，再加一层IP报头优点：DS和RS不需要在同一网段，可以实现不同网络之间的访问数据流向如下数据包从客户端发往DS服务器，DS服务器会根据调度策略确定要把请求给哪台RS，会在数据包外面再加一层IP报头此时源IP从CIP（172.25.8.250）变为了VIP（DIP172.25.8.100）目的IP从VIP...
2019-10-25 22:54:45
287
原创 企业级负载均衡—— LVS（DR模式）+KeepAlived（HA高可用）实现高可用的稳定性集群
我们之前都是一个调度器来调度多台web后端服务器但是调度器也有不能工作的时候，万一坏了所有的web服务器都不能访问，这就要求调度器也要备份，因此就引出了高可用的集群KeepAlived也就是有多个调度器（有主有备），利用keepalived保证web服务通过正常的调度器工作所有调度器同时宕机的可能性是很小的1.keepalived的基本概念Keepalived是Linux下的一个轻量级别...
2019-10-25 22:14:47
149
原创 企业级负载均衡集群——lvs的DR模式（直接路由模式）详细说明
1.DR模式的原理其实就是在一台主机上面搭建lvs服务器，设置lvs的工作模式是DR模式，lvs仅仅是一个调度器，它会把客户端的请求转发给后备服务器DR模式直接由后备服务器把数据返回给客户端，不需要逆向发送数据包，此时lvs专注做调度就可，效率很高此时lvs调度器叫做DS调度器(director server)，RS是真正的后端web服务器(real server)Client发送请求 -...
2019-10-18 22:23:13
300
原创 企业级负载均衡集群——lvs负载均衡的基础知识
1.lvs的介绍LVS（Linux Virtual Server）即Linux虚拟服务器，是由章文嵩博士主导的开源负载均衡项目，目前LVS已经被集成到Linux内核模块中该项目在Linux内核中实现了基于IP的数据请求负载均衡调度方案，其体系结构下图所示终端互联网用户从外部访问公司的外部负载均衡服务器，把终端用户的Web请求会发送给LVS调度器调度器根据自己预设的算法决定将该请求发送给后端...
2019-10-18 17:23:03
180
原创 企业CDN缓存之varnish扩展功能
1.搭建一个varnish系统为具有多个资源的web后端服务器服务上一篇的web服务器上面都只有一项资源，比如server2和server3上面只有一个域名对应的显示页面实际在企业当中，比如百度的服务器：包括地图资源、新闻资源等等现在我也想实现一台主机上放多个资源，也就是给web服务器建立虚拟主机，然后结合varnish加速器实现此功能接下来我将在server3上面搭建apache虚拟主机...
2019-10-18 00:12:24
110
原创 企业CDN缓存之varnish
讲这部分之前，我们先来了解一下什么是CDN和varnish，以及varnish的优势。CDN介绍CDN的全称是（Content Delivery Network），即内容分发网络；加速器，反向代理缓存。CDN系统能够实时的根据网络流量和各节点的连接，负载状况以及到用户的举例和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上，其目的是使用户可以就近取得所需内容，解决Internet网...
2019-10-16 20:25:34
251
原创 Python的学习-Python中面向对象的思想
面向过程 面向对象(oop:object oriented programming)面向过程：—侧重于怎么做？1.把完成某一个需求的 所有步骤 从头到尾 逐步实现2.根据开发要求，将某些功能独立的代码封装成一个又一个函数3.最后完成的代码，就是顺序的调用不同的函数特点：1.注重步骤和过程，不注重职责分工2.如果需求复杂，代码变得非常复杂3.开发复杂的项目的时候，没有固定的套路，开发...
2019-09-27 23:58:49
463
原创 Python的学习-Python中的数据库调用
任何的编程语言都不能绕开对于数据库的调用和操作，不然它就不能广泛被使用，今天就来讨论一下Python对于两种数据库的调用和操作。mysql和redis的区别1.mysql和redis的数据库类型mysql是关系型数据库，主要用于存放持久化数据，将数据存储在硬盘中，读取速度较慢。redis是NOSQL，即非关系型数据库，也是缓存数据库，即将数据存储在缓存中，缓存的读取速度快，能够大大的提高运...
2019-09-27 21:04:09
994
1
原创 Python的学习-Python中的异常处理
什么是异常？异常即是一个事件，该事件会在程序执行过程中发生，影响了程序的正常执行。一般情况下，在Python无法正常处理程序时就会发生一个异常。异常是Python对象，表示一个错误。当Python脚本发生异常时我们需要捕获处理它，否则程序会终止执行。异常处理捕捉异常可以使用try/except语句。try/except语句用来检测try语句块中的错误，从而让except语句捕获异常信...
2019-09-27 18:34:17
277
原创 Python的学习-Python中的itchat模块
itchat是一个开源的微信个人号接口，使用python调用微信从未如此简单。使用不到三十行的代码，你就可以完成一个能够处理所有信息的微信机器人。今天我们就看一下itchat的使用方式。1.给手机助手发送消息import itchat #第三方模块 需要网络下载import time #导入时间模块itchat.auto_login() #登录微信while True:#给微信的手机助...
2019-09-26 16:15:10
815
原创 Python的学习-Python测试
一、选择题1.运行下面python表达式后, x的值是()。 Cx = 3 == 3, 5A.3B.5C.(True, 5)D.(False, 5)E.(TRUE, 5)F.(FALSE, 5)G.(1, 5)2. 下面哪几个可以用于测试一个对象是否是一个可迭代对象? CDEA.typeB.idC.forD.whileE.isinstanceF.typeC和D就...
2019-09-21 00:05:21
1359
原创 Python的学习-Python中的difflib内置模块
什么是difflib? 用来做什么?difflib为python的标准库模块，无需安装。作用时对比文本之间的差异。并且支持输出可读性比较强的HTML文档，与Linux下的diff 命令相似。在版本控制方面非常有用。符号理解符号 含义‘-’ 包含在第一个系列行中，但不包含第二个。‘+’ 包含在第二个系列行中，但不包含第一个。’ ’ 两个系列行一致‘?...
2019-09-20 21:45:16
123
原创 Python的学习-Python中的time模块
复习：Linux下文件的三个时间参数：（1）modification time(mtime):内容修改时间这里的修改时间指的是文件的内容发生变化，而更新的时间。（2）change time(ctime):状态修改时间这里的修改时间指的是文件的属性或者权限发生变化，而更新的时间。（3）access time(atime):最后访问时间这里的访问时间是指文件被读取，而更新的时间。1.时...
2019-09-20 21:27:20
256
原创 Python的学习-Python中的os模块和sys模块
Python OS模块包含普遍的操作系统功能。如果你希望你的程序能够与平台无关的话，这个模块是尤为重要的。os模块的基本指令：import os#1.返回操作系统的类型 posix为Linux，nt为Windowsprint(os.name)print(‘Linux’ if os.name == ‘posix’ else ‘Windows’)#2.操作系统的详细信息info=os....
2019-09-20 20:08:38
137
原创 Python的学习-Python中对文件的操作
打开文件的三步：打开->操作->关闭1.对普通文件的操作r(默认)-只能读，不能写-读取文件不存在，报错r+:-可读,可写-文件不存在,会报错-默认情况下,从文件指针所在位置开始写入w:-write only-会清空文件之前的内容-文件不存在，会创建新文件并写入w+:-rw-会清空文件内容-文件不存在,会创建新文件并写入a:-write only-...
2019-09-20 18:33:52
137
原创 Python的学习-Python中函数装饰器的应用
回顾练习：有一个整数列表(10个元素)，要求调整元素的顺序把奇数放在前面 偶数放在后面import randoms=[]for i in range(10):x=random.randint(1,100)s.append(int(x))def move(x):if x%2==0:return 3else:return 2print(list(sorted(s,key=mo...
2019-09-19 23:57:41
346
原创 Python的学习-Python中高阶函数的应用
1.高阶函数的介绍变量可以指向函数,函数的参数能接收变量,那么一个函数就可以接收另一个函数作为参数,这种函数就称之为高阶函数。def fun(x,y,f):return f(x),f(y)print(fun(-10,24,abs))2.map函数map()函数接收两个参数，一个是函数，一个是序列map将传入的函数依次作用到序列的每个元素，并把结果作为新的序列返回#序列[-1,2,...
2019-09-13 00:33:42
233
原创 Python的学习-Python中生成式的应用
1.列表生成式列表生成式即List Comprehensions，是Python内置的非常简单却强大的可以用来创建list的生成式。s = ‘51 5000 10000’li = []for item in s.split():li.append(int(item))k,a,b = liprint(k,a,b)#上面这几行 代码可以用下面这一行代码来代替k,a,b = [int(...
2019-09-12 23:38:36
158
原创 Python的学习-Python中函数的应用
函数是组织好的，可重复使用的，用来实现单一，或相关联功能的代码段。函数能提高应用的模块性，和代码的重复利用率。你已经知道Python提供了许多内建函数，比如print()。但你也可以自己创建函数，这被叫做用户自定义函数。定义一个函数你可以定义一个由自己想要功能的函数，以下是简单的规则：函数代码块以 def 关键词开头，后接函数标识符名称和圆括号 ()。任何传入参数和自变量必须放在圆括号中...
2019-09-12 23:09:56
434
原创 Python的学习-Python中字典的应用
字典是另一种可变容器模型，且可存储任意类型对象。字典是一个无序的数据集合通常输出顺序和定义顺序不一样字典的每个键值(key=>value)对用冒号(:)分割，每个对之间用逗号(,)分割，整个字典包括在花括号({})中 。键必须是唯一的，但值则不必。1.字典的创建将两个列表转换成一个字典：users = [‘user1’,‘user2’]passwds = [‘123’,‘45...
2019-09-12 22:09:56
246
原创 Python的学习-Python中集合的应用
集合（set）是一个无序的不重复元素序列。1.集合的创建可以使用大括号 { } 或者 set() 函数创建集合，注意：创建一个空集合必须用 set() 而不是 { }，因为 { } 是用来创建一个空字典。#集合里面的元素是不可重复的s = {1,2,3,1,2,3,4,5}print(s)print(type(s))运行结果：s2 = {}print(type(s2)) #创建...
2019-09-12 21:18:06
822
原创 Python的学习-Python中元组的应用
Python的元组与列表类似，不同之处在于元组的元素不能修改。元组使用小括号，列表使用方括号。1.元组的创建元组创建很简单，只需要在括号中添加元素，并使用逗号隔开即可。元组：元组本身是不可变数据类型，没有增删改查元组可以存储任意数据类型t = (1,2.3,‘westos’,True)print(t,type(t))运行结果：#元组里包含可变数据类型，可以间接修改元组内容t1...
2019-09-12 20:27:12
1159
原创 Python的学习-Python中常用的内置方法
Python中有一些内置的常用函数，而不需我们在将这些函数定义出来，如以下的几种常用的函数：1.求最小值li=(7,8,4,6,3,4,8,6)print(min(li))运行结果：2.求最大值li=(7,8,4,6,3,4,8,6)print(max(li))运行结果：3.求和li=(7,8,4,6,3,4,8,6)peint(sum(li))运行结果：4....
2019-09-12 19:31:31
89
原创 Python的学习-Python中列表的应用
1.列表的创建数组:存储同一种数据类型的集合scores = [34,56,90,100…]列表(打了激素的数组):可以存储任意数据类型list = [1,1.2,True,‘westos’]print(list,type(list))#列表里面也可以嵌套列表list2 = [1,1.2,True,‘westos’,[1,2,3,4]]print(list2,type(list2))...
2019-09-01 18:52:31
359
原创 Python作业-2
设计一个程序，帮助小学生练习10以内的加法详情:- 随机生成加法题目;- 学生查看题目并输入答案;- 判别学生答题是否正确?- 退出时, 统计学生答题总数,正确数量及正确率(保留两位小数点)；import randomn=0t=0f=0while 2>1:n+=1a=random.randint(1,10)b=random.randint(1,10)print(...
2019-09-01 17:38:51
258
原创 Python的学习-Python中常用的语句(二)及字符串的应用
1.break,exit()和continuefor i in range(10): # 0~9if i == 5:#break#continueexit()print(i)print(‘hello’)break:跳出整个循环 不会再执行循环后面的内容continue：跳出本次循环，continue后面的代码不会执行exit():结束程序的运行2.命令行提示符的实...
2019-09-01 15:40:58
178
原创 Python的学习-Python中常用的语句(一)
1.pycharm的安装1.先下载pycharm —>去官网下载(www.python.org)2.tar zxf pycharm-community-2019.2.1.tar.gz #由于下的是社区版，以管理员的身份运行时会出错，所以将安装包解压到普通用户可以使用的地方3.chmod -R 777 /usr/local/python3 #修改python3的权限，使普通用户可以使用p...
2019-08-29 16:01:57
338
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人