- 博客(19)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 CMDB认识和需求分析
CMDB认识和需求分析 一、认识ITIL ITIL即IT基础架构库(Information Technology Infrastructure Library，信息技术基础架构库)由英国政府部门CCTA(Central Computing and Telecommunications Agency)在20世纪80年代末制订，现由英国商务部OGC...
2018-12-29 00:03:00
727
原创 自动化运维开发
自动化运维开发 一、自动化运维与持续集成自动化运维与Saltstack二、CMDB系统开发 三、审计和主机管理系统开发 四、分布式监控系统开发 posted @ 2018-12-28 23:06 休耕 阅读(...) 评论(...) 编...
2018-12-28 23:06:00
509
原创 vim基本操作思维导图
vim基本操作思维导图 posted @ 2018-12-28 22:45 休耕 阅读(...) 评论(...) 编辑 收藏
2018-12-28 22:45:00
254
原创 自动化运维与Saltstack
自动化运维与Saltstack 一、自动化运维介绍1、自动化运维产生背景 传统的IT运维是将数据中心中的网络设备、服务器、数据库、中间件、存储、虚拟化、硬件等资源进行统一监控，当资源出现告警时，运维人员通过工具或者基于经验进行排查，找出问题并加以解决。但是，随着互联网+时代的到来，移动互联网、云计算和大数据技术得到了广泛应用，从而导致企业所管...
2018-12-26 13:51:00
253
原创 keepalived+nginx 高可用集群
keepalived+nginx 高可用集群 一、什么是高可用？ nginx做负载均衡，能达到分发请求的目的，但是不能很好的避免单点故障。1、nginx集群单点问题分发器宕机怎么处理？假如nginx服务器挂掉了，那么所有的服务也会跟着瘫痪 。一种方法是人为监控，发现主分发器宕机后，立马登录备分发器，并给它分配虚ip。另一种办法是用软...
2018-12-24 23:36:00
170
原创 Nginx集群（负载均衡）
Nginx集群（负载均衡） 一、集群介绍1、传统web访问模型（1）传统web访问模型完成一次请求的步骤1）用户发起请求2）服务器接受请求3）服务器处理请求（压力最大）4）服务器响应请求（2）传统模型缺点单点故障；单台服务器资源有限（客户端则是无限的）；单台服务器处理耗时长（客户等待时间过长）；（3）传统模型优化——单点故...
2018-12-21 13:38:00
477
原创 Nginx优化
Nginx优化 一、Nginx优化思路1、优化目的 标准情况下，软件默认的参数都是对安装软件的硬件标准（最低配置）来设置的，目前我们服务器的硬件资源远远大于要求的标准，所以为了让服务器性能更加出众，充分利用服务器的硬件资源，我们一般需要优化APP的并发数来提升服务器的性能。 总结来说：1.服务器大并发实现；2.提升用户体验；3.为公司省钱...
2018-12-19 18:37:00
269
原创 Nginx管理(二)
Nginx管理(二) 一、Nginx虚拟主机 一个web服务器软件默认情况下只能发布一个web，因为一个web分享出去需要三个条件（IP、Port、Domain name） Nginx虚拟主机实现一个web服务器软件发布多个web。 虚拟主机就是将一台物理服务器划分成多个“虚拟”的服务器，每个虚拟主机都可以有独立的域名和独立的目录。 ...
2018-12-12 23:40:00
1089
原创 Nginx管理(一)
Nginx管理(一) 一、Nginx介绍 Nginx (engine x) 是一个高性能的HTTP和反向代理服务，也是一个IMAP/POP3/SMTP服务。1、Nginx历史和特性 Nginx是由伊戈尔·赛索耶夫为俄罗斯访问量第二的Rambler.ru站点（俄文：Рамблер）开发的，第一个公开版本0.1.0发布于2004年10月4日...
2018-12-11 13:49:00
224
原创 业务环境、测试、上线逻辑
业务环境、测试、上线逻辑 一、业务部署逻辑1、服务器部署架构2、软件部署文档3、日常维护文档二、测试1、开发上传代码到源码系统2、上线一测服务器（内测）3、预发布测试（公测）三、上线1、产品需求确认2、产品研发确认3、产品测试确认4、上线流程文档5、跟着统计用户反馈情况...
2018-12-09 22:57:00
122
原创 服务器部署逻辑
服务器部署逻辑 一、服务器选择 服务器，也称伺服器，是提供计算服务的设备。现在可选择的服务器主要分为两种：物理服务器和云服务器。1、物理服务器 物理服务器的构成包括处理器、硬盘、内存、系统总线等，和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。CPU：...
2018-12-09 21:26:00
486
原创 python面试题——爬虫相关
python面试题——爬虫相关 1、接触过几种爬虫模块 urllib、requests这两种爬虫模块。2、robots协议是什么？ 它就是一个防君子不防小人的协议，网站有一些数据不想被爬虫程序爬取，可以编写robots协议文件，明确指明哪些内容可以爬取哪些不可以爬取。 requests模块中并没有使用硬性的语法对该协议进行生效操作。...
2018-12-09 14:12:00
137
原创 Scrapy框架之基于RedisSpider实现的分布式爬虫
Scrapy框架之基于RedisSpider实现的分布式爬虫 需求：爬取的是基于文字的网易新闻数据(国内、国际、军事、航空)。 基于Scrapy框架代码实现数据爬取后，再将当前项目修改为基于RedisSpider的分布式爬虫形式。一、基于Scrapy框架数据爬取实现1、项目和爬虫文件创建$ scrapy startproject wang...
2018-12-09 02:06:00
339
原创 Scrapy框架之分布式操作
Scrapy框架之分布式操作 一、分布式爬虫介绍 分布式爬虫概念：多台机器上执行同一个爬虫程序，实现网站数据的分布爬取。1、原生的Scrapy无法实现分布式爬虫的原因？调度器无法在多台机器间共享：因为多台机器上部署的scrapy会各自拥有各自的调度器，这样就使得多台机器无法分配start_urls列表中的url。管道无法给多台机器共享：...
2018-12-08 00:59:00
166
原创 Scrapy框架之CrawlSpider
Scrapy框架之CrawlSpider 针对问题：如果想对某一个网站的全站数据进行爬取，该如何处理？ 解决方案：手动请求的发送：基于Scrapy框架中的Spider的递归爬取进行实现（Request模块递归回调parse方法）CrawlSpider：基于CrawlSpider的自动爬取进行实现（更加简洁和高效）一、CrawlSpid...
2018-12-06 13:41:00
105
原创 Scrapy框架之日志等级和请求传参
Scrapy框架之日志等级和请求传参 一、Scrapy的日志等级 在使用scrapy crawl spiderFileName运行程序时，在终端里打印输出的就是scrapy的日志信息。1、日志等级（信息种类）ERROR：错误WARNING：警告INFO：一般信息DEBUG：调试信息（默认）2、设置日志信息指定输出 在sett...
2018-12-06 08:31:00
231
原创 Scrapy框架之代理和cookie
Scrapy框架之代理和cookie Cookie 是在 HTTP 协议下，服务器或脚本可以维护客户工作站上信息的一种方式。Cookie 是由 Web 服务器保存在用户浏览器（客户端）上的小文本文件，它可以包含有关用户的信息。无论何时用户链接到服务器，Web 站点都可以访问 Cookie 信息cookie需要个人用户登录网站。 场景需求：获取用...
2018-12-02 23:53:00
182
原创 Redis
Redis 一、redis介绍 redis是一个key-value存储系统。和Memcached类似，它支持存储的values类型相对更多，包括字符串、列表、哈希散列表、集合，有序集合。 这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，redis支持各种不同方式...
2018-12-02 18:23:00
61
原创 Scarpy框架持久化存储
Scarpy框架持久化存储 一、介绍 持久化存储操作分为两类：磁盘文件和数据库。 而磁盘文件存储方式又分为：基于终端指令和基于管道二、基于终端指令的持久化存储 Scrapy是通过 scrapy 命令行工具进行控制的。 这里我们称之为 “Scrapy tool” 以用来和子命令进行区分。 对于子命令，我们称为 “command” 或者 ...
2018-12-02 00:33:00
156
Notepad++6简体中文便携版
2013-04-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人