- 博客(93)
- 收藏
- 关注
RSS订阅转载 Tornado实现监控数据实时展示
前言：IthasbeenawhilesinceIlastupdated my blogs.使用Tornado开发一个实时监控信息系统，其中包括 CUP、内存、网卡、磁盘使用率。涉及技术编程语言：Python关系型数据库：MySQLWeb框架：Tornado数据库连接驱动：mysql-connector-python数据库ORM：sql...
2019-08-27 11:00:00
1085
转载 英语语法
绿色代表：修饰的方向蓝色代表：替换的方向如何区分定语和宾语补足语？1.根据其名字来说二者就不同，所谓宾补就是补充说明宾语的使宾语的意思完整的，去掉它宾语的意思就不完整。eg,make me happy 如果你把它的happy 去掉的话让我怎么样，谁也不知道，这个就不是完整的句式2.从定义来讲，修饰限定宾语的就叫定语，定语对...
2019-07-11 10:17:00
292
转载 从句
前言：本文主要介绍英语中的宾语从句；一、宾语从句概念什么是宾语从句呢？本质就是整个句子相当于1个名词充当主句的宾语；I know that she loves me.就是1个宾语从句，that是连接词；当你看到连接词的时候，一定要想到从句；1.什么情况使用宾语从句？宾语从句是用来代替宾语的，所以哪里缺少宾语，宾语从句就会出现在哪里？（1）主-谓-宾...
2019-07-10 09:02:00
370
转载 Gevent模块
前言如何在使用1个线程的前提下，提网站的并发性，使用协程？如果要使用协程首先要解决2个问题：1.如何检测到代码中遇到了IO操作？（XX）2.如何在线程代码里上下切换？（Greelet模块）而Gvent模块封装好了以上2种功能，可以让我们在python中优雅的使用协程；一、Gvent是什么？:\版本1\cmdb_rbac_arya>pip sho...
2019-07-03 10:16:00
485
转载 Web堡垒机
前言：如何向Leader体现出运维人员的工作价值？工单！如何自动记录下他们的操作，堡垒机！我看了网上有说 GateOne是一款开源的堡垒机解决方案，但是部署上之后发现了一个痛点， 我如何在不使用 公钥、私钥的前提下，基于web shh 实现 点击按钮进行一键登录--------》使用xshell一样使用Linux ------》退出之后记录操作日志，我可以修改GateOne的源码！但...
2019-06-18 18:18:00
283
转载 基于Kubernetes构建企业容器云
前言团队成员有DBA、运维、Python开发，由于需要跨部门向公司私有云团队申请虚拟机， 此时我在思考能否在现有已申请的虚拟机之上，再进行更加细粒度的资源隔离和划分，让本团队的成员使用， 也就是在私有云上构建docker容器云，于是研究下Kubernetes，看一下能否找到一些突破点？Kubernetes（库伯耐踢死），省略了Kubernetes中间8个字母，简称K8S；...
2019-04-26 08:16:00
3007
转载 OpenStack
前言OpenStack是 模仿亚马逊 AWS 使用python开发的 IssA层实现框架，openstack遵循Apache2.0协议，使我兴奋的是它的WEB管理模块 horizon，是使用Django开发的，站在巨人的肩膀上，也许我可以对其进行二次开发；openstack涉及知识大而全，本文主要介绍openstack以下内容openstack概念openstack...
2019-04-09 06:16:00
309
转载 CloudStack 云计算平台框架
前言CloudStack 和OpenStack 一样都是IaaS层 开源框架，可以管理XenServer、ESXI、KVM、OVM等主流虚拟机，相对OpenStack比较简单、稳定；二、Cloud Stack架构Zone：相当于现实中的1个数据中心，它是CloudStack中最大的一个单元Pod(机柜):1个Zone包含N个PodPod(集群):1个...
2019-03-29 05:18:00
608
转载 Docker 容器技术
前言：之前感觉Docker是一种小虚拟机，docker和KVM虚拟机之间有什么区别、联系、可以应用在什么样的生产环境？一、Docker是什么以及和KVM的区别1.docker概念？Docker是基于LXC容器技术使用Go开发的开源软件，可以打包代码的运行环境+代码，并且移植性强，可以把代码的运行环境+代码打包成docker镜像，到处运行；2.docke...
2019-03-19 09:19:00
1290
转载 云计算概述和KVM虚拟化
前言：近些年一直听着 虚拟化、云计算、公有云、私有云、混合云这些个概念，一直想着....这些概念要用什么技术实现？一、云计算的概念1.传统IDC机房面都会临什么问题？任何新事物都是由需求催生的，之前网站上线基本上会有以下几种选择：IDC托管：买台服务托管到IDC机房---》安装系统----》部署应用---》域名备案------》上线IDC租用：租...
2019-03-16 18:16:00
218
转载 Python3调用Hadoop的API
前言：上一篇文章 我学习使用pandas进行简单的数据分析，但是各位...... Pandas处理、分析不了TB级别数据的大数据，于是再看看Hadoop。另附上人心不足蛇吞象对故事一的感悟：人的欲望是无止境的，我们每次欲求一点，欲望便增长一点。但身体是有极限的，总有一天，我们因为渴求太多，最终所有都化为飞灰。Hadoop背景我接触过的数据总结为3类：...
2019-02-27 14:30:00
706
转载 Pandas模块
前言：最近公司有数据分析的任务，如果使用Python做数据分析，那么对Pandas模块的学习是必不可少的；本篇文章基于Pandas0.20.0版本话不多说社会你根哥！开干！pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pandas==0.20.0一、数据分析需要的基本数据结构数据...
2019-01-28 14:42:00
539
转载 Django全文检索（django-haystack+whoosh+jieba）
前言：全文检索就是针对所有内容进行动态匹配搜索的概念，针对特定的关键词建立索引并精确匹配达到性能优化的目的class Whoose_seach(object): analyzer = ChineseAnalyzer() # 导入中文分词工具 def __init__(self,table,field,url): ...
2019-01-24 17:14:00
186
转载 自动化运维开发项目
前言：从宏观环境来看互联网用户正在飞速发展，在我国互联网的普及率已接近了60%；互联网用户的上涨势必会对网站的规模和性能带来更大的要求，所以就需要1个庞大的系统 支撑起海量用户的并发访问；对于运维人员来说我们需要 以一种更加自动化的方式 加速运维效率应对突发流量，以及更加可靠的技术手段保障系统稳定运行；2大核心功能：资产自动化扫描、发现 (CMDB)Ansib...
2018-12-17 15:47:00
759
转载 MySQL数据库再回首
前言：数据库是程序员的数据源泉，加上近期 要开发DB可视化、性能分析的功能 重新回顾一下MySQL知识，以下是笔记；MySQL架构MySQL基础理论1.什么是关系型数据库？关系型数据库，这个关系怎么讲呢？简单来说关系就是 通过行、列组成一张二维表 把所有数据关联、表现出来；列：从不同方面描述1类实体数据的属性；行：...
2018-11-20 16:10:00
267
转载 自动化运维工具
前言本文主要记录了一些比较实用的运维自动化小工具Oauth2.0认证（第三方授权登录）1.Oauth2.0协议是什么？我去逛慕课网 如果不注册账号，我还可以用QQ登录，我在慕课网点击QQ登录，然后页面弹出QQ的授权界面，我点击授权慕课网就可以拿到我的个人信息，头像信息，完成快速登录；省去了用户注册、输入密码的时间；Oauth2.0验证流程分析...
2018-10-29 11:05:00
4027
转载 Python ORM框架之SQLAlchemy
前言：Django的ORM虽然强大，但是毕竟局限在Django，而SQLAlchemy是Python中的ORM框架；SQLAlchemy的作用是：类/对象--->SQL语句--->通过pymysql/MySQLdb模块--->提交到数据库执行；组成部分：Engine，框架的引擎Connection Pooling ，数据库连接池...
2018-10-11 13:34:00
162
转载 词性
前言：英语语法系统地总结归纳出来的一系列语言规则。英语语法的精髓在于掌握语言的使用。本文主要介绍词性；名词在世界上表示人、物、地名这三大类都可以成为名词；1.名词戴帽子名词戴帽子就是如果在没有特殊情况下，都需要在名称前 + 冠词（a / an / the / this / that ......）a gril a station a c...
2018-08-28 10:19:00
2906
转载 Scrapy爬虫框架
前言：使用 requests + Beautifulsoup的爬虫模式，随着业务的扩展，会遇到 性能、数据快速存储、多爬虫统一管理的问题，所以选择了爬虫框架----Scrapy！Scrapy爬虫介绍Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 其可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确...
2018-08-06 13:47:00
130
转载 分布式监控系统（类zabbix）
目录：为什么要做监控？监控系统业务需求分析；监控系统架构设计；监控系统表结构设计；一、为什么要做监控系统？市面上已经有很多成熟的监控系统，例如zabbix、nagios，为什么自己开发监控系统？1.提示个人开发能力；2.熟悉成熟监控系统的设计思想、架构、解耦原则；3.调用 zabbix/openfalcon/nagios的API进行个人开发定制；...
2018-07-27 09:13:00
140
转载 通用权限系统
前言：权限是什么？对于web程序来说，一条权限 = 一个动作 =一个url + 一种请求方法(get/post/put...) + 若干个请求参数（？name="name"&sex=1&age=10 ...）用户访问的每个不同的 fullpath就决定了用户能获取到什么；通过区分fullpath就可以做到web程序的权限控制；一、Django的...
2018-07-25 10:13:00
174
转载 批量执行（Linux命令，上传/下载文件）
前言： 每个公司的网络环境大都划分 办公网络、线上网络，之所以划分的主要原因是为了保证线上操作安全；对于外部用户而言也只能访问线上网络的特定开放端口，那么是什么控制了用户访问线上网络的呢？防火墙过滤......！对于内部员工而言对线上系统日常运维、代码...
2018-07-08 15:23:00
1111
转载 jQueryUI
前言作为一个的后端开发人员，把前端技术做到很好这显然是矛盾的，如果所处团队没有前端人员，使用UI框架到也不失为一个不错的选择，UI框架有很多例如bootstrap、easyUI....本文主要介绍jQueryUI；概述Query UI 是建立在JavaScript、 jQuery之上的UI库，主要包含：交互组件、部件、高级效果....下载：https://j...
2018-05-11 09:53:00
364
转载 Zabbix监控系统
前言：一个初略自动化运维平台，应该实现以下3个层面自动化：1.操作系统层面自动化如果想要万台服务器共舞，没有操作系统这个舞台还怎么舞？1.1:物理环境：OS预备自动安装（Pxe/KickStart/Cobbler）1.2:云环境Iaas实现框架（OpenStack）2.应用软件层面自动化拥有操作系统之后万人登场，如何统一指挥（安装、配置、管...
2018-02-12 09:10:00
201
转载 绘图之EasyUI+Highcharts+Django
前言：在web开发过程中经常会出现图表展示数据的业务需求，如何把数据通过图表的形式，展示在页面上呢？本文将结合EasyUI、Highcharts、Django做一个简单的图表展示web应用；一、EasyUIEasyUI是一个集合了大量基于jQuery/Angular开发的用户界面库，里面有大量免费的demo；0.下载EasyUIhttp://www...
2018-02-11 14:40:00
205
转载 搭建GitLab服务器
前言每一个开发工作者无非身处2中开发环境：1.开源环境 2.闭源开发环境，若你身处闭源环境或对自己代码安全性要求较高，搭建和使用自己GitLab服务器是必不可少的环节。可以通过各种方式搭建自己的GitLab服务器：基于NFS、Git、SSH、GitWeb、GitLab，实现版本控制；一、搭建GitLab服务器0.centos7环境安装GitLab依赖软件、设置开机...
2018-02-04 09:28:00
67
转载 PythonWEB框架之Flask
前言：Django:1个重武器，包含了web开发中常用的功能、组件的框架；（ORM、Session、Form、Admin、分页、中间件、信号、缓存、ContenType....）；Tornado:2大特性就是异步非阻塞、原生支持WebSocket协议；Flask：封装功能不及Django完善，性能不及Tornado，但是Flask的第三方开源组件比丰富；http://flas...
2017-12-24 11:44:00
207
转载 PythonWEB框架之Tornado
前言Tornado（龙卷风）和Django一样是Python中比较主流的web框架，Tornado 和现在的主流 Web 服务器框架也有着明显的区别：Tornado自带socket，并且实现了异步非阻塞并对WebSocket协议天然支持；一、Tornado框架的基本组成Tonado由 路由系统、视图、模板语言4大部分组成，如果习惯了使用Django你会感觉它功能单薄，但...
2017-12-18 15:31:00
669
转载 Django之REST framework源码分析
前言：Django REST framework，是1个基于Django搭建REST风格API的框架；1、什么是API呢？API就是访问即可获取数据的url地址，下面是一个最简单的 Django API，访问http://127.0.0.1:8000/，返回用户列表；from django.conf.urls import urlfrom django...
2017-11-21 17:09:00
365
转载 前端框架之Vue.js
前言：前端主流框架有Vue、react、angular，目前比较火因为Vue比较容易学习，运营起来比较快速；Vue是什么呢？是一个基于MVVM架构的，前端框架；如果你之前已经习惯了用jQuery操作DOM，学习Vue.js时请先抛开手动操作DOM的思维，因为Vue.js是数据驱动的，你无需手动操作DOM。它通过一些特殊的HTML语法，将DOM和数据绑定起来。一旦...
2017-11-16 14:58:00
240
转载 浏览器行为模拟之requests、selenium模块
requests模块前言：通常我们利用Python写一些WEB程序、webAPI部署在服务端，让客户端request，我们作为服务器端response数据；但也可以反主为客利用Python的requests模块模拟浏览器行为，向其他站点发送request，让...
2017-11-10 10:43:00
522
转载 Python爬虫原理
前言简单来说互联网是由一个个站点和网络设备组成的大网，我们通过浏览器访问站点，站点把HTML、JS、CSS代码返回给浏览器，这些代码经过浏览器解析、渲染，将丰富多彩的网页呈现我们眼前；一、爬虫是什么？如果我们把互联网比作一张大的蜘蛛网，数据便是存放于蜘蛛网的各个节点，而爬虫就是一只小蜘蛛，沿着网络抓取自己的猎物（数据）爬虫指的是：向网站发起请求，获取资源后分析...
2017-11-09 15:57:00
309
转载 Python面向对象之继承
前言：继承是面向对象的3大特性之一，对于继承一点要注意一下4点。一、基本查找如果子类继承了父类，子类的实例化对象，没有的方法和属性会去父类找class Parent(object): #父类 def f1(self): print('f1')class Sub(Parent): #子类 passobj=S...
2017-10-23 16:41:00
71
转载 Django之DjangoAdmin
前言：当我们启动1个Django程序的时候，在程序的settings.py配置文件默认注册了1个名为'django.contrib.admin'的APP程序，并且配置了默认路由映射关系url(r'^admin/', admin.site.urls),这就是我们在安装Django时安装的后台管理插件DjangoAdmin，帮助我们快速对在model中定义的类（表）做增、删、改、查...
2017-10-21 09:01:00
136
转载 CURD插件（仿Django-admin版）
前言如何提升自己的开发效率？每个新项目都是自己经做过的项目（经验所致），在项目开发过程中不断总结、封装属于自己的组件，例如：每个web项目大部分都涉及增删改查，分页显示，搜素，CRM就是这样的组件，是一件很有必要的事情；CURD组件(arya)：模仿DjangoAdmin编写增删改查插件；组件功能：通过在后台注册表名配置自定制类，操作、显示数据库中的内容；组...
2017-10-18 15:29:00
333
转载 基于js的CURD插件
前言：每个web程序对数据库的创建（Create）、更新（Update）、读取（Retrieve）和删除（Delete）操作都是必不可少的，于是我决定开发一个基于JavaScript和jQuery框架的插件，通过后端灵活配置，联动前端页面内容；即实现了前后端分离，也可以在后期项目中随时随地得快速应用；day941、定制显示标签的属性属性后端：tab...
2017-10-14 09:32:00
160
转载 API验证插件
前言如果在访问某WebAPI过程中request信息被他人截获，若是get请求获取数据还好，如果是post提交数据，势必威胁数据安全，所以对于一个对安全性要求较高的API来说，对每个请求做身份验证显得尤为重要；防范策略解析策略1客户端发送http请求访问API时，在请求头里设置一个双方约定好的key；知识点：1、如果给Django程序发送请求头，hea...
2017-10-07 17:35:00
64
转载 Django之权限管理插件
一、功能分析：一个成熟的web应用，对权限的控制、管理是不可少的；对于一个web应用来说是什么权限？这要从web应用的使用说起，用户在浏览器输入一个url，访问server端，server端返回这个url下对应的资源；所以 对于用户来说1个可以访问url 就等于1个权限比如某人开发了一个web应用包含以下5个url，分别对于不同资源；1、91.91p1...
2017-09-22 15:42:00
445
转载 Django之信号和序列化
前言Django的信号要从一张抽象图和一个需求说起；赛道：Django赛车：http请求基础设施：Django设置的信号一、Django内置信号类型1、既然赛道上有各种基础设置，那么Django里面又内置了哪些信号呢？Model signals pre_init # django的mod...
2017-09-21 17:23:00
74
转载 Django之缓存
由于Django构建得是动态网站，每次客户端请求都要严重依赖数据库，当程序访问量大时，耗时必然会更加明显，最简单解决方式是使用：缓存，缓存将一个某个views的返回值保存至内存或者memcache中，5分钟内再有人来访问时，则不再去执行view中的操作，而是直接从内存memcached 、Redis中之前缓存的内容拿到，并返回。一、Django缓存的配置...
2017-09-20 20:10:00
83
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人