- 博客(63)
- 收藏
- 关注
RSS订阅原创 djcelery自定义前端实现动态作业任务
之前写过使用celery实现定时任务的文章,但是每次修改都是代码级别，每次增加都要修改配置，然后执行应用发布重启等等，比较麻烦。那有没有能够直接通过修改数据来实现定时任务的修改的呢？当然有,django的djcelery本身后台就有。其他跟celery配置一致。 主要Crontabs,Intervals,Periodic Tasks三个表。 Crontabs...
2020-07-24 16:29:22
321
原创 django使用ldap进行用户登录认证
一般在公司内部都会使用ldap系统进行用户认证。 安装pip install django-auth-ldap 主要在settings.py的配置 点击(此处)折叠或打开 #设置后端认证函数,先进行ldap认证 后进行数据库认证 AUTHENTICATI...
2020-07-02 17:28:51
1524
原创 docker镜像导出导入,不通过仓库上传下载
一般的镜像通过镜像仓库上传下载进行分享是很方便的。当然也有另一种更简单粗暴的方法，直接将镜像导入导出，多用于仓库下载慢,或者网络不通等情况。 镜像导出，支持导出多个镜像，打在一个tar包内 点击(此处)折叠或打开 docker save image1 image2 ... > im...
2020-06-29 11:09:54
277
原创 centos7二进制包安装消息队列rabbimq最新版
centos7下使用二进制包安装rabbimq最新版,使用系统的systemctl管理应用。比对各种安装方式优缺点。rpm二进制安装 优点: 安装后直接由系统进行接管,所有的配置日志等默认都保存在系统统一路径。生命周期由systemctl进行管理，管理起来方便快捷,而且更加规范。 缺点: 需要找最新的repo或者包,版本依赖问题比较麻烦自动义包安装:...
2020-06-28 17:33:49
276
原创 zabbix自动发现并添加主机监控,省心又省力
当所管理的主机越来越多时,手动添加机器到zabbix监控将会是一个浩大的工程，特别是当一次性上架大量机器时,手动添加？那估计能把手都点断，用接口调用?确实是个好办法,不过任然需要做一些变动配置的工作量。这时候就需要使用最佳工具,zabbix的discovery功能自动识别添加主机。 直接上方法： 客户端变跟正常一样,只需zabbix-agen...
2020-06-24 15:25:30
321
原创 自定义创建docker镜像
接上文创建镜像仓库后,本文记录下如何创建自己的镜像,如何安装依赖包，如何将服务放入镜像，以及如何快速部署镜像。 创建镜像一般使用dockerfile文件,将需要执行的命令写入其中，这些命令会在镜像中执行，执行成功后就会生成所需要的镜像。 这里先附上一个编译安装 Python3.5的镜像 dockerfile ...
2020-06-24 14:08:22
138
原创 docker镜像仓库介绍以及如何搭建一个私有仓库
今后将陆续介绍容器云这块内容, 从docker的各个组件介绍和使用到最流行的编排工具kubernetes的介绍和使用。 此篇介绍docker的镜像仓库和使用。docker最大的优势就是能够实现跨平台的快速部署，快到什么程度呢？秒级的部署,差不多眨个眼就部署好了，剩下的就是程序漫长的启动过程... 为何能够如此之快呢？深层次底层的东西就在此不阐述...
2020-06-23 15:50:36
306
1
原创 将博客搬至CSDN
本人在CSDN也增加了博客,特此将chinaunix的文章都搬到CSDN，感谢CU提供了展示的机会,同时也见证了这么多年的成长,由于个人原因今年没有发表多少原创文章,下半年开始将开始分享个人所见所学所得。在CSDN上和CU都会分享，感谢关注。 ...
2020-06-22 19:25:50
69
原创 django-rest-framework请求方法封装，和各种方法数据的传递
django-rest-framework是基于django框架封装的一层更高级的框架，非常适合做后台接口，这里主要说一下请求的传递，看rest框架是如何让我们的代码写的更方便。 安装配置前文已经讲过，这里不再重复。请求的部分这里主要说两个方式。 传统的django请求方式是要根据request.method 的方法名进行判断是get还是post等，但...
2020-06-22 17:07:26
675
原创 Vue组件之间通信
Vue做开发项目时经常用到组件的互相调用, 组件调用如何函数调用一样，相当方便，同时也相当频繁。 这里介绍常用的三种组件通信的方式。 一、 父组件向子组件传数据,这种情况多用于由父组件收集获取数据，传递给子组件，子组件根据数据形成相应的展示样式。 举例: parent.vue 点击(此处)折叠...
2020-06-19 18:09:07
54
原创 部署django+nginx实现ws/wss的websocket生产环境通信
本文阐述如何使用nginx部署基于django应用的websocket通信。之后会写django基于channels实现websocket的通信文章。简单介绍下: websocket的主要协议ws/wss,类似于http/https的关系,如果使用了https那就必须使用wss协议。 首先django应用启动ws服务，启动runworker ...
2020-02-26 14:43:34
1535
原创 django+celery实现异步任务处理
当有任务执行时间较长时一般会使用异步进程处理,返回给用户为执行中的操作，或者返回进度条。 当选择django作为web框架时，使用celery来进行异步管理是一个比较主流的方案,上一篇讲了使用celery进行定时任务的处理。 先做一个celery的基本配置,主要是指定中间件(这里选择redis),指定异步的线程数(决定了可同时处理任务的数量,由主机配置决定...
2019-10-16 16:08:52
380
原创 django+celery 定时任务
django+celery 实现定时任务首先介绍定时任务,跟crontab类似,celery的定时任务可以很灵活的设置执行的时间频率,定时任务需要启用django,celery，beat三个应用。实现一个定时任务只需要三步就可以搞定。 第一步:在需要执行定时任务的函数加上task装饰器,表示这个函数由celery接管 ...
2019-10-16 15:43:59
212
原创 个人笔记--使用sklearn库构建机器学习模型,并使用模型预测
sklearn是一个机器学习的python库,里面包含很多经典的算法，可以很方便的选择对应的算法对数据进行训练,很方便的得出各种训练的参数，并使用模型对分类进行预测。 总的来说一般机器学习分如下步骤 获取数据——》数据预处理——》训练模型——》模型评估——》预测 鸢尾花识别是一个经典的机器学习分类问题，它的数据样本中包括了4个特征变量，1个类别变量，样本...
2019-08-23 14:40:48
1624
原创 记录linux升级gcc导致的故障
centos7 由于本来的glibc支持版本比较低，需要升级，但是后来遇到很多不兼容的问题，于是作罢。但是导致很多问题,把自己遇到的问题和解决方法分享下,遇到这种问题千万不能重启,不然系统无法启动。 首先一旦删除了 /lib64/libc.so.6或者指向不兼容的libc的版本, 那么执行其他的命令都会报错ls: error while loading sha...
2019-08-20 13:34:13
999
原创 使用scarpy爬取文章并保存为json文本
scarpy是python爬虫界最著名的框架,最近使用了下确实很方便,其底层使用的Twisted使用异步非阻塞的方式速度是相当的快(比自己用requests快多了),这里介绍下使用scarpy框架爬取文章和图片,并进行二层爬取文章的内容,然后以dict形式保存为json文件(也可以保存到其他存储介质,如数据库,其他文件存储介质) 环境: ...
2019-08-13 15:49:16
253
原创 详解使用restframwork api 实现各类http请求
详解使用restframwork api 实现各类http请求restframwork api+序列化能相当方便的处理各类http请求和数据处理，本文先介绍http的相关操作。主要结构还是原来django的MTV,由于提供的是api服务，此处只有MV,而且Models主要跟序列化有关,所以本文主要讲View如何接受请求并且返回指定的数据。urls....
2019-08-05 17:19:30
113
原创 Vue+webpack搭建一个前端项目
Vue搭建一个项目Vue.js,React.js,angular.Js(排序根据github排名)是当前最主流的前端框架,号称前端三剑客！！！前端组件库相当多,还有Bootstrap、jQuery UI、BootMetro、AUI、nodejs等等。这里主要介绍Vue这个牛逼的框架,当然三剑客本质上都是基于JS的编程,所以要实现页面还需要UI框架。常见的UI组...
2019-08-05 11:10:38
111
原创 saltstack restfull api调用
当前主流配置管理系统 ansible，saltsatck，puppet等。各有优缺点，但是只有saltstack只有restfull api可以调用,其他的想要构建一个批量管理平台必须跟ansible服务器在一起。 staltstack不必多说,是一个相当方便和牛逼的配置管理工具,多元的架构可以让他很轻松管理上万台主机,可以作为包括生产环境的跳板机使用,使用salt可...
2019-08-02 18:14:51
186
1
原创 python管理vsphere之查询集群,物理主机,管理虚拟主机常用操作
使用python管理vsphere平台新到一个公司，需要做一个系统来管理现有的vsphere平台，以此实现对虚拟机的自动化管理。vsphere平台是vmware公司推出的虚拟化云管理平台(vmware主要靠这类产品赚钱)，可以动态增加主机节点，主机上运行esxi专属系统，所有的主机节点由vcenter管理，本人用的这段时间内基本没因为vmware的原因出现...
2019-05-20 16:29:49
1117
原创 使用python管理vsphere平台之创建和克隆虚拟机
使用python管理vsphere平台新到一个公司，需要做一个系统来管理现有的vsphere平台，以此实现对虚拟机的自动化管理。vsphere平台是vmware公司推出的虚拟化云管理平台(vmware主要靠这类产品赚钱)，可以动态增加主机节点，主机上运行esxi专属系统，所有的主机节点由vcenter管理，本人用的这段时间内基本没因为vmware的原因出现...
2019-03-14 16:09:26
1344
原创 全局服务器负载均衡（GSLB）
引言在过去的几年中，随着互联网的快速发展和企业应用WEB化，服务器负载均衡（SLB）技术已经不再陌生。服务器负载均衡根据用户数据请求中的4-7层信息将其智能转发到后端少则数台多则成百上千台应用服务器，并且确保根据事先定义的策略选择最佳的服务器进行转发，从而一定程度上解决了应用的可用性、扩展性等问题。但是，随着用户对应用可用性和扩展性需求的进一步增加，越来越多的...
2017-08-28 10:07:58
245
原创 多数据中心架构，异地多活架构
总结： 多活基本思路：每个中心都是活的，可以实时承担流量，任何一点出问题，都可以直接切掉，由另外一点直接接管，非传统的两地三中心冷备方式。挑战及解决方法：服务延时。 让操作全部在同一中心内完成，单元化比如用户进入以后，比如说在淘宝上看商品，浏览商品，搜索、下单、放进购物车等等操作，还包括写数据库，就都是在所进入的那个...
2017-08-24 14:55:31
838
原创 kvm 基础教程
kvm 基于centos7安装kvm 和libvirtyum install -y kvm kmod-kvm kvm-qemu-img libvirt Python-virtinst virt-manager virt-viewer bridge-utilsyum -y install libcanberra-gtk2 qemu-kvm.x86_64 q...
2017-08-04 14:47:17
137
原创 使用virsh 管理kvm虚拟机
kvm是当前最流行的开源虚拟化解决方案之一，也是redhat官方支持的虚拟化方案，从kernel 2.6开始，linux内核默认支持kvm模块。 kvm是内核模块，是连接用户和虚拟机的接口，真正模拟出硬件的是qemu。 kvm本身也有管理虚拟机的接口程序:qemu-system 不过当前比较主流的管理软件是Libvirtd，通过此进程...
2017-04-18 15:20:48
157
原创 使用django实现rest_framework序列化 api
django使用rest_framework 实现web的api接口。 安装pip installdjangorestframework 在settings配置文件中设置,加入app和权限设置 点击(此处)折叠或打开 INSTALLED_APPS = [ ...
2017-03-15 14:46:31
72
原创 防止linux出现大量 FIN_WAIT1,提高性能
参考：http://www.cnblogs.com/sunxucool/p/3449068.html当连接数多时，经常出现大量FIN_WAIT1,可以修改 /etc/sysctl.conf 修改 net.ipv4.tcp_fin_timeout = 10net.ipv4.tcp_keepalive_time = 30n...
2017-03-15 12:51:26
443
原创 前端使用django 上传文件，图片，视频等
前端使用django上传文件有两种方式，一种是使用form形式，另一种是使用html实现。 第一种使用form url定义 url(r'^form',views.form), models定义 定义数据库表 点击(此处)折叠或打开 ...
2017-03-09 16:09:00
1241
原创 django整合ueditor富文本编辑器并解决图片视频等无法上传显示问题
一般django后台的文本编辑器比较简单，所以增加ueditor编辑器。 ueditor编辑是百度开发开源产品，官网没django版本。 django版本下载地址 https://github.com/zhangfisher/DjangoUeditor/archive/master.zip 解压后将 Dj...
2017-03-01 17:33:19
823
原创 django + nginx +uwsgi 构建线上环境
使用nginx部署django的线上环境，nginx作为前端web服务器，django作为后端应用程序。uwsgi 是python 界的标准协议，类似于cgi。 原理： uwsgi作为django的代理服务，所有需要django处理的服务皆有uwsgi的端口来代理，nginx获取外部请求，转发到uwsgi。 系统环境 centos 6....
2017-03-01 13:06:52
74
原创 haproxy的安装和配置使用
HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，支持虚拟主机，它是免费、快速并且可靠的一种解决方案。HAProxy特别适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。HAProxy运行在时下的硬件上，完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中， 同时可以保护你的web服务器...
2017-01-29 20:41:43
106
原创 docker基础介绍笔记
docker 基于GO语言实现，目标是实现轻量级的操作系统虚拟化解决方案，docker的基础是Linux容器技术(LXC)等技术.docker 特点: 1、docker容器启动可以在秒级实现，比传统虚拟机启动方式要快得多， 2、docker对系统资源利用率很高，一台主机可以同时运行数千个docker容器。 3、内核级的实现，更高...
2016-12-26 15:11:59
68
原创 python3 的一个巨啃
近期在python3.5上安装部分模块都出现 os.chmod(fname, 0755） ^ SyntaxError: invalid token 这种类似的问题，找了很久，查了很多资料，后来发现 python3 os.chmo('/root/test.txt',0744) 会报错...
2016-11-25 14:33:25
94
原创 centos系统升级内核
本文适用于CentOS 6.4, CentOS 6.5，估计也适用于其他Linux发行版。 1. 准备工作 确认内核及版本信息[root@hostname ~]# uname -r 2.6.32-220.el6.x86_64[root@hostname ~]# cat /etc/centos-release CentOS release 6...
2016-11-17 17:40:08
82
原创 Centos内核升级的三种方法(转载)
Centos内核升级的三种方法 在基于CentOS平台的工作过程中，难免有时需要升级或者降级内核以验证功能、调试性能或者更新整个系统。如果从头重新编译一个内核，由于现在内核特性越来越复杂，依赖的库或者工具也不少，加之重新编译耗时不菲，了解更新内核的多种方式就显得尤为必要。下面根据笔者最近的工作，总结了三种方法，供大家参考。 方...
2016-11-14 15:17:29
145
原创 docker + git + jenkins 构建自动化持续集成
git 代码版本管理器 jenkins 自动构建集成系统 docker 虚拟化容器 实际集成流程 git上某分支提交代码 ----> jenkins 检测到该分支代码发生变动，触发构建项目，下载分支代码，根据编辑的Dockerfile 生成docker镜像，...
2016-11-10 17:31:58
66
原创 linux 恢复rm -rf 删除文件
最近线上系统的图片部分被删除，由于规模小还只是试用单机的nfs模式。图片文件夹部分图片删除，导致系统图片缺失，后恢复，以此来记录。 服务器操作系统 centos 6.5 使用工具extundelete-0.2.4.tar.bz2 可恢复ext3,ext4 ，下载地址 http://extundelete.sourceforge.net/...
2016-10-12 15:57:09
124
原创 haproxy和nginx负载均衡后端获取真实ip
负载均衡haproxy 让后端服务器获取客户端真实ip 在listen 模块下 增加 option forwradfor nginx负载均衡 nginx内置多个变量 $Remote为真实ip X-Real-IP 为内置的向后传的客户端ip 一般在location下面增加 proxy_set_hea...
2016-09-01 10:21:51
372
原创 redis基于sentinel的主从高可用
应业务要求，需要对单点的redis做高可用，选择了官方提供的sentinel（哨兵）提供redis主从高可用。 sentinel 功能：Monitoring 监控redis主从的情况 Notification 通知系统监控的某个redis实例挂掉 ...
2016-08-18 14:46:45
81
原创 分布式文件系统FastDFS设计原理
FastDFS是一个开源的轻量级分布式文件系统，由跟踪服务器（tracker server）、存储服务器（storage server）和客户端（client）三个部分组成，主要解决了海量数据存储问题，特别适合以中小文件（建议范围：4KB < file_size <500MB）为载体的在线服务。 Storage serve...
2016-06-27 14:54:17
53
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人