厚积薄发的博客

转载 配置Django框架为生产环境的注意事项（DEBUG=False）

问题描述：Django1.10版本中框架中settings.py配置文件配置文件settings.py配置了下面两项：DEBUG= FalseALLOWED_HOSTS = ['*'] #这样可以让所有来源的ip访问到后台使用 python3 manager.py runserver后访问，发现没有css,js样式。网上查询得知：Django 关闭DEBUG模式后，

原创 django使用redis问题

项目中开始使用django-redis，后来需要用到redis set类型， 发现django-redis不支持， 于是换成python redis包，安装：pip install redispip install hiredis使用：pool = redis.ConnectionPool(host='localhost', port=6379, db=0)self

原创 Django自定义http header

项目需要在http header加上自定义内容， 后台使用Django。 用postman添加header后发送请求， 在request中没有发现自定义的内容，开始怀疑是postman没有成功添加自定义header内容， 于是用python requests包写请求发送， 还是没有发现，  最后去查Django发现了秘密。 Django将所有http header（包括自定义的）的内容都放到了

原创 postman发生sessionid方法

原创 django用户表扩展

Django中用户表的扩展方法网上已经说得很多了， 大体有四种方法，本文针对继承AbstractUser的方法来说明。使用Django1.11.2步骤如下：1、建立model，继承AbstractUserfrom django.db import modelsfrom django.contrib.auth.models import AbstractUserclass Us

原创 Ubuntu系统安装网卡驱动

笔记本型号：Thinkpad Edge E431操作系统：Ubuntu14.04安装完后没有无线网卡驱动。1、先弄清楚无线网卡型号      使用lspci命令2、连接有线网，打开终端窗口     sudo apt-get update      sudo apt-get install --reinstall bcmwl-kernel-sour

原创 单链表求第几大元素

问题描述：现在有一个降序排列的单链表， 求这个单链表的第十大元素（第几随意）。思路：定义两个指针， 第一个指针走十步， 第二个指针开始走， 当第一个指针到达链表末尾的时候， 第二个指针指向的元素既是第十大元素。

转载 服务架构及单点故障导致系统雪崩探讨

很多大型网站都是从小型网站发展而来，一开始的架构都比较简单，随着业务复杂和用户量的激增，才开始做很多架构上的改进。当它还是小型网站的时候，没有太多访客，一般来讲只需要一台服务器就够了，这时应用程序、数据库、文件等所有资源都在一台服务器上，具体架构如下图所示：       随着网站业务的发展和用户量的增加，单台服务器就无法再满足需求了。大量用户访问导致访问速度越来越慢，而逐渐增加

转载 Redis采用不同内存分配器碎片率对比

我们知道Redis并没有自己实现内存池，没有在标准的系统内存分配器上再加上自己的东西。所以系统内存分配器的性能及碎片率会对Redis造成一些性能上的影响。在Redis的 zmalloc.c 源码中，我们可以看到如下代码： 48 /* Explicitly override malloc/free etc when using tcmalloc. */ 49 #if defined(U

转载 超强、超详细Redis数据库入门教程

【本教程目录】1.redis是什么2.redis的作者何许人也3.谁在使用redis4.学会安装redis5.学会启动redis6.使用redis客户端7.redis数据结构 – 简介8.redis数据结构 – strings9.redis数据结构 – lists10.redis数据结构 – 集合11.redis数据结构 – 有序集合12.red

原创 Nginx Image 缩略图模块

接前篇blog讲解nginx image模块的使用，该模块同时支持nginx和tengine本nginx模块主要功能是对请求的图片进行缩略/水印处理，支持文字水印和图片水印。支持自定义字体，文字大小，水印透明度，水印位置。判断原图是否是否大于指定尺寸才处理。 ....等等   环境：centos6.8.11、编译nginx编译前请确认您的系统已经安装了libcurl-dev l

原创 nginx搭建文件服务器

接前篇blog《nginx搭建文件服务器获取上传进度》，这篇blog主要讲文件下载。如果下载不需要权限控制， 那么就简单了，直接用nginx提供静态文件下载就可以了，可是大部分场景是需要权限判断的。后台准备用tornado框架来实现。这样做意味着我们的程序需要将文件内容从磁盘经过一个固定的 buffer 去循环读取到内存，再发送给前端 nginx 服务器，最后才到达用户。当需要下载的文件很

原创 centos下ppt转图片

之前的blog> blog地址 介绍了centos下使用apache poi jar包ppt转图片的方法，经过大量的测试发现。 对office2007的支持不是特别好， 会出现缺失元素的现象。所以准备采用其他方法进行ppt到图片的转换。网上搜索发现了一个方法， 现将过程详细记录下来，主要思路是ppt转pdf， pdf转图片。一、ppt转pdf  通过libreoffice来实现。libre

原创 Apache POI转ppt为图片

最近项目中需要将ppt转成图片， 调研了一下。 发现apache poi可以实现。Apache POI 是用Java编写的免费开源的跨平台的 Java API，Apache POI提供API给Java程式对Microsoft Office格式档案读和写的功能。POI为“Poor Obfuscation Implementation”的首字母缩写，意为“可怜的模糊实现”。Apac

转载 Tornado 多进程 & 异步

基本版：#coding=utf-8import tornado.webimport tornado.httpserverimport tornado.optionsimport tornado.ioloopfrom tornado.options import options , definedefine("port",default=8001,help="跑在8001",ty

原创 tornado连接mysql

Tornado参考链接：http://demo.pythoner.com/itt2zh/index.html环境：centos 6.7， tornado 4.4.2，python 3.5.11、 MySQLdbPython 2.x 上连接MySQL的库比较多，其中比较著名就是MySQLdb， 大名鼎鼎的Django项目都使用它。地址见：http://sourceforge.ne

原创 nginx搭建文件服务器获取上传进度

接上篇blog，主要讲讲获取上传进度的实现。 参考地址：https://github.com/masterzen/nginx-upload-progress-module按照其中的说明配置nginx，将其中的例子存成test.html文件。放到nginx 的html目录下。 浏览器运行发现进度条不会变。 经过调试，发现nginx中缺少如下配置：test.html里面缺少修改后重

原创 iperf局域网测速

最近在搭建文件传输server， 发现传输速度很慢。所以想测试一下是网络问题，还是server本身的问题。环境：文件传输server  centos6.8.1  client：windows7。使用iperf工具进行测试1、windows7上安装iperf下载地址：https://iperf.fr/download/windows/iperf-2.0.9-win64.zip下载

原创 nginx搭建文件上传下载服务器

最近要搭建文件一个服务器， 准备使用python的web框架tornado来做。发现了这篇blog，准备使用nginx来实现文件上传和下载的功能。下面把实现步骤记录下来，中间有很多坑。系统环境：centos6.81、下载nginxwget  http://nginx.org/download/nginx-1.10.2.tar.gz2、下载nginx upload module

原创 ejabberd离线消息

接前面blog "说说ejabberd 离线消息的坑"， 采用将离线消息存储在mysql中来解决。 ejabberd版本：16.091、修改ejabberd配置文件/etc/ejabberd/ejabberd.yml配置mod_offline，如图：添加db_type:  sql注释掉access_max_user_messages：max_user_offline_m

原创 ejabberd聊天记录

ejabberd默认是不保存聊天记录的， 项目需要保存聊天记录。于是查资料研究折腾了半天， 终于搞定。 下面把过程记录下来，供大家参考：ejabberd的版本：16.09。 目前的ejabberd版本自带的mod_mam模块，已经实现了保存聊天记录的功能， 需要在配置文件中进行配置。聊天记录保存采用mysql数据库， 之所以采用mysql，是因为mnesia数据库表的最大容量不能超

原创 rabbitmq管理界面开启

在windows7上安装了rabbitmq server， 安装过程略。  下面要开启管理界面：1、在cmd窗口下进入rabbitmq安装目录下的sbin目录，使用rabbitmq-plugins.bat list查看已安装的插件列表。2、使用rabbitmq-plugins.bat enable rabbitmq_management开启网页管理界面3、重启rabbi

转载 如何选择RabbitMQ的消息保存方式？

RabbitMQ对于queue中的message的保存方式有两种方式：disc和ram。如果采用disc，则需要对exchange／queue／delivery mode都要设置成durable模式。Disc方式的好处是当RabbitMQ失效了，message仍然可以在重启之后恢复。而使用ram方式，RabbitMQ处理message的效率要高很多，ram和disc两种方式的效率比大概是3:1。所

转载 RabbitMQ与AMQP协议详解

1. 消息队列的历史 了解一件事情的来龙去脉，将不会对它感到神秘。让我们来看看消息队列（Message Queue）这项技术的发展历史。Message Queue的需求由来已久，80年代最早在金融交易中，高盛等公司采用Teknekron公司的产品，当时的Message queuing软件叫做：the information bus（TIB）。 TIB被电信和通讯公司采用，路透社收购了T

转载 RabbitMQ源码解析前奏--AMQP协议

分类：     AMQP即高级消息队列协议，接下来从三个方面来浅析该协议。一、协议    AMQP协议分层类似于OSI或TCP/IP协议分层。从图中可以看出分三层：图1 AMQP协议分层图1、Model Layer    规范服务器端Broker的行为。2、Session Layer    定义客户端与服务器端Broker的Context。3

原创 centos6.8下安装rabbitmaq

1、安装erlang 语言环境RabbitMQ是基于Erlang的，所以首先必须配置Erlang环境。安装方法见之前blog "Centos6.8下安装Erlang18.3"。2、安装RabbitMQ 官网下载rpm包：rabbitmq-server-3.6.6-1.el6.noarch.rpm运行rpm -ivh --nodeps  rabbitmq-server-3.6.6-1

原创 golang延迟函数defer

golang的defer优雅又简洁， 是golang的亮点之一。defer在声明时不会立即执行，而是在函数return后，再按照先进后出的原则依次执行每个defer，一般用于释放资源、清理数据、记录日志、异常处理等。下面举个例子：package mainimport "fmt"func deferTest(number int) int { defer func() { nu

原创 xml有效性验证

最近在进行xml的有效性验证，发现了一些以前不知道的报错信息。XML 文档形成一种树结构XML 文档必须包含根元素。该元素是所有其他元素的父元素。XML 文档中的元素形成了一棵文档树。这棵树从根部开始，并扩展到树的最底端。所有的元素都可以有子元素：.....父、子以及同胞等术语用于描述元素之间的关系。父元素拥有子元素。相同层级上的

原创 ejabberd16.09源码分析（二） ejabberd启动详解

接上篇（ejabberd16.06源码分析（一） application启动）继续探索ejabberd启动的细节。ejabberd_app.erl 中的start/2 :start(normal, _Args) -> ejabberd_logger:start(), write_pid_file(), jid:start(), start_apps(),

原创 远程连接ejabberd的mnesia数据库

前面blog介绍了ejabberd集群搭建和测试， 使用的是ejabberd自带的数据库mnesia， 现在想看看mnesia数据库中的表和记录， 有没有方法通过我的机器（windows7系统） 远程连接到集群的mnesia数据库来查看数据？通过在网上搜索和尝试，终于达到了上述目的。  方法如下：集群为两台机器：A：ip(192.168.1.55)          B：ip(192.

原创 tsung对ejabberd集群进行压力测试

见之前博客《ejabberd16.04集群续》，针对该集群进行压力测试。 测试方法同之前openfire集群的测试。首先使用tsung脚本创建用户， 发现不成功。 查看log发现如下错误：Authentication required">>经过跟踪发现是配置的问题。  打开ejabberd.yml的相应配置即可注册用户。具体配置如下：打开这两项配置。 继续使用t

原创 ejabberd集群续

上篇博客介绍了搭建ejabberd集群的方法。 使用ejabberd16.04。 搭建完成访问http://ip:port/admin  登录后显示如下图点击虚拟主机也没有什么数据显示， 排查了一天问题， 无疾而终。后来用ejabberd16.09重新搭建集群， 问题解决。  注：目前不太清楚是我配置的问题，还是ejabberd本身的问题。 有时间会再来一探究竟。

转载 说说ejabberd 离线消息的坑

使用过ejabberd的或许知道，也许踩过这个坑。那么就说说我们踩过的ejabberd的离线消息的坑吧。 ejabberd原生的离线消息的机制是，一般用户保存100条离线消息，管理员保存5000条离线消息。超过之后竟然没有删除老的离线消息的机制。

原创 ejabberd集群搭建

环境：两台centos系统机器， 机器A的ip：192.168.1.55机器B的ip：192.168.1.56   1、两台机器上分别源码安装ejabberd16.04。安装过程参考之前博客。我的linux用户为root2、更改 /sbin/ejabberdctlERLANG_NODE=ejabberd@localhost 改为ERLANG_NODE=ejabb

转载 安装rebar时提示"Uncaught error in rebar_core"

按照教程安装rebar，从 https://github.com/rebar/rebar/ 下载编译好的版本（注：网上大多数都是说的http://github.com/rebar/rebar/wiki/rebar这个地址，但是这个地址找不到，应该是已经更新了），或者直接下载源码包到本地，然后自己编译：git clone git://github.com/rebar/rebar.gitcd r

原创 centos下源码安装ejabberd16.04

1、下载源码包     两种方法获取源码：ejabberd发布版在网站ProcessOne   地址：https://www.process-one.net/en/ejabberd/downloads获取最新的源码在github上 git clone git://github.com/processone/ejabberd.git ejabberdc

原创 Centos6.8下安装Erlang18.3

1、下载otp_src_18.3.tar.gz      wget   http://erlang.org/download/otp_src_18.3.tar.gz2、解压otp_src_18.3.tar.gz tar -xzvf otp_src_18.3.tar.gz                       3、otp_src_18.3.tar.gz编译需

原创 ejabberd16.06源码分析（一） application启动

本系列文章是针对ejabberd16.06版本的源码分析， 由于水平有限，时间仓促， 难免有错误之处， 希望大家谅解。OTP中提供了很多组件， 每个组件实现指定功能。这些组件被称作application。 ejabberd也被打包成application。 所以， ejabberd的启动就是application的启动。启动erlang VM时可以指定程序的入口点，这样就可以在这个入口中执行启

转载 如何用消息系统避免分布式事务

前阵子从支付宝转账1万块钱到余额宝，这是日常生活的一件普通小事，但作为互联网研发人员的职业病，我就思考支付宝扣除1万之后，如果系统挂掉怎么办，这时余额宝账户并没有增加1万，数据就会出现不一致状况了。上述场景在各个类型的系统中都能找到相似影子，比如在电商系统中，当有用户下单后，除了在订单表插入一条记录外，对应商品表的这个商品数量必须减1吧，怎么保证？！在搜索广告系统中，当用户点击某广告后，除

转载 异步消息传递技术的比较：JMS、AMQP和MQTT

消息传递作为基本通信机制已经在全世界成功运用。无论是人与人、机器与人还是机器与机器之间，消息传递一直都是唯一常用的通信方式。在双方（或更多）之间交换消息有两种基本机制。 1.同步消息传递 2.异步消息传递 同步消息传递在这种情况下使用，当消息发送者希望在某个时间范围内收到响应，然后再进行下一个任务。基本上就是他在收到响应前一直处于“阻塞”状态。 异步消息意味着发送者并不要求立即收到