Ubuntu 部署Django, Wagtail,Postgres, Nginx, Gunicorn,Supervisor

2019独角兽企业重金招聘Python工程师标准>>>

 

简介

        为开发一个微信小程序，搭建了一个基于Django的一个框架wagtail的后台，简单记录部署步骤如下：

目标：

    安装postgresql,nginx,virtualenv,django,django-rest-framework,wagtail,gunicorn,supervisor,并部署成功。

    开始吧！

安装依赖

安装pip,nginx,postgresql

如果在使用 Python 2, 如下:

• sudo apt-get update
• sudo apt-get install python-pip python-dev libpq-dev postgresql postgresql-contrib nginx

如果在使用 Python 3, 如下:

• sudo apt-get update
• sudo apt-get install python3-pip python3-dev libpq-dev postgresql postgresql-contrib nginx

创建PostgreSQL 数据库和用户

 

---------------------------------------------------------

自从MySQL被Oracle收购以后，PostgreSQL逐渐成为开源关系型数据库的首选。

本文介绍PostgreSQL的安装和基本用法，供初次使用者上手。以下内容基于Debian操作系统，其他操作系统实在没有精力兼顾，但是大部分内容应该普遍适用。

一、安装

首先，安装PostgreSQL客户端。

sudo apt-get install postgresql-client

然后，安装PostgreSQL服务器。

sudo apt-get install postgresql

正常情况下，安装完成后，PostgreSQL服务器会自动在本机的5432端口开启。

如果还想安装图形管理界面，可以运行下面命令，但是本文不涉及这方面内容。

sudo apt-get install pgadmin3

二、添加新用户和新数据库

初次安装后，默认生成一个名为postgres的数据库和一个名为postgres的数据库用户。这里需要注意的是，同时还生成了一个名为postgres的Linux系统用户。

下面，我们使用postgres用户，来生成其他用户和新数据库。好几种方法可以达到这个目的，这里介绍两种。

第一种方法，使用PostgreSQL控制台。

首先，新建一个Linux新用户，可以取你想要的名字，这里为dbuser。

sudo adduser dbuser

然后，切换到postgres用户。

sudo su - postgres

下一步，使用psql命令登录PostgreSQL控制台。

psql

这时相当于系统用户postgres以同名数据库用户的身份，登录数据库，这是不用输入密码的。如果一切正常，系统提示符会变为"postgres=#"，表示这时已经进入了数据库控制台。以下的命令都在控制台内完成。

第一件事是使用\password命令，为postgres用户设置一个密码。

\password postgres

第二件事是创建数据库用户dbuser（刚才创建的是Linux系统用户），并设置密码。

CREATE USER dbuser WITH PASSWORD 'password';

第三件事是创建用户数据库，这里为exampledb，并指定所有者为dbuser。

CREATE DATABASE exampledb OWNER dbuser;

第四件事是将exampledb数据库的所有权限都赋予dbuser，否则dbuser只能登录控制台，没有任何数据库操作权限。

GRANT ALL PRIVILEGES ON DATABASE exampledb to dbuser;

最后，使用\q命令退出控制台（也可以直接按ctrl+D）。

\q

第二种方法，使用shell命令行。

添加新用户和新数据库，除了在PostgreSQL控制台内，还可以在shell命令行下完成。这是因为PostgreSQL提供了命令行程序createuser和createdb。还是以新建用户dbuser和数据库exampledb为例。

首先，创建数据库用户dbuser，并指定其为超级用户。

sudo -u postgres createuser --superuser dbuser

然后，登录数据库控制台，设置dbuser用户的密码，完成后退出控制台。

sudo -u postgres psql

\password dbuser

\q

接着，在shell命令行下，创建数据库exampledb，并指定所有者为dbuser。

sudo -u postgres createdb -O dbuser exampledb

三、登录数据库

添加新用户和新数据库以后，就要以新用户的名义登录数据库，这时使用的是psql命令。

psql -U dbuser -d exampledb -h 127.0.0.1 -p 5432

上面命令的参数含义如下：-U指定用户，-d指定数据库，-h指定服务器，-p指定端口。

输入上面命令以后，系统会提示输入dbuser用户的密码。输入正确，就可以登录控制台了。

psql命令存在简写形式。如果当前Linux系统用户，同时也是PostgreSQL用户，则可以省略用户名（-U参数的部分）。举例来说，我的Linux系统用户名为ruanyf，且PostgreSQL数据库存在同名用户，则我以ruanyf身份登录Linux系统后，可以直接使用下面的命令登录数据库，且不需要密码。

psql exampledb

此时，如果PostgreSQL内部还存在与当前系统用户同名的数据库，则连数据库名都可以省略。比如，假定存在一个叫做ruanyf的数据库，则直接键入psql就可以登录该数据库。

psql

另外，如果要恢复外部数据，可以使用下面的命令。

psql exampledb < exampledb.sql

四、控制台命令

除了前面已经用到的\password命令（设置密码）和\q命令（退出）以外，控制台还提供一系列其他命令。

• \h：查看SQL命令的解释，比如\h select。
• \?：查看psql命令列表。
• \l：列出所有数据库。
• \c [database_name]：连接其他数据库。
• \d：列出当前数据库的所有表格。
• \d [table_name]：列出某一张表格的结构。
• \du：列出所有用户。
• \e：打开文本编辑器。
• \conninfo：列出当前数据库和连接的信息。

五、数据库操作

基本的数据库操作，就是使用一般的SQL语言。

# 创建新表 
CREATE TABLE user_tbl(name VARCHAR(20), signup_date DATE);

# 插入数据 
INSERT INTO user_tbl(name, signup_date) VALUES('张三', '2013-12-22');

# 选择记录 
SELECT * FROM user_tbl;

# 更新数据 
UPDATE user_tbl set name = '李四' WHERE name = '张三';

# 删除记录 
DELETE FROM user_tbl WHERE name = '李四' ;

# 添加栏位 
ALTER TABLE user_tbl ADD email VARCHAR(40);

# 更新结构 
ALTER TABLE user_tbl ALTER COLUMN signup_date SET NOT NULL;

# 更名栏位 
ALTER TABLE user_tbl RENAME COLUMN signup_date TO signup;

# 删除栏位 
ALTER TABLE user_tbl DROP COLUMN email;

# 表格更名 
ALTER TABLE user_tbl RENAME TO backup_tbl;

# 删除表格 
DROP TABLE IF EXISTS backup_tbl;

---------------------------------------------------------

登录初始postgresql,输入

• sudo -u postgres psql

首先，创建项目数据库:

• CREATE DATABASE myproject;

• dropdb -h localhost -p 5432 -U postgress testdb

注意语句结束的分号.

 

接下来,创建这个项目数据库的用户，选择一个安全的密码。

• CREATE USER myprojectuser WITH PASSWORD 'password';

修改设置:

• ALTER ROLE myprojectuser SET client_encoding TO 'utf8';
• ALTER ROLE myprojectuser SET default_transaction_isolation TO 'read committed';
• ALTER ROLE myprojectuser SET timezone TO 'UTC';

现在赋予用户权限:

• GRANT ALL PRIVILEGES ON DATABASE myproject TO myprojectuser;

如果已经完成，退出敲入:

• \q

创建一个python的虚拟环境

为了实现python版本的隔离，我们选择使用virtualenv,首先使用pip来安装。

如果在使用 Python 2:

• sudo pip install virtualenv

如果在使用Python 3:

• sudo pip3 install virtualenv

virtualenv 安装后, 我们创建一放置我们项目的目录:

• mkdir ~/myproject
• cd ~/myproject

在这目录内，我们创建一个python的虚拟环境:

• virtualenv myprojectenv

这会在 myproject目录内创建一个myprojectenv

使用前，先激活虚拟环境

• source myprojectenv/bin/activate

注意提示符的变化，类似这样，就表明现在处于虚拟环境了: (myprojectenv)user@host:~/myproject$.

虚拟环境激活后，使用pip 安装Django, Wagtail，Gunicorn, gevent, psycopg2 PostgreSQL adaptor ，Supervisor :

• pip install django gunicorn psycopg2 wagtail gevent supervisor

创建及配置Django + Wagtail项目

wagtail的主要步骤略，django的简单几点

• django-admin.py startproject myproject .

• vim myproject/settings.py 
• 修改配置

~/myproject/myproject/settings.py

. . .
# The simplest case: just add the domain name(s) and IP addresses of your Django server
# ALLOWED_HOSTS = [ 'example.com', '203.0.113.5']
# To respond to 'example.com' and any subdomains, start the domain with a dot
# ALLOWED_HOSTS = ['.example.com', '203.0.113.5']
ALLOWED_HOSTS = ['your_server_domain_or_IP', 'second_domain_or_IP', . . .]

 

. . .

DATABASES = {
    'default': {
        'ENGINE': 'django.db.backends.postgresql_psycopg2',
        'NAME': 'myproject',
        'USER': 'myprojectuser',
        'PASSWORD': 'password',
        'HOST': 'localhost',
        'PORT': '',
    }
}

. . .

 

. . .

STATIC_URL = '/static/'
STATIC_ROOT = os.path.join(BASE_DIR, 'static/')

Save and close the file when you are finished.

初始化

初始化数据库数据结构:

• cd ~/myproject
• ./manage.py makemigrations
• ./manage.py migrate

创建超级用户:

• ./manage.py createsuperuser

收集静态文件:

• ./manage.py collectstatic

静态文件会被放在 static.下，方便部署。

防火墙:

• sudo ufw allow 8000

运行:

• ./manage.py runserver 0.0.0.0:8000

访问端口 :8000:测试

http://server_domain_or_IP:8000

正常得到:

访问 /admin 并用 createsuperuser 时的账号密码登录:

认证登录后到django的默认首页

附上wagtail的界面效果

 

正常后敲击CTRL-C 结束测试

测试Gunicorn

• cd ~/myproject
• gunicorn --bind 0.0.0.0:8000 myproject.wsgi:application

创建Gunicorn 配置文件

gunicorn.conf.py

command = '/root/ENV/hotel/bin/gunicorn'
pythonpath = '/root/ENV/hotel/bin/'
bind = 'unix:/tmp/gunicorn.sock'
# bind = '0.0.0.0:8000'
workers = 5
user = 'root'

配置Nginx

/usr/local/nginx/conf/nginx.conf

user  root;
worker_processes  1;

error_log  logs/error.log;
error_log  logs/error.log  notice;
error_log  logs/error.log  info;

pid        logs/nginx.pid;


events {
    use epoll;
    worker_connections  1024;
}


rtmp {    
        server {    
            listen 1935;    
        
            application video_live_chat {    
                live on;    
            }    
            application hls {    
                live on;    
                hls on;    
                hls_path /tmp/hls;    
            }    
        }    
    } 

http {
    include       mime.types;
    default_type  application/octet-stream;

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    access_log  logs/access.log  main;

    sendfile        on;
    #tcp_nopush     on;

    #keepalive_timeout  0;
    keepalive_timeout  65;

    #gzip  on;

    upstream django_hotel {
       # fail_timeout=0 means we always retry an upstream even if it failed
       # to return a good HTTP response

       # for UNIX domain socket setups
       server unix:/tmp/gunicorn.sock fail_timeout=0;
   # For a TCP configuration:
        # server 127.0.0.1:8000 fail_timeout=0; 
    }                                                                                                   
    server {
        
   listen       80;
        client_max_body_size 4G;
   server_name  localhost;
   
   keepalive_timeout 5;
        root   /root/hotel/;

        #charset koi8-r;

        access_log  logs/host.access.log  main;


   location / {
       # checks for static file, if not found proxy to app
       try_files $uri @proxy_to_app;
       }


       location @proxy_to_app {
       proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
       # enable this if and only if you use HTTPS
       # proxy_set_header X-Forwarded-Proto https;
       proxy_set_header Host $http_host;
       
   # proxy_set_header X-Forwarded-Proto $scheme;


   # we don't want nginx trying to do something clever with
       # redirects, we set the Host: header above already.
       proxy_redirect off;
       proxy_pass http://django_hotel;
       }



   location /hls {
            types {
                application/vnd.apple.mpegurl m3u8;
                video/mp2t ts;
            }
            root /tmp;
            add_header Cache-Control no-cache;
       }
        
   error_page   500 502 503 504  /50x.html;
        
        location = /50x.html {
            root   html;
        }

        # proxy the PHP scripts to Apache listening on 127.0.0.1:80
        #
        #location ~ \.php$ {
        #    proxy_pass   http://127.0.0.1;
        #}

        # pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000
        #
        #location ~ \.php$ {
        #    root           html;
        #    fastcgi_pass   127.0.0.1:9000;
        #    fastcgi_index  index.php;
        #    fastcgi_param  SCRIPT_FILENAME  /scripts$fastcgi_script_name;
        #    include        fastcgi_params;
        #}

        # deny access to .htaccess files, if Apache's document root
        # concurs with nginx's one
        #
        #location ~ /\.ht {
        #    deny  all;
        #}
    }


    # another virtual host using mix of IP-, name-, and port-based configuration
    #
    #server {
    #    listen       8000;
    #    listen       somename:8080;
    #    server_name  somename  alias  another.alias;

    #    location / {
    #        root   html;
    #        index  index.html index.htm;
    #    }
    #}


    # HTTPS server
    #
    #server {
    #    listen       443 ssl;
    #    server_name  localhost;

    #    ssl_certificate      cert.pem;
    #    ssl_certificate_key  cert.key;

    #    ssl_session_cache    shared:SSL:1m;
    #    ssl_session_timeout  5m;

    #    ssl_ciphers  HIGH:!aNULL:!MD5;
    #    ssl_prefer_server_ciphers  on;

    #    location / {
    #        root   html;
    #        index  index.html index.htm;
    #    }
    #}

}

 

注意点：

1.因为都跑在本机，没选用网络端口，使用的UNIX domain socket，安全性更高些。

2.try_files 用法，这里是因为测试用到了些静态页面。

3.rtmp是为了测试直播用的，这里偷懒直接贴出来了，不用理睬。

4.重启nginx 配置nginx -s reload

 

测试 Nginx 配置:

• nginx -t

测试Gunicorn + Nginx 工作情况

/root/ENV/hotel/bin/gunicorn hotel.wsgi -c /root/hotel/gunicorn.conf.py

如果运行没问题，继续往下走，使用Supervisor管理监控起来。

Supervisor

创建文件夹：

mkdir -p /etc/supervisor/conf.d

新建个配置文件，命名django_hotel.conf,放到各创建的目录下，/etc/superviosr/supervisord.conf 里面有两行

[include]
files = /etc/supervisor/conf.d/*.conf

可以识别到我们自定义的配置文件

[program:gunicorn]
command=/root/ENV/hotel/bin/gunicorn hotel.wsgi -c /root/hotel/gunicorn.conf.py
directory=/root/hotel/
user=root
autostart=true
autorestart=true
redirect_stderr=true

运行supervisord -c /path/to/supervisord.conf.

几个常用命令：

supervisorctl start |stop|restart|status gunicorn

正常运行，Perfect！

参考：

1.http://docs.gunicorn.org/en/stable/index.html

2.http://supervisord.org/index.html

3.http://nginx.org/en/docs/

4.https://wagtail.io/

5.https://www.digitalocean.com/community/tutorials/how-to-set-up-django-with-postgres-nginx-and-gunicorn-on-ubuntu-16-04

 

一并感谢！

转载于:https://my.oschina.net/quanpower/blog/818506