python、Linux、MySQL学习笔记

git操作：

1.git init [project-name]

2.git clone url  克隆文件

3.git status 查看目前状态

4.git add .  添加

5.git commit -m "[descriptive message]"  提交更改

6.git push [alias] [branch]  推送文件

7.git pull  获取文件

 

Mysql

一、Mac系统下安装mysql及可视化工具：

《可视化工具使用Sequel Pro

配置mysql：

touch .bash_profile

vim .bash_profile  添加路径：PATH=/usr/local/mysql/bin:$PATH

source .bash_profile

mysql修改密码：SET PASSWORD FOR 'root'@'localhost' = PASSWORD('你的新密码');

FLUSH PRIVILEGES;》

数据库授权：grant all on *.* to root@”IP”identified by “数据库密码”

数据库导出：mysqldump -uroot -p test >test.sql

数据库导入：mysql -uroot -p test < test.sql

二、linux中MySql相关操作

安装：

1、由于CentOS 的yum源中没有mysql，需要到mysql的官网下载yum repo配置文件。

下载命令：

wget https://dev.mysql.com/get/mysql57-community-release-el7-9.noarch.rpm

2、然后进行repo的安装：

rpm -ivh mysql57-community-release-el7-9.noarch.rpm

执行完成后会在/etc/yum.repos.d/目录下生成两个repo文件mysql-community.repo mysql-community-source.repo

3、使用yum命令即可完成安装

注意：必须进入到/etc/yum.repos.d/目录后再执行以下脚本

3.1安装命令：

yum install mysql-server

3.2启动msyql：

systemctl start mysqld #启动MySQL

3.3获取安装时的临时密码（在第一次登录时就是用这个密码）：

grep 'temporary password' /var/log/mysqld.log

3.4倘若没有获取临时密码，则删除原来安装过的mysql残留的数据

rm -rf /var/lib/mysql

再启动mysql

systemctl start mysqld #启动MySQL

unbantu

1、安装mysql

       apt update  //更新仓库

       apt install -y mysql-server mysql-client  //安装mysql服务端、客护短

       设置密码：

---------------------------------

①连接数据库

mysql -uroot -p

密码

②查看所有的库

show databases

---------------

③mysql的管理命令：重启、停止、开始

service mysql stop

service mysql start

service mysql restart

-----------------------

④mysql的配置

二进制安装目录：vi/etc/mysql/my.cnf  或者路径：/etc/mysql/mysql.conf.d/mysqld.cnf

[mysqld]

basedir         = /usr/     --mysqls

程序安装位置

datadir          = /var/lib/mysql    --数据存放位置

port                      = 3306          --端口

bind-address    = 127.0.0.1    --绑定地址，127.0.0.1地址只可在本机连接，

max_connections = 100            --最大连接数

slow_query_log    = 1         --慢查询，查询慢的sql记录到文件中，方便查询，1是开机

slow_query_log_file     = slow.log     --记录位置

long_query_time         = 2         --执行超过2，秒的就是慢查询

innodb_buffer_pool_size = 3G           --缓存控制，默认安装值是最低，总内存的70%（专用），两种引型:InnoDb

 

查询配置文件：

vi /etc/mysql/my.cnf

真实地址：/etc/mysql/mysql.conf.d/mysqld.cnf

查看mysql状态：

查看最大连接：show variables like 'max_connections';

查看正在来接数：show global status like 'max_used_connections';

查看配置的空间：show variables like 'innodb_buffer_pool_size';   

各种操作数量：show status like 'innodb_rows_%';

 \s 查看状态

mysql手册：https://dev.mysql.com/doc/refman/5.7/en/

-----------------

备份数据库：

       创建数据库：create database test;

       show tables;

       use test;

       exit;退出

       mysqldump -uroot -p密码test >test.sql  备份

       mysql -uroot -p密码test <test.sql  恢复

2、用户授权

mysql默认情况不可以远程连接，查看当前用户：

select host,user from mysql.user;  

①

       用户授权:all、select、update、*.*不限制任何数据库和表，%位置代表主机IP地址

grant all on *.* to root@"%" identified by "letmein"

----------------

创建远程连接，

       授权用户

• ，配置文件中注释掉  本地地址172.0.0.1

重启数据库

Service mysql restart

1、 >mysql -h localhost -u root -p // localhost:主机名(如果访问本机数据库则不用输入 -h localhost,-u root用户名 -p密码)

2、 >mysql \c  // 退出当前命令并重新回到命令提示行。

3、 >mysql help; // 查看帮助信息

4、 >mysql \q || quit|| exit  // 退出mysql客户端

5、 >mysql show databases;     // 查看当前mysql客户端所有数据库

6、 >mysql use 数据库名; // 使用数据库

7、 >mysql select database();    // 查看当前使用库

8、 >mysql create database 数据库名;                 // 创建数据库

9、 >mysql create database if not exists 数据库名 charset = 字符集(utf8) collate = utf8_general_ci;    // 创建数据库和设置字符集并设置排序规则

10、>mysql drop database 数据库名;     // 删除数据库 (会将该数据库里的表和表数据全部删除)

11、字段类型

       整型

              int(长度)

              smallint(长度)

              tinyint(长度)

       字符串

              varchar(100)  // 变长字符串

              char（长度） // 定长字符串

 

       时间日期

              date // 年月日

              datetime // 年月日时分秒

              year // 年

              time // 时分秒                    查询工资大于6000小于10000的教师名称和工资并且按照工资高低进行逆向排序

       文本类型

              text // 最大64K

              BLOB      // 最大64K

    约束[选项]

              auto_increment    // 自动增长

              primary key   // 主键

              default          // 默认值

              not null // 非空

              null        // 为空

              default          // 默认值

                                unsigned  //无符号（正数）

                                unique  //唯一性（可以为null但不重复）

                                index  //常规索引

12、 >mysql drop table 表名;   // 删除数据表(数据表里的内容也会被删除)

13、 >mysql describe || desc 表名;  // 查看表结构

14、 >mysql create table if not exists 表名(

              id     类型(长度) 选项,            // 主键的选项一般为 auto_increment(自增长) primary key（主键） not null（非空）

              字段1  类型(长度) 选项,

              ....

              );

15、>mysql alter table 表名 add 字段 类型 约束;             // 添加一列(添加字段)

16、>mysql alter table 表名 change 旧字段 新字段 类型 约束;      // 修改一列(修改字段)

17、>mysql alter table 表名 drop 字段;               // 删除一列(删除字段)

18、>mysql insert into 表名(`字段1`,`字段2`,`字段....`) values('字段1的值','字段2的值','字段值...');             // 添加数据(如果要添加多条数据则在values值后边接着写即可);

       >mysql insert into 表名 values('字段1的值','字段2的值','字段值...');    //字段值按顺序写

19、>mysql select 查询字段(可以起别名) from 表名(可以起别名);          // 查询表数据( * 查询所有 如果不想查询所有直接写想查询字段即可，多个字段的话中间用逗号隔开)

20、>mysql as 关键字 // 起别名(任何表，任何字段都可以起别名)

21、>mysql insert into 表1(`字段`,`字段1`,`...`) slect 字段,字段1,... from 表2;           // 插入从其他表选择的行(将一个表中的数据插入到另一个表中);

22、>mysql update 表名 set `字段` = '值' where 条件;        // 更新数据(如果不加where条件则会更新该表所有数据);

23、>mysql delete from 表名 where 条件;                         // 删除数据(如果不加where条件则会删除该表所有数据);

24、>mysql order by 字段(主键[id]) asc || desc  // 排序 asc正序（默认） desc 倒序

25、>mysql limit 值1,值2;               // 控制结果显示条数，参数1：从哪里开始显示 参数2：显示几条

eg: mysql> select * from users order by cdate asc limit 10;

26.mysql> show create table 表名\G        --查看表的建表语句。

 

django

官网：www.djangoproject.com

安装：pip install django==1.11.11

1、新建项目：cmd窗口命令：django-admin startproject myweb

2、启动项目：1,cd myweb

               python manage.py runserver（只能localhost:8000访问）

              2,python manage.py runserver 0:8000（任意电脑访问）

            settings.py文件里添加：ALLOWED_HOSTS = ['IP地址']

3、创建应用

python manage.py startapp myapp

4.

生成数据库迁移文件：python manage.py makemigrations

model数据库迁移:python manage.py migrate

5.创建管理用户：python manage.py createsuperuser

爬虫scrapy

创建项目：scrapy startproject demo

创建爬虫：

scrapy genspider fang fang.5i5j.com

执行爬虫：

scrapy crawl fang

结果另存格式：

scrapy crawl fang -o fang.xml

爬虫常用请求库

Urllib

Python3 urllib库官方链接：https://docs.python.org/3/library/urllib.html

• urllib中包括了四个模块，包括：
• urllib.request：可以用来发送request和获取request的结果
• urllib.error：包含了urllib.request产生的异常
• urllib.parse：用来解析和处理URL
• urllib.robotparse：用来解析页面的robots.txt文件

urllib.request：

• urllib.request 模块提供了最基本的构造HTTP 请求方法，可以模拟浏览器的一个请求发起过程。同时它还带有处理authenticaton(授权验证),redirections(重定向),cookies(浏览器Cookies)以及其它内容。
• urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)
• 参数：url地址
  • data：可选附加参数，字节流编码格式（bytes() 可转换），请求方式会变为POST
  • timeout （超时时间）单位为秒，若请求超出了设置时间还没有响应，则抛异常
• 返回HTTPResposne类型的对象：
• response.read() 就可以得到返回的网页内容，可使用decode("utf-8")解码字符串
• response.status 就可以得到返回结果的状态码，如200代表请求成功，404代表网页未找到

 urllib.request.Request：

• 利用urlopen()方法可以实现最基本的请求发起，但这几个简单的参数并不足以构建一个完整的请求。
• 使用强大的Request类可以在请求中加入需要的headers等信息。

    class urllib.request.Request(url, data=None, headers={}, origin_req_host=None,    

          unverifiable=False, method=None)

• 第一个参数是请求链接，这个是必传参数，其他的都是可选参数
• data 参数如果要传必须传bytes （字节流）类型的，如果是一个字典，可以先用urllib.parse.urlencode() 编码。
• headers 参数是一个字典，你可以在构造Request 时通过headers 参数传递，也可以通过调用Request 对象的add_header() 方法来添加请求头。
• origin_req_host 指的是请求方的host 名称或者IP 地址。
• unverifiable 指的是这个请求是否是无法验证的，默认是False 。意思就是说用户没有足够权限来选择接收这个请求的结果
• method 是一个字符串，它用来指示请求使用的方法，比如GET ，POST ，PUT 等等。

 

mongodb:

1.创建一个数据目录文件夹 c:\data\db

2.打开mongodb服务

mongod --dbpath c:\data\db

3.打开一个终端连接mongodb服务器

命令：mongo

 

 

 

自动化运维

 

1 Linux基础

1.1目录和文件操作

 pwd 打印当前工作目录 

 cd 切换目录

      cd   宿主目录

      cd - 上次的目录

      cd .. 上级目录（.代表当前目录）

         cd /home/

 ls 列出目录中的文件

      ls -l 详细信息

      ls -a 显示所有文件（包含以点开头的文件）

      ls -F 目录后加斜线显示（文件夹后加/）

      ls -lh 人性化单位显示大小

 mkdir 创建目录  

touch 创建文件

touch readme.txt    ||  touch hello 文件

 

写数据到文件

echo "1234" >>readme.txt

 

 rm 删除文件

       rm -r 删除目录 -r 递归删除

       rm -i 删除前提示

       rm -f 删除文件不提示

       rm -rf 删除目录（不提示）

       rm -rf ./* 删除当前目录所有文件

 mv 移动文件

       例：

       复制：touch test

       创建：mkdir demo

       移动: mv test demo/

       修改名字： mv demo/test demo/abc   test修改成abc

cp  复制copy

       cp /etc/issue ./     讲/etc/issue文件复制到当前目录

       cp -r 递归复制目录

 

 

 

find 搜索

       find /etc -name init 在/etc目录精确查找init文件

       find /etc -name 'init*' 在/etc目录找init开头的文件

       find /etc -name '?init' 在/etc目录找以init结尾，前面只有一个字符

       find /usr/bin -size +3M 在/use/bin目录查找大于3M的文件

 

which 显示命令路径

       which python3

cat 显示文件内容

       cat /etc/hosts

more

       more /etc/services 查看/etc/services件

       空格 翻页

       回车  下一行

       b 上一页

       q退出

head 查看文件头几行

       head -n 5 /etc/services

 

tail 查看文件最后几行

       tail -n 5 /etc/services  显示/etc/services文件最后5行

       tail -f 监视文件变化

 

 

ln 创建连接

 

       ln -s 源文件 新文件  （创建ls软连接）  

              例：ln -s readme.txt install.txt  (写任何东西到软连接都会同步到源文件中，写到源文件中的数据不会同步到软连接)

       ln 源文件 新文件      （创建硬链接）

       （硬链接没有任何区别，相当于拷贝了一份，不管谁发生变化，另一方都会变化，不可以跨文件创建）

1.2解压和打包

tar.gz 格式

        打包 tar -zcvf test.tar.gz test

         将test目录打包，生成test.tar.gz文件

        解压 tar -zxvf test.tar.gz

         将test.tar.gz文件解压

 

 .bz2格式

      ·打包tar -cjf test.bz2 text

         将test目录打包，生成test.bz2

       ·解压tar -xjf test.bz2

         将test.bz2解压

  打包 zip -r test.zip test

         将test目录打包，生成test.zip文件

 

 解压 unzip test.zip

         ContOS 下安装zip： yum -y install zip

         Ubuntu 下安装zip： sudo apt install zip

Windows下，推荐用WinRAR压缩为ZIP格式，不要用"好压

file 查看文件类型

file test  查看test是什么文件

1.3 vi编辑器使用

---------------------

:wq 存盘并退出 (write and quit)

:w 存盘

:q 退出

:q! 不存盘强制退出

:wq! 强制存盘退出

 

ESC返回命令模式

 

:set nu 显示行号

:15 跳到第15行

G 定位到最后一行

gg 到第一行

/str 搜索str字符串,按n键到下一处

 

dd 删除一行（剪切）

5dd 删除5行（剪切）

yy  复制

5yy 复制5行

P   粘贴

u   撤销

ctrl + r 恢复上一步撤销操作

 

1.4 Linux的用户与权限管理

文件权限：

       read    可读     4

       write   可写     2

       execute 可执行   1

       r 读权限 可查看文件内容， 可列出目录内容

       w 写权限 可以修改文件内容， 可以再目录中创建，删除文件

       x 执行权限 可以执行文件， 可以进入目录

 

用户分类：

       user 所有者

       group 所属组

       other 其它人

       第一个字符D代表目录

 

用户组管理命令：

       groupadd 添加用户组

       groupdel 删除用户组

       删除用户和组步骤：

              1、删除 /homo/目录下的用户目录： rm -rf /home/名称/

              2、userdel 用户

              3、groupdel 用户组完成

 

用户管理命令：

       useradd 添加用户

       -g      指定用户组

       -m  自动创建宿主目录（ubuntu）

       -r   连同宿主目录一起删除

       passwd修改用户密码（没有参数时修改自己的密码）

              设置密码：password jack

 

权限操作：

       chown jack testfile   改变文件的所有者，把testfile文件所有者改成jack

       chgrp group1 testfile  改变文件的组

       chmod u+x ./start.sh    改变文件的权限

              例子：chmod g+w python/   对组权限中加入w权限

       chmod -R 777 /data/www

    （7：4+2+1，5：4+1）

 

------------------------ 案例：---------------------

1、创建两个小组

       python  ：  groupadd python

 

       php  ：  groupadd python

 

      

 

2、创建3个用户

       python组：jack mary

              useradd -m -g  python jack   //创建用户，并加到python组中，宿主目录中会创建文件夹

              useradd -m -g  python mary

 

              查看jack : id jack

              查看组目录： ls /home/  查看所有的用户

              删除 /homo/目录下的用户目录： rm -rf /home/名称/

 

       php组： lily  tom

              useradd -g -m php lily

              useradd -g -m php tom

      

 

3、创建目录

       /data/python

              创建文件夹(加-p才能创建两层目录)：mkdir /data/python -p

       /data/php

              创建文件夹(加-p才能创建两层目录)：mkdir /data/python

 

4、配置权限目录：

       python 组的同事允许再 /data/python 目录中工作

             

       php组的同事允许再 /data/php 目录下工作

 

       转让文件权限：

              chown jack python/  吧python文件夹转让给jack

              chgrp python python 把python文件所属组给到python 组，要在文件主目录中操作.

       文件权限配置：

              chmod u+x 1.py

 

创建文件  touch 文件

 

1.5 Linux的进程管理

程序 是指令和数据的有序集合，是一个静态的概念

进程 代表一个正在运行的程序的实例

线程 通常在一个进程中可以包含若干个线程

 

在命令末尾加上 & 符号，就可以让程序在后台运行

程序正在前台运行，可以使用 Ctrl+Z 把程序暂停

 jobs 查看运行的程序

 bg 把暂停的程序放到后台运行

 fg 把一个程序掉到前台运行

 

执行：python3 ./test.py &

----------------------------------

查看进程：

 

       ps -ef | grep httpd

       ps -aux |

UID 程序被该 UID 所拥有

PID 就是这个程序的进程ID

PPID  则是其上级父程序的进程ID

C  表示CPU使用的资源百分比

STIME 表示进程启动时间

TTY  登入者的终端机位置

TIME 使用掉的 CPU 时间。

CMD 所下达的指令为何

----------------------------------

查看进程的CPU和内存占用:

ps aux

ps -aux | grep httpd

 

USER: 行程拥有者

PID: pid

%CPU: 占用的 CPU 使用率

%MEM: 占用的记忆体使用率

VSZ: 占用的虚拟记忆体大小

RSS: 占用的记忆体大小

TTY: 终端的次要装置号码 (minor device number of tty)

STAT: 该行程的状态，linux的进程有5种状态：

D 不可中断 uninterruptible sleep (usually IO)

R 运行 runnable (on run queue)

S 中断 sleeping

T 停止 traced or stopped`

Z 僵死 a defunct (”zombie”) process

注: 其它状态还包括W(无驻留页), <(高优先级进程), N(低优先级进程), L(内存锁页).

START: 行程开始时间

TIME: 执行的时间

COMMAND:所执行的指令

 

-------------------------------------

top命令：

PID — 进程id

USER — 进程所有者

PR — 进程优先级

NI — nice值。负值表示高优先级，正值表示低优先级

VIRT — 进程使用的虚拟内存总量，单位kb。VIRT=SWAP+RES

RES — 进程使用的、未被换出的物理内存大小，单位kb。RES=CODE+DATA

SHR — 共享内存大小，单位kb

S — 进程状态。D=不可中断的睡眠状态 R=运行 S=睡眠 T=跟踪/停止 Z=僵尸进程

%CPU — 上次更新到现在的CPU时间占用百分比

%MEM — 进程使用的物理内存百分比

TIME+ — 进程使用的CPU时间总计，单位1/100秒

COMMAND — 进程名称（命令名/命令行）

 

----------------------------------------------

结束进程：

 结束前台进程CTRL+C

 kill 结束指定进程ID

-9 强制

 pkill 进程名 pkill http

 

-----------------------------

查看硬盘空间：

df -h

 

-----------------------------

查看当前登录用户：

w

pkill -9 -t pts/1 把终端pts/1的用户踢出去

 

2 服务器软件安装与管理

2.1、二进制软件包管理

 

ubuntu

       apt update  //更新软件仓库信息

       apt install -y zip    //安装zip软件

       apt remove zip     //删除zip

      

centos 

       yum yodate   //更新软件仓库

       yum install -y zip  //安装zip软件

       yum remove zip  //删除zip

 

2.2源码编译准备工作

apt install -y gcc g++ make （ubuntu）

yum install -y gcc gcc-c++ make (CentOS)

安装编译所需工具

 

wget http://example.com/xxx.tar.gz

下载软件源码包到服务器上

 

源码编译基本步骤

 解压软件包，阅读安装说明README、INSTALL等

 ./configure --prefix=/usr/local/path（设置安装路径）

 make

 make install

 

编译nmap

https://nmap.org/

2.3 linux中MySql相关操作

1、安装mysql

       apt update  //更新仓库

       apt install -y mysql-server mysql-client  //安装mysql服务端、客护短

       设置密码：

---------------------------------

①连接数据库

mysql -uroot -p

密码

②查看所有的库

show databases

---------------

③mysql的管理命令：重启、停止、开始

service mysql stop

service mysql start

service mysql restart

-----------------------

④mysql的配置

二进制安装目录： vi/etc/mysql/my.cnf  或者路径：/etc/mysql/mysql.conf.d/mysqld.cnf

[mysqld]

basedir         = /usr/     --mysqls

程序安装位置

datadir          = /var/lib/mysql   --数据存放位置

port                      = 3306          --端口

bind-address    = 127.0.0.1    --绑定地址，127.0.0.1地址只可在本机连接，

max_connections = 100            --最大连接数

slow_query_log    = 1         --慢查询，查询慢的sql记录到文件中，方便查询，1是开机

slow_query_log_file      = slow.log     --记录位置

long_query_time         = 2         --执行超过2，秒的就是慢查询

innodb_buffer_pool_size = 3G           --缓存控制，默认安装值是最低，总内存的70%（专用），两种引型:InnoDb

 

查询配置文件：

vi /etc/mysql/my.cnf

真实地址：/etc/mysql/mysql.conf.d/mysqld.cnf

查看mysql状态：

查看最大连接： show variables like 'max_connections';

查看正在来接数：show global status like 'max_used_connections';

查看配置的空间： show variables like 'innodb_buffer_pool_size';  

各种操作数量： show status like 'innodb_rows_%';

 \s 查看状态

mysql手册：https://dev.mysql.com/doc/refman/5.7/en/

 

-----------------

备份数据库：

       创建数据库：create database test;

       show tables;

       use test;

       exit;退出

       mysqldump -uroot -p密码 test >test.sql  备份

       mysql -uroot -p密码 test <test.sql  恢复

 

2、用户授权

mysql默认情况不可以远程连接，查看当前用户：

select host,user from mysql.user; 

①

       用户授权:all、select、update、*.*不限制任何数据库和表，%位置代表主机IP地址

grant all on *.* to root@"%" identified by "letmein"

 

----------------

创建远程连接，

       授权用户

• ，配置文件中注释掉  本地地址172.0.0.1

重启数据库

Service mysql restart

2.4 Linux中Django框架安装和启用

1、linux 下安装Django框架

       apt update

       python -V  查看版本

       apt install Python3

---------------------------------

       pip -V

       pip3 -v

       apt install python3-pip

---------------

pip3 install django  安装框架

clear

安装 指定版本的 Django 命令如下：

Pip3 install django==1.10.3

卸载：

Pip3 uninstall django

-----------------

django-admin startproject demo  创建项目

发布项目

python3 manage.py runserver 0.0.0.0:8080

 

python3 manage.py runserver 0.0.0.0:80   --就可以访问项目

---------

 

python -m django --version  查看版本

 

2.5 uWSGI 服务器的使用和Django项目的发布

pip3 install uwsgi  //安装命令

 

启动命令：(--chdir指定项目目录)(--module哪一个模块 demo项目下的wsgi)(--daemonize/var/log/uwsgi.log指定日志文件)

//设置了默认端口就不用再加9090

uwsgi --http:9090 --chdir /root/demo  --module demo.wsgi

uwsgi --http:9090 --module demo.wsgi --daemonize /var/log/uwsgi.log

--程序后台运行命令 项目目录下：

uwsgi --http :9090 --chdir /root/demo1 --module demo1.wsgi --daemonize /var/log/uwsgi.log

 

日志路径：/var/log/uwsgi.log

 

搜索

 

--------------结束进程---------------

ps -ef |grep uwsgi

结束进程（只结束父进程就可以）：

kill -9 父线程号

 

-----

把uwsgi加到配置中，开机自启

vi /etc/rc.local

 

把下面的放进去：（which uwsgi 查看地址）

uwsgi地址 --http :80 --chdir /root/demo --module demo.wsgi --daemonize /var/log/uwsgi.log

 

2.6性能测试

 吞吐率（Requests per second）

 并发连接数（The number of concurrent connections）

 并发用户数（The number of concurrent users，Concurrency Level）

 用户平均请求等待时间（Time per request）

 服务器平均请求等待时间（Time per request: across all concurrent requests

 

）

 

----ab---工具

 ab (apache bench)

 apache提供的一个压力测试工具

 apt install apache2-utils

 ab -c 20 -n 10000 http://exampl.co

3 高并发下的web架构一

3.1反向代理与负载均衡

1. 了解反向代理与负载均衡技术

 

什么是负载均衡

通过某种负载分担技术，将外部发送来

的请求均匀分配到对称结构中的某一台服务器

上，而接收到请求的服务器独立地回应客户的

请求。

负载均衡的实现

硬件负载均衡、软件负载均衡，DNS

 

软件负载均衡

Nginx

轻量级的Web服务器/反向代理服务器

特点

工作在网络的7层之上

对网络的依赖非常小

并发大，性能不俗

 

• 熟悉Nginx安装与配置

 

apt update

apt install –y nginx

service nginx start

service nginx stop

service nginx restart

nginx -t

nginx -s reload      //平滑的重启。配置重载。

 

---说明，这时候，启动Nginx后，通过页面就可以访问IP地址

 

②Nginx主配置文件

 

vi /etc/nginx/nginx.conf

 

user       www-data;  //代表nginx以什么身份运行；

worker_processes        auto;    //工作进程数，默认，根据CPU数量来设置；

pid /run/nginx.pid;       //会将启动文件放到这个文件中

events {

       worker_connections 768;            //代表一个owrk能处理多少个并发； 进程数*worker连接数=并发数

}

http {   

       gzip on;  //网页压缩,on是开启

       access_log /var/log/nginx/access.log;     //成功日志

       error_log /var/log/nginx/error.log;     //错误日志

       include /etc/nginx/conf.d/*.conf; //配置文件,每个配置文件已分号结束。

       include /etc/nginx/sites-enabled/*;

}

③Nginx的server配置

 

vi /etc/nginx/sites-enabled/default

 

server {

       listen 80; //监听端口

       root /var/www/html;    //指定网站根目录在什么地方,默认访问此网页

       index index.html index.htm; //默认去访问的文件

       server_name _;             //_中通常填写域名

       location / {

       try_files $uri $uri/ =404;       //尝试输入的数据当成文件去查看，没有加/当目录查找，没有报错；

       }

}

 

3. 了解Nginx反向代理与负载均衡

 

④Nginx反向代理

server {

       ......

       location / {

       proxy_pass http://192.168.88.3:81;     //一旦有访问Linux地址，就跳转到这里

       proxy_set_header Host $host;

       proxy_set_header X-Real-IP $remote_addr;

       }

}

⑤Nginx负载均衡

 

upstream backend {

       server 192.168.8.3:80 weight=1;

       server 192.168.8.4:80 weight=1;

}

location / {

       proxy_pass http://backend;

}

 

 

3.2-Memcached缓存

1. 了解什么是缓存

缓存为王

DNS、浏览器、App、代理缓存、服务端缓存

 

*内存缓存

RDB Memory

随机访问情况下，内存访问速度比硬盘访问速度快上10万倍以上

 

*缓存算法

1. LRU(Least Recently Used)

       最近最少使用

2. LFU(Least Frequently Used)

       根据数据的历史访问频率来淘汰数据

 

 

①安装

 

apt install -y memcached

service memcached stop

service memcached start

service memcached restart

 

②参数配置

vi /etc/memcached.conf

-d 守护进程

-m 内存，default 64MB

-u 运行用户

-l 监听的服务器IP地址

-p 监听端口，默认是11211

-c 并发连接数，默认是1024

 

③安装

apt install -y memcached

service memcached stop

service memcached start

service memcached restart

telnet 127.0.0.1 11211

version

stats

 

④状态

telnet 127.0.0.1 11211

stats

 

STAT pid 237784 # 进程ID

STAT uptime 2070631 # 运行秒数

STAT version 1.4.25 # 版本

STAT libevent 2.0.21-stable # libevent 版本

STAT pointer_size 64 # 系统指针(32bit/64bit)

STAT curr_items 50237 # 当前实例存储的 items数量

STAT total_items 1337400 # 实例启动以后存储的 items总数量

STAT bytes 35169108 # 实例存储 items占用的字节数

STAT curr_connections 349 # 当前打开的连接数

STAT total_connections 108429 # 实例启动后打开的连接总数

STAT cmd_get 14005676 # get 命令总请求次数

STAT cmd_set 1337400 # set 命令总请求次数

STAT get_hits 12596511 # 总命中次数

STAT get_misses 1409165 # 总未命中次数

STAT evictions 0 # 为获取空闲内存而删除的 items数

STAT bytes_read 4918928094 # 总读取字节数(请求字节数)

STAT bytes_written 46027378599 # 总发送字节数(结果字节数)

STAT limit_maxbytes 1572864000 # 分配的缓存大小

STAT threads 4 # 当前线程数

 

⑤Python中使用

# pip install python-memcached

import memcache

# 链接

mc = memcache.Client(['127.0.0.1:11211'])

# 存入

mc.set('name', 'python', 60) # 过期时间秒

# 读取

res = mc.get('name')

# 删除

mc.delete('name'))

 

4 高并发下的web架构二

4.1理解同步与异步

1. 1. RabbitMQ是异步处理数据的；

 

 

 

同步：处理时间长

 

异步：

 

常见的消息队列软件：

RabbiteMQ、Redis

 

4.2安装RabbitMQ消息队列

1. 1. 基础概念：

↓

 

 

1. 1. 安装管理：

步骤①：安装

安装：   Apt install -y rabbitmq-server

启动：   service rabbitmq-server stop  /start   /restart

 

步骤②启动rabbitmq的web管理界面；

启动rabbitmq的web管理界面；

*在linux服务器中执行：启用management plugin    web管理插件：

命令：rabbitmq-plugins enable rabbitmq_management

 

*在浏览器中输入服务器的IP地址和端口：

http://39.96.84.227:15672/

*添加用户

 

创建用户命令：rabbitmqctl add_user jack 密码    //此密码是访问rabbitmq网站的密码，qq=734428630

 

给用户指定角色：

 

 

给用户指定角色命令：

rabbitmqctl set_user_tags jack administrator    //指定为超级管理员

这时候可以去网页中登录 jack账户

 

↓↓↓↓↓↓

 

 

说明：rabbitMQ中有很多的交换机，交换机可以连接很多的队列；

数据发送给交换机，交换机把数据放到应该放的队列中；

4.3. 在Python中使用RabbitMQ

Python中操作RabbitMQ需要安装一个扩展：pip3 install pika

(在Windows中使用就在win中安装)

*创建连接→创建通讯信道→声明交换机→

*运行python文件，发现失败，是因为jack的权限还不够，解决：

Linux中执行：rabbitmqctl set_permissions -p / jack ".*" ".*" ".*"

 

------------------------写Python程序-----------------

4.3.1真实的项目中怎么使用rabbitMQ：

安装模块： pip install celery 

删除模块： pip uninstall celery

指定版本安装（支持windows）： pip install celery==3.*

 

使用celery的程序后台执行：celery -A bankend worker

 

 

5自动化运维基础(psutil、ipy、dnspython)

5.1通过命令查看linux任务管理器相关命令

• top命令：查看cpu、内存kib、进程相关信息

Top中按1，可以对cpu排序；

• 查看硬盘情况：df -h
• 当前登录用户： W
• 网络流量： watch cat /proc/net/dev

⑤当前的cup情况、：cat /proc/cpuinfo info

 

5.2Python的piutil模块查看管理器

①使用psutil模块查看CPU相关命令：

安装：pip3 install psutil

进入Python3：直接输入  Python3

导入psutil: import psutil

 

查看CPU数量：         psutil.cpu_count()

 

只显示物理核心CPU：              psutil.cpu_count(logical=False)

 

Cup从开机以来使用的情况:             Psutil.cpu_times()

 

Cpu当前的使用率：           psutil.cpu_percent()

Cpu持续占有率特别高，则需报警

 

分别查看每个CPU使用情况：         psutil.cpu_percent(percpu=True)

 

查看3秒钟CPU的使用率：             psutil.cpu_percent(percpu=True,interval=3)

 

②使用psutil模块查看内存相关命令：

查看内存使用情况：Psutil.virtual_memory()   或者：根目录下 free -m

 

查看交换分区：psutil.swap_memory()

当前服务器有几个分区：Psutil.disk_partitions()

查看每个分区可用空间：psutil.disk_usage(‘/’)    //根分区

硬盘的读写情况  ：psutil.disk_io_counters()     //可计算硬盘时间内写了多少，

③网络相关情况：

发送数据包和接收数据包： psutil.net_io_counters()      //监控计算机流量状态

多块网卡，每块网卡情况：psutil.net_io_counters()

 

 

5.3psutil获取进程的相关信息

①psutil查看进程命令

拿到所有的进程ID： psutil.pids()

进程的详细信息：P = psutil.Process(1)

P.name()   //输出进程名称

1. 

进程的可执行文件：p.exe()

进程的工作目录：p.cwd()

进程状态：p.status()

进程创建时间： p,creat_time()

查看进程由哪个用户创建： p.uids()     p.gids()

进程所占用的CPU时间： p.cpu_time()

内存的利用率：p.io_counters()

进程有几个线程：p.num_threads()

 

②和联网相关的进程能看到网络信息

查看SSH和网络相关的连接： ps -ef |grep ssh

P = psutil.Process(进程ID)

P.name()  //输出进程名

P.connections()    //打印网络信息

可以用来分析进程有没有和别的网络连接

查看开机时间：psutil.boot_time()

对开机时间转换：

当前登录用户: psutil.users()

 

退出psutil : exit()

 

5.4 IPy模块的使用

用来处理IP信息相关的信息。

 

①IPy的安装和使用：

安装： Pip3 install ipy

进入Python：python3

查看是IPV几的IP地址：

 

网段的IP地址全部列出来：

 

判断IP是公网IP还是私网IP：

Ip = IPy.IP(“IP地址”)

Ip.iptype()

 

IP换成整数：ip.int()

16进制：ip.strHex   二进制：ip.strBin()

根据IP和子网掩饰码生成网段：

或：

IPy.IP(“192.168.1.0/255.255.255.248”,make_net=True)

 判断一个IP地址和网段是否包含在另一个网段中：

‘IP地址’ in IPy.IP(“IP地址/网段”)

判断两个网段是否存在IP重复的情况：

 

5.5 dnsPython域名解析

安装：    pip3 install dnspython

进入Python3，导入 import dns.resolver

 

*对域名A记录进行查询：

 

 

查询域名的MX邮件解析记录：

Res = dns.resolver.query(“qq.com”,”MX”)

[item for item in res

 

查看域名的NS记录（用一级域名）：

Res = dns.resolver.query(“qq.com”,”NS”)

[item for item in res

 

 

作用：可以对网站或者项目进行域名监控，python脚本，每隔十分钟对IP地址解析，并访问

 

 

 

 

6发布windows中的项目到云服务中

①通过pscp来传输文件，使用方法如下：

 

pscp简要说明 
pscp为window与Linux之间的文件传输工具，使用和Linux下scp命令相似。
pscp 安装

下载pscp 放到C:\WINDOWS\system32中，然后就可以在任何地方调用

参考：https://www.jianshu.com/p/101d42cd686b

远程传输到本地

pscp [options] [user@]host:source target

user:远程主机的用户名
host:远程主机的ip
source:远程主机上的文件， 只能是单个。
target:本地的存放路径可指定文件名。如：./test.txt, 若不指定则默认原文件名。

例：从172.17.1.100：22 机器的home/ubuntu/.ssh/id_rsa.pub文件copy文件到window的E盘根下

pscp -P 22 ubuntu@172.17.1.100:/home/ubuntu/.ssh/id_rsa.pub E:/

本地传输到远程

pscp [options]source [source....] [user@]host:target
source:本地的文件，多个文件用“空格”隔开
user:远程主机的用户名
host:远程主机的ip
target:远程的存放路径可指定文件名。如：/root/test.txt, 若不指定则默认原文件名

例：复制本地test.txt 和a.zip文件到远端主机

pscp -v test.txt, a.zip root@192.168.1.245:/root/

注意：

云服务中需要安装的包要全部安装好，开发环境和生产环境的python版本、Django版本要一致；

 

 

• 使用pscp 传，传输项目到云服务；

②使用uwsgi发布项目

③使用Nginx做反向代理

 

 

**静态文件重定位,settings文件中：

 STATIC_ROOT =os.path.join(BASE_DIR,”静态文件的路径”)

STATICFILES_DIRS = [

    os.path.join(BASE_DIR, '/data/www/pro'),

]

 

 

 

监控及报警

1.使用python脚本自动化监控服务器资源及邮件和微信提示报警

2.使用python脚本自动化安装

3.自动化部署项目：

   a.创建git仓库

b.开发测试环境部署

c.创建git账户，使用git账户创建共有仓库

d.使用git将Windows上的web项目推送到共有仓库

e.开发测试服务器使用root账户创建新项目目录，通过git克隆共有仓库的文件到新建项目目录

f.使用uwsgi发布项目