一， 大访问量


1，负载均衡


把访问流分到不同的服务器上。




2，冗余技术


一台服务器故障，另一台服务器备份，集群




二， 大数据存储


1，mysql


主从 （负载） ， 分库分表（垂直，水平） 分区，集群（冗余备份）



2,oracle


3,db2


4,nosql



三， 网站加速


1，squid反向缓存-动静分离


2，页面静态化

（1）伪静态，（2）模板技术-页面静态化 （3）ajax


第二种方法才算真正意义的静态化


smarty，还有一些框架


3，memcache



4,sphinx全文检索





四，网站服务，流量监控


1，服务监控


（1）apache web服务监控

（2）mysql 数据库监控

（3）磁盘空间监控



2，流量监控

（1）网站流量监控



===================================

snmp


被监控者要开启snmp服务 161，162端口


监控者绘制图表

mrtg流量图

cacti监控（以网站的方式显示）



postfix邮件报警


linux邮件系统：

1，postfix发邮件系统 25

2，sendmail发邮件系统

3,dovecot 收邮件系统 110






管理员(流量监控+邮件报警)


（1） mrtg +shell


(2) cacti + php





五，压力测试


apache压力测试-ab


mysql压力测试-mysqlslap










============实际应用=====================================




一，网络负载均衡



1，基于网络设备 （硬件设备的负载均衡 ）


cisco的以太网通道

F5的负载均衡 （net技术：网络目的地址转换）



2，基于操作系统

windows -> nlv

linux -> lvs


lvs常用的三种负载均衡模式：

（1）lvs nat模式 （网络地址转换）轮循访问

（2）lvs ip-tun模式 （ip隧道模式）

（3）lvs dr模式 （直接路由模式）




四种常用的轮叫算法


1，轮叫

2，加权轮叫 （哪来服务器处理能力强，请求多分一点）

3，最少链接 （哪个服务器链接数最少，请求发到哪来服务器）

4，加权最少链接








二，squid反向代理



普通代理：内部通过设置代理IP和端口访问外部

透明代理：内部不需要每次都设置代理ip和端口就能访问外部

反向代理：外部通过代理服务器访问内部的web服务器。




squid安装与配置


1,安装squid软件包

yum -y install squid*

2，squid配置文件

/etc/squid/squid.conf

3,启动squid服务

service squid start/restart

4,停止squid服务

service squid stop

5.重新加载配置文件

squid -k reconfig




配置文件squid.conf 常用配置项


http_port 192.168.10.1:3128 //代理ip及端口

cache_mem 64MB

maximum_object_size 4096KB

reply_body_max_size 10480000 allow all //下载最大文件限制

access_log /var/log/squid/access.log // 日志

visible_hostname 192.168.10.1

cache_dir ufs /var/spool/squid 100 16 256

大小 一级目录 二级目录






1.普通代理配置方法

demo:


虚拟机两个 clone一台

squid 300M内存 clone 100M内存

改下名字 squid-server web-server


squid-server 要两块网卡


启动两台虚拟server


vim1 192.168.10.2


ifconfig eth0 192.168.10.1

ifconfig eth0


ifconfig eth1 200,168.10.1


进入web-server

ifconfig eth0 200.168.10.2


测试

ping 192.168.10.2

ping 200.168.10.2



进入squid-server

rpm -qa squid* //看有没有安装squid

yum -y install squid* //安装

cd /etc/squid

ls

vi squid.conf

rm -rf squid.conf

vi squid.conf

http_port 192.168.10.1:3128

visible_bostname 192.168.10.1

acl innet src 192.168.10.0/24

acl all src 0.0.0.0/0.0.0.0

http_access allow innet //允许innet网段的人访问代理服务器

http_access deny all //拒绝。。。。。


wq:



service squid restart


pstree |grep squid

netstat -tunpl |grep :3128




进入web-server


rpm -qa |grep httpd

service httpd restart

ckhconfig httpd on

cd /var/www/html/

ls

echo "<h1>web-200.168.10.2</h1>" > index.html



设置代理



可以通过代理服务器上网








ACL访问控制： 可以从客户机的IP地址，请求的URL,文件类型，访问时间，并发请求数来进行控制


ACL控制列表：


定义acl列表：

acl 列表名称 列表类型 列表内容


针对acl列表进行限制

http_access allow 或deny



demo:


acl all src 0.0.0.0/0.0.0.0 所有的IP

http_access deny all 拒绝访问


src 源IP

dst 目的IP

port 端口

srcdomain 源域名

dstdomain 目的域名

time 时间

maxconn 最大连接数

url_regex url正则过滤

urlpath_regex urlpath正则过滤



acl列表定义示例 ======demo


acl LAN1 src 192.168.1.0/24

acl PC1 src 192.168.1.66/32

acl Blk_Domain dstdomain .qq.com .kaixin001.com

acl Work_Hours time MTWHF 08:30-17:30

acl Max20_Conn maxconn 20

acl Blk_URL url_regex -i ^rtsp:// ^mms://

acl Blk_Words urlpath_regex -i sex adult

acl RealFile urlpath_regex -i \.rmvb$ \.rm$


根据已定义的acl列表进行访问控制


http_access deny LAN1 Blk_URL //拒绝LAN1去Blk_URL

http_access deny LAN1 Blk_Words

http_access deny PC1 RealFile

http_access deny PC1 Max20_Conn

http_access allow LAN1 Work_Hours




2.配置squid透明代理


不用设置代理IP端口，只要设置网关就行。


前提：客户机的web访问数据要能经过防火墙

代理服务构建在网关主机中



修改squid.conf配置文件

http_port 192.168.10.1:2128 transparent

squid -k reconfig


iptables -t nat -I PREROUTING -i etho -s 192.168.10.0/24 -p tcp --dport 80 -j REDIRECT --to 3128





demo:

进入squid-server

vi squid.conf

修改

http_port 192.168.10.1:2128 transparent


重新加载配置项

squid -k reconfig



cd

iptables -t nat -A PREROUTING -i eth0 -s 192.168.10.0/24 -p tcp --dport 80 -j REDIRECT --to 3128



iptables -L //查看






3，squid 反向代理




修改squid.conf


http_port 200,168,10,1:80 vhost

cache_peer 192.168.10.2 parent 80





修改vm1 为200.168.10.2


进入squid-server


ifconfig eth0 200.168.10.1

ifconfig eth1 192.168.10.1


进入web-server

ifconfig eth0 192.168.10.2



vi squid.conf


http_port 200.168.10.1:80 vhost

visible_hostname 200.168.10.1

acl all src 0.0.0.0/0.0.0.0

http_access allow all

cache_peer 192.168.10.2 parent 80 0 originserver

:wq



squid -k reconfig


OK......





=============================================================


mysql主从，


mysql分区。



针对海量数据的优化主要有2种方法：大表拆小表，sql语句的优化。索引



1.分库分表：


垂直分表，水平分表。

分表分导致要修改sql语句，会造成逻辑的复杂。使用分区技术可以避免。


2.分区技术： mysql5.1后所带的一种分区技术，它是在逻辑层进行水平分表。


（1）range分区：

基于一个给定连续区间的残值，把多行分配给分区


demo:

create table emplyees(


id int notnull,

fname varchar(30),

lname varchar(30),

hired date notnull default '1970-01-01',

separated date notnull default '9999-12-31',

job_code int not null,

store_id int not null


)


partition by range(store_id)(

partition p0 values less than(6) //小于6的在p0分区

partition p0 values less than(11) //小于11的在p1分区

partition p0 values less than(16)

partition p0 values less than(21)

);







（2）list分区：

类似于range分区，区别在于基于列值匹配一个离散值集合中的某个值来进行选择。


demo:

create table emplyees(


id int notnull,

fname varchar(30),

lname varchar(30),

hired date notnull default '1970-01-01',

separated date notnull default '9999-12-31',

job_code int not null,

store_id int not null


)


partition by list(store_id)(


partition pnorth values in(3,5,6,9,17), //在这个里面的，放在pnorth分区里，

partition peast values in(1,2,10,11,19,20),

partition pwest values in(4,12,13,14,18),

partition pCentral values in(7,8,15,16),


)








（3）hash分区：基于用户定义的表达式的返回值来进行选择分区。



用来确保数据在预先确定的数目的分区中平均分布



demo:

create table emplyees(


id int notnull,

fname varchar(30),

lname varchar(30),

hired date notnull default '1970-01-01',

separated date notnull default '9999-12-31',

job_code int not null,

store_id int not null


)

partition by hash (year(hired))

partitions 4;





（4）key分区


可以为字符型等其它非int类型，md5,ash


-------------------


实例操作：


create table t1(id int);


show create table t1;


cd /usr/local/mysql/data


show tables;


create table t2(id int) engine=myisam


partition by hash(id)

partitions 5;


show create table t2;


cd /usr/local/mysql/data


ll





demo:


/usr/local/mysql/bin/mysql -uroot -hlocalhost -p123456


show databases

show create table t2

?index

?create index


create index in_id on t2(id);

show index from t2;

desc t2;

insert into t2 values(1);

insert into t2 values(2);

insert into t2 values(3);

insert into t2 values(4);

insert into t2 values(5);

insert into t2 values(6);

insert into t2 values(7);

insert into t2 values(8);

insert into t2 values(9);

insert into t2 values(10);


insert into t2 select * from t2;

insert into t2 select * from t2;

insert into t2 select * from t2;

insert into t2 select * from t2;

insert into t2 select * from t2;

insert into t2 select * from t2;


select count(*) from t2;



R+F2 切换终端 监控

cd data

ls

ll -h

watch-n1 | ls -lh 时时跟踪命令结果



insert into t2 select * from t2; //不停插入直到1000W行。


select count(*) from t2;




R+f3 切换到第三个终端：


tree


free //内存的使用


free -m //以M来看内存


top //cpu使用情况





select count(*) from t2;


select count(*) from t2 where id > 5; //带上where耗时就长






create table t3(id int);



\d // //改变结束符


//创建存储

create procedure p3 ()

begin

set @i=1;

while @i<10000 do

insert into t3 valuses(@i);

set @i=@i+1;

end //


\d ;

show procedure status;


select count(*) from t3;

call p3();

select count(*) from t3;




show create procedure p3; //查看存储

?procedure;

drop procedure p3; //删除存储

show procedure status;

call p3;




==================================================



创建一张分区表

创建一张未分区表


写一个存储，插入几百万的数据









mysql 基础操作




1.mysql表复制


create table t3 like t1;

insert into t3 select * from t1;



2,mysql索引



create index 创建索引


demo:

desc ti;

create index in_name on t1(name);

show index from t1;

create unique index in_name on t1(name);


drop index 删除索引


demo:

drop index in_name on t1;

drop index in_name on t1;


alter table 创建删除索引，还可以操作主键索引，最好的方法


alter table t1 add index in_index(name);

alter table t1 drop index in_index;

alter table t1 drop primary key;

alter table t1 modify id int unsigned not null;

desc t1;

alter table t1 drop primary key;


alter table t1 add index in_index(name);

alter table t1 drop index in_name;

show index from t1;


alter table t1 add unique(name);

show index from t1;

alter table t1 drop name;



3,mysql 视图


通过一个条件从一张表拿出来的数据形成一张中间表，就是视图,而且会跟着主表时时更新。


? view

create view v_t1 as select * from t1 where id>4 and id<8;

show tables;

select *from v_t1;


drop view v_t1;


show create view v_t1;



4,mysql内置函数


字符串函数;

concate 连接字符串

lcase 转小写

ucase 转大写

length 长度

ltrim 去左空格

rtime 去右空格

repeat 重复count次

replace 替换

substring/substr 截取字符串

space(count) 生成count个空格



数学函数：

bin 十进制转二进制

ceiling 向上取整

floor 向下取整

max 取最大值

min 取最小值

sqrt 开平方

rand 取随机数



日期函数：


curdate

curtime

now

timestamp

week

year

datediff

unix_timestamp

from_unixtime




5,mysql预处理语句


prepare stmt1 from 'select * from t1 where id>?';

set @i=1;

execute stmt1 using @i;

drop prepare stmt1;


相当于 把@i 作为 ？ 那部分执行

即 select * from t1 where id>1



6,mysql 事务处理



set autocommit=0; 自动提交改为0

delect from t1; 删除表数据

select * from t1;

rollback; 恢复

select * from t1;

commit; 提交


savepoint p1; 设置还原点、

rollback to p1; 还原到p1还原点、




7，mysql存储


存储就是要执行的代码段、


？procedure;


\d //

create procedure p1()

begin

set $i=3;

while @i<100 do

insert into t2(name) values(concat("user",@i));

set @i=@i+1;

end while

end //


all p1; //执行存储p1;

show procedure status\G

show create procedure p1;





8,mysql触发器


向一个表执行数据时，对另一个表也同时执行


例：向t1表插入数据，同时向t2表插入数据


truncate t1; 删除t1表的数据,从1开始


create trigger t1 before insert on t1 for each row

begin

insert into t2(name) values(new.name);

end//




9， 重排auto_increment值

delete from tablename 不能重排只有用


truncate table tablename;或

alter table tablename auto_increment=1;



10，常用的sql技巧