LAMP 关键数据集锦技术选项参考

原创 2012年03月29日 14:09:04

LAMP 关键数据集锦技术选项参考

源自日积月累自己的其他人的经验总结

 

负载均衡 

 

LVS
工作在四层,内核态,性能极高,有VIP功能,配合 keepalived 做有效的 心跳检查和负载均衡安装配置麻烦,
HAProxy
工作在四层到七层,功能强大,有VIP功能,配置简单,CPU占用高
Nginx
工作在七层,应用层功能多,配置简单,无法支持VIP功能
负载均衡器测试数据
软件  每秒并发量  CPU占用  结论
LVS (DR模式) 1.6W25%性能综合比最好,配置复杂
HAProxy 2.3W 95% 转发快,CPU占用高,配置简单
Nginx2W 80% 转发没有haproxy快,CPU比haproxy占用低
机器足够并且应用重要建议独立使用LVS或HAProxy,机器不足使用 Nginx

========================================

反向代理 

1.varnish在高负载下以CPU和内存为代价,比squid 2.6提高8%,但是绝非10倍~20倍.
2.squid 3.0的性能比2.6更低.而非更高.相反,3.0是最不稳定以及性能最差的.
3.squid 2.7的性能比2.6低,但是CPU和内存占用率控制的更好.


nginx+远程cache处理能力是2万次/秒;varnish在大部分本地cache命中情况下处理能力是3万次/秒;

========================================

HTTP Server


Apache
2.2版本非常稳定强大
Preworker模式取消了进程创建开销,性能很高
Nginx
基于异步IO模型,性能强悍,能够支持数万并发
对小文件支持很好,性能很高
代码优美,扩展库必须编译进主程序
Lighttpd
基于异步IO模型,性能Nginx没有差别
扩展库是SO模式,比Nginx要灵活
全球使用率比以前低,安全性没有上面两个好
Web服务器静态内容测试数据
处理静态文件Apache 性能比 nginx和lighttpd要差

Nginx在处理小文件优势明显
Web服务器动态内容测试数据
处理动态内容三者相差不大(测试环境差异),主要是取决于PHP和数据库的处理性能

=========================================

 

PHP

版本选择
PHP 4:马上抛弃它吧,低下的性能,不完整的面向对象支持
PHP 5.2.x:成熟稳定,各种扩展都支持,性能卓越,建议使用
PHP 5.3.x:有一些包括Unicode、命名空间之类的新功能,看个人喜好
工作模式选择
Mod_php5.so:如果使用Apache的话,简单配置,可以使用本模式,挺稳定,性能不错
FastCGI模式:推荐结合 php-fpm 的 fastcgi模式,性能很高,工作稳定,而且可以跟 Apache、Nginx、Lighttpd 完美结合
其他
注意安全配置,注意 safe_mode、open_base_dir 等选项
停掉不需要使用的PHP扩展

 大部分的消耗在文件引用上(include/require)

SQL语句不要放在for循环里面执行,最好能用group by之类解决,或者合并写入
出了问题再profile你的PHP代码
通过auto loading 实现lazy loading
相比较运行速度,更需要注意memory limit,尤其是一些shell处理脚本

 

影响不大的性能优化
不要用array_key_exists,用isset来判断键值是否在数组中
如有可能,采用static静态方法
避免使用__set, __get等魔术方法 set是get 3倍速度
使用echo代替print()
使用include、require代替include_once、require_once
@操作符是邪恶的
不要把count/strlen/sizeof 放到for 循环的条件语句中
……

通过set_error_handler来捕获线上运行错误,统一收集日志、报警
通过register_shutdown_function来捕获fatal errors、记录运行时间

=============================

MySQL

MyISAM与Innodb

MyISAM的性能是比Innodb强

MyISAM的索引和数据是分开的,并且索引是有压缩的  

Innodb是索引和数据是紧密捆绑的,没有使用压缩从而会造成Innodb比MyISAM体积庞大不小

 

innodb不信任操作系统

 

MyISAM不支持外键  Innodb支持

MyISAM不支持事务  Innodb支持

MyISAM只支持表所  Innodb支持行锁

 

对数据信息的存储方式不同,MyISAM创建一张表对应3个文件,Innodb则只有一个文件.frm,数据存储在ibdata1

 

复制自己insert into tt select * from tt

 

MyISAM:表级锁、查询快(500W),可以count
Innodb:行级锁、事务支持(隔离级别),不要count,要设置主键
重要的配置:
Max_connections、Query_cache、key_buffer、sort_buffer
Innodb_buffer_pool_size、 innodb_flush_log_at_trx_commit

--------------------------

恢复

不小心update一个表where写的范围不对,导致这个表没法正常用了,这个时候MyISAM的优越性就体现出来了,随便从当天拷贝的压缩包取出对应表的文件,随便放到一个数据库目录下,然后dump成sql再导回到主库,并把对应的binlog补上。如果是Innodb,恐怕不可能有这么快速度

--------------------------

锁表

select count(*) 和order by 是最频繁的,大概能占了整个sql总语句的60%以上的操作,而这种操作Innodb其实也是会锁表的,很多人以为Innodb是行级锁,那个只是where对它主键是有效,非主键的都会锁全表的。

 

-------------------------

大小

保证数据库单个实例尽量不要超过150G。

受文件系统操作限制,文件数过大需要更多文件句柄,且大目录  操作造成复制、压缩、备份效率低。

     - 打开表占用数据库资源(table_cache

   建议一个库不应超过300-400个表

   建议一般带char字段的表不应超过500rows.基于数字的字段为主的表不要超过1000rows.


切分尽量多的小实例,一个机器跑7-8个实例,平常load avg不超过1-2,峰值不超过6-7为合理。

-------------------------

主从

通过分多个主库,便于未来可扩展

 

通过使用replicate_do_db(table)来解决从库追主库延迟时间较长的问题由于mysql的从库只能单进程追,而通过上述方式,就能形成多进程追不同库来减少延迟,缺点是管理成本会很大。

---------------------------

多IDC

通过多IDC提升数据库平台99.999%稳定性

---------------------------
分表
 按时间(财经)
 按ID号hash分(统一通行证)
 按业务项目(通用投票)

对数据进行Sharding:分表,分库
垂直切分:按照业务或产品切分
水平切分:按照数据拆分,比如mod或div

 -----------------------------

merge引擎

提升代码开发速度
1.
比如有些项目,需要定期存用户离线消息,可以采取程序只访问对应的merge表,然后merge表对应7个子表(比如周一到周日)。
2.
比如统计项目,可能分表策略是每个月一个表,然后要做如一季度,二季度的统计,为
了方便开发,可以采取程序只访问对应merge表,然后自由结合1234,N表作为merge表的子表。

---------------------------

索引

正确使用索引,避免全表搜索
使用定长,且定期做OPTIMIZE TABLE命令(注意这个命令会锁表,请在数据库访问小的时候做)
在对大表进行添加索引,一定要选择访问小的时间段做,否则会导致严重问题。

:一般临晨2-3点时候是大部分项目访问的低谷。

 

索引优化,选择实验
稳妥地改进
将需要优化的相关表复制到测试环境
在测试环境启动一个测试daemon,关闭query cache或是使用select SQL_NO_CACHE 方式。
未优化时测试若干次查询时间,以及explain检查扫描集。
选择合适的索引试验建立。可以通过use index(xx)来强制使用。检查是否有效。
测试查询时间变化,反复试验得到最优结果

保持关注,根据情况随时改变索引设置

 

采取从库不同索引的模式来提升性能
比如有些项目,有很多不同的排序需求,需
要建立很多索引,但是如果都加必然导致性
能下降,所以采取不同功能使用对应索引的
从库来解决。


Oracle索引使用原则:

大表上建索引才有意义;

在where子句或是连接条件上经常引用的列上建索引;

索引层次不要超过4层;

很少或不引用的字段不宜使用索引;

逻辑性的字段,如男女,是否等不宜使用索引。


Oracle缺点分析:

建立索引,系统要占用大约是表的1.2倍的硬盘和内存空间来保存索引;

更新数据的时候,系统必须要有额外的时间来同时对索引更新,以维持数据和索引的一致性

-------------------------------------

查询

尽量减少查询
可以缓存的就不要查数据库
部分数据可以借助比如 Shpinx解决,检索需求
要注意的查询
给需要的字段加上索引,比如需要 WHERE 或者 ORDER BY 的字段
不要LIKE ‘%key%’,不使用索引,可以 LIKE ‘key%’
如果可以,少使用 SELECT * FROM XX,尽量查询自己需要的字段
避免使用 JOIN/GROUP BY/DISTINCK
INNODB表不要count

-------------------------------------

排序

尽量使用带主键的字段做order by 的排序
尽量不要多提供页面的查找(最好只提供100页内),避免机器爬虫抓取数据,导致数据库压力负载过高。因为做order by field1 limit xxxxxx,20是非常消耗数据库资源
 
-------------------------------------
批量
通过使用insert批量的方式来提升主库的写速度,通过批量values模式都能提升主库写性能。
 
--------------------------------------
 
key-value
通过简单的key-value模式数据库来处理简单逻辑业务,如berkeley DB, LightCloud, Tokyo Tyrant
------------------------------------
 
NoSQL
通过Memcache来缓冲频繁update的数据库
比如通过设定阀值500次才往数据库做一次写操作,或是间隔30分钟往数据库写一次。
------------------------------------
硬件
SSD > SAS > SCSI,随机存取
内存越大越好,多核CPU
 
-------------------------------------
 
补丁
通过使用如ebay公司开发的heap补丁来解决一些如session业务比如跑一些数据总大小不会很大,但是update特别频繁的,比如用户状态值,补丁的好处是省内存。
Q4M 消息队列
MemcacheQ
------------------------------------
 
监控
进程列表
mysql>show processlist;
 
profiling
该方式默认是关闭的。 可以通过以下语句查看
mysql>select @@profiling;
mysql>set profiling=1; //打开
执行需要测试的sql 语句:
mysql> show profiles;
通过指定的Query_ID 来查询指定的sql语句的执行信息:
mysql> show profile for query 1;
测试完毕以后 ,关闭参数: mysql> set profiling=0
 

数据库连接池

MySQL Proxy
性能不是太好,目前功能不完善
无法进行读写分离,需要自己写Lua脚本实现
SQL Relay
业内普遍反映不好用
------------------------------
Oracle
据说 Oracle  5000个并发连接吃力

===================================================

InnoDB还是MyISAM 再谈MySQL存储引擎的选择

http://database.51cto.com/art/200905/124370.htm

 

邵宗文:数据库极限性能测试修正版

http://wenku.baidu.com/view/1a6ebe717fd5360cba1adbca.html

 

Centos5.6下MySQL Proxy0.8.2的安装及测试

http://database.51cto.com/art/201203/324475.htm

=====================

NoSQL

Ttserver-2G(32bit)

MongoDB-2.5(32bit)

MongoDB
文档数据库,介于 Key->Value 数据库和关系数据库之间
无存储引擎,高写入性能,内存越大,性能越好
AutoSharding、主从复制
操作简单,会JavaScript就会操作MongoDB
发展中,业内有应用,百度(商业产品)、淘宝(监控中心)、视觉中国
缺点:
最大单记录 16M
比较浪费磁盘:4亿 数据 500G磁盘


Redis
可持久化的缓存服务
纯粹Key ->Value结构,存储数据类型丰富:String/List/Set
可以持久化,可以主从同步
缺点:
主从同步拷贝整个镜像文件
内存大小限制了能存储最大持久化文件大小


Memcached
32位机上开辟内存不要超过2G,建议可以多开几个进程
如果没有富余的机器可以跟Web一起部署
它单个数据值长度不能超过1M
数据存储最长有效期是30天

 ===================

参考:http://blog.csdn.net/heiyeshuwu 等人

版权声明:本文为博主原创文章,未经博主允许不得转载。

linux后台开发具备能力集锦

Linux后台开发应该具备技能 一、linux和os: 1、命令:netstat tcpdump ipcs ipcrm  这四个命令的熟练掌握程度基本上能体现实际开发和调试程序的经验 ...
  • u014805066
  • u014805066
  • 2017年04月18日 09:57
  • 305

大数据平台架构技术选型与场景运用

导读:本文将大数据的工作角色分为三种类型,包括业务相关、数据科学相关和数据工程。大数据平台偏向于工程方面,大数据平台一般包括数据源、数据采集、数据存储、数据分析等方面。 讲师从数据来源、数据源结构、...
  • leishenop
  • leishenop
  • 2017年06月21日 10:21
  • 535

学习Web基础(HTML/CSS/JS)+服务器端技术(LAMP)

我心目中最好的框架组合是 博客分类:  编程经验 学习工作编程java代码    我心目中最好的框架组合是:      表示层:spring mvc 3.1...
  • xinzhou201
  • xinzhou201
  • 2015年05月05日 13:46
  • 580

docker:搭建lamp应用

LAMP 指的 Linux(操作系统)、ApacheHTTP 服务器,MySQL(有时也指MariaDB,数据库软件) 和 PHP(有时也是指 Perl 或 Python) 的第一个字母,一般用来建立...
  • qcpm1983
  • qcpm1983
  • 2014年10月15日 11:59
  • 6043

计划评审技术PERT和关键路径法CP

PERT是利用网络分析制定计划以及对计划予以评价的技术。它能协调整个计划的各道工序,合理安排人力、物力、时间和资金,加速计划的完成。PERT网络是一种类似流程圈的箭线圈。它描绘出项目包含的各种活动的先...
  • joeyon
  • joeyon
  • 2014年12月04日 13:57
  • 1182

Linux-Apache-MySQL-PHP网站架构方案分析

LAMP(Linux-Apache-MySQL-PHP)网站架构是目前国际流行的Web框架,该框架包括:Linux操作系统,Apache网络服务器,MySQL数据库,Perl、PHP或者Python编...
  • goodnew
  • goodnew
  • 2013年06月14日 09:53
  • 2850

从LAMP到框架式开发的SOA:土巴兔8年架构之道

张华杰,上海交通大学工学硕士,任职土巴兔技术中心技术总监,全面负责土巴兔的技术研发和运维团队。带领团队开发了土巴兔网站、设计本、APP、CRM、呼叫中心等系统。2014 年加入土巴兔,主持并参与了 S...
  • csdn265
  • csdn265
  • 2016年12月07日 13:17
  • 705

Ajax01 什么是ajax、获取ajax对象、ajax对象的属性和方法

1 什么是ajax   ajax是一种用来改善用户体验的技术,其本质是利用浏览器提供的一个对象(XMLHttpRequest,也可称之为ajax对象) 向服务器发送异步请求;服务器返回部分数据(不是...
  • g6uqwseseo
  • g6uqwseseo
  • 2017年05月24日 09:38
  • 192

【新手建站三部曲之一】——一块钱搭建自己的服务器(LAMP)

本地:Windows7 云主机:CentOS6.7 参考百度第一条教程 购买腾讯云主机最便宜的云主机一年也要近千元,所以这里的一元钱云主机是有前提的,前提是什么呢?前提就是你还是个宝宝,...
  • potato47
  • potato47
  • 2016年10月11日 18:30
  • 2290

ArcGIS线性参考及动态分段在交通中的应用【一】

在交通信息播报中我们经常会听到下面的描述,如京哈高速公路沈阳段东20公里处发生车辆追尾事故,再如某某路东5公里到10公里塞车严重……。交通行业对道路信息位置是通过路桩及里程来记录的,而非实际的地理坐标...
  • SYDBC
  • SYDBC
  • 2014年01月08日 09:53
  • 2845
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:LAMP 关键数据集锦技术选项参考
举报原因:
原因补充:

(最多只允许输入30个字)