super_ufo的笔记

原创 go-kit service 流程 http grpc

Endpoint// Endpoint is the fundamental building block of servers and clients.// It represents a single RPC method.type Endpoint func(ctx context.Context, request interface{}) (response interface{...

原创 go 安全通道（缓存器）缓存池 io.Reader error类

向一个已经关闭的通道发送值和关闭一个已经关闭的通道，都会引发运行时候的恐慌，缓冲器就是解决这个问题诞生的。Put 方法先检查缓冲器实例是否关闭，并且保证只有在检查结果是否的时候进行存入。，在Close 方法中仅在当前缓冲器实例未关闭的情况下进行关闭操作package bufferimport ( "sync" "sync/atomic")import ( "fmt"...

原创 docker

docker run --name radio_np_mq -p 443:443 -p 86:80 -v /d/pro_git/nginx/conf.d:/etc/nginx/conf.d -v /d/pro_git/nginx/log:/var/log/nginx/ -v /d/pro_git/new:/var/www -d caesar110/nginx_php56_mq...

原创 redis 排序

n array * @throws BaseException */ protected function getRedisRadioList($key,$sort_by,$start,$page_size){ $sort = array( 'BY' => "radio:list:albumList:*->" . $sort_by, //排序条件 'SORT' =>

原创 Linux 系统安全 及 lnmp 安装

挂载 /var/www/dev/vdb2 60G 用作日志记录 挂载 /var/log/dev/vdb3 20G 分系统使用的软件其余的工具 例如 一些测试网速的软件就存放安装到这里 挂载 /opt/dev/vdb4 20G /home 数据交换[code="java"]ulimit -SHn 65535echo "* soft nofile 65535" >> /etc/security/limits.con

原创 一些常用的命令

************************//dev/vda 8G/dev/vdb 500G/dev/vda 系统盘 挂载在 //dev/vdb 分四个逻辑盘/dev/vdb1 400G 用作项目应用 挂载 /var/www/dev/vdb2 60G 用作日志记录 挂载 /var/log/dev/vdb3 20G 分系统使用的软件其余的工具 例如 一些测试网速的软件就存放安装到这里 挂载 /opt/dev/vdb4 20G /home 数据交换/**

原创 Shell脚本之awk篇

原创 shell crontab

#/bin/bash## @function shell crontab # @author liuniuyou# @version 0.1# @date 2014-12-30##CREATE TABLE `task` (#`task_name` varchar(200) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL DEFAULT '' COMMENT '任务名称' ,#`description` var

原创 MySQL性能优化的最佳20+条经验 转载自：酷壳网

原创 debug PHP

_dir = "d:/debuginfo"xdebug.profiler_enable = Onxdebug.profiler_output_dir = "d:/debuginfo"xdebug.remote_enable = truexdebug.remote_mode = req xdebug.remote_host = 127.0.0.1xdebug.remote_port = 19000 xdebug.remote_

原创 你想建设一个能承受500万PV/每天的网站吗？如果计算呢？

V是什么：PV是page view的简写。PV是指页面的访问次数，每打开或刷新一次页面，就算做一个pv。 计算模型： 每台服务器每秒处理请求的数量=((80%*总PV量)/(24小时*60分*60秒*40%)) / 服务器数量 。其中关键的参数是80%、40%。表示一天中有80%的请求发生在一天的40%的时间内。24小时的40%是9.6小时，有80%的请求发生一天的9.6个小时当中（很适合互联网的应用，白天请求多，晚上请求少）。 简单计算的结果：((80%*500万)/(2

转载 http RFC 2068

说明本文档规定了互联网社区的标准组协议，并需要讨论和建议以便更加完善。请参考“互联网官方协议标准”（STD 1）来了解本协议的标准化状态。本协议不限流传发布。版权声明Copyright （C） The Internet Society （1999）. All Rights Reserved. 摘要 超文本传输协议（HTTP）是一种为分布式，协作式的，

转载 Java Spring架构的php实现，协同架构 (来自老外文章)

Java Web 应用程序和 Spring 的 DispatcherServlet 结构为应用程序的 PHP 部分提供了一个极好的模型。与将这样出色的面向对象抽象抛出窗口所不同的是，您将快速地获得有助于模拟 Spring 的属性注入和 MVC 分派功能的一组类。您将编写一个负责读取多个属性文件的Properties 类，一个使您从那些文件中向类实例注入属性的 Injectable 类，以及一个

原创 配置 vim 为php开发工具

1.      升级vim./configure --prefix=/usr/local/vim72 --with-features=bigMakeMake installln -s  /usr/local/vim72/bin/vim  /usr/bin/vimcp  -Rf   /usr/share/vim/vim70/plugin/* /usr/local/vim72/

原创 数据库几点原则和几则数据算法

几个数据库算法，还不错，平时用的时候经常去找原来的资料，放到网上，方便自己寻找。数据库为DB2,也基本适应其他的数据库。表关联原则：1）主表应该是粒度最细的表；对于粒度比主表还细的从表，需先将从表数据汇总到与主表相同粒度之后再进行关联。2）与表关联时，需按从表的主键进行关联，保证关联该表后主表数据不会出现翻倍。3）两个不同维度的表进行关联时，对于粒度较粗的从

原创 shell下的db2和 mysql 操作

shell 的db2 操作先切换到数据库用户 qbar (su  qbar )  或者 在 shell 中用   “su - qbar -c 加db2 命令 ” l来执行,文件保存好确认拥有者为qbar.#脚本1if [ $# -ne 2 ]then   echo "Expected arguments: "   exit 1fi#GET

转载 vim bom

1.去掉BOM标记：:set nobomb2.加上BOM标记：:set bomb3.查询当前UTF-8编码的文件是否有BOM标记：:set bomb?

转载 CC和DDOS攻击nginx防备策略

服务器刚托管到机房，三天两头出问题，100M的带宽居然也用完了，以下是我转自别人的文章，做个记录Nginx下防御HTTP GET FLOOD（CC）攻击Nginx是一款轻量级的Web服务器，由俄罗斯的程序设计师Igor Sysoev所开发，最初供俄国大型的入口网站及搜寻引Rambler使用。 其特点是占有内存少，并发能力强，事实上Nginx的并发能力确实在同类型的网站服务器中表现较

转载 xss绕过过滤方法分享 及有关web攻击的方法

最简单的就是改变大小写在测试过程中，我们可以改变测试语句的大小写来绕过XSS规则比如： 可以转换为：其次关闭标签也可以有时我们需要关闭标签来使我们的XSS生效，如：“>使用HEX编码来绕过我们可以对我们的语句进行hex编码来绕过XSS规则。比如： 可以转换为：%3c%73%63%72%69%70%74%3e%61%6c

原创 memcached哈希

http://blog.csdn.net/mayongzhan/article/details/4298834 转载/** * Flexihash - A simple consistent hashing implementation for PHP. *  * The MIT License *  * Copyright (c) 2008 Paul Annesl

原创 linux 命令 （不断更新）

将一个用户添加到用户组中，千万不能直接用： usermod -G groupA 这样做会使你离开其他用户组，仅仅做为 这个用户组 groupA 的成员。 应该用 加上 -a 选项： usermod -a -G groupA user

原创 使用ETag缓存减少网络开销

原创 php缓存与加速分析与汇总

p协议内容，这里主要利用http协议头部header的一些头域名，主要“Expires”，“Etag”，“Last-Modified”；先看张原理图：当然还有其他http头域上图没说明，要详细点了解http协议和不同浏览器4个浏览器操作的解释可以移步：http://www.phpben.com/?post=77 还有如何通过浏览器监听http请求(笔者喜欢用chrome)：http://www.phpben.com/?post=76ps:下面给出的ht

原创 HTTP状态码大全

Iub3JnLw%3D%3D在线查阅。HTTP 1.1的状态码被标记为新特性，因为许多浏览器只支持 HTTP 1.0。你应只把状态码发送给支持 HTTP 1.1的客户端，支持协议版本可以通过调用request.getRequestProtocol来检查。本部分余下的内容会详细地介绍 HTTP 1.1中的状态码。这些状态码被分为五大类：100-199 用于指定客户端应相应的某些动作。200-299 用于表示请求成功。300-399 用于已经移动的文件并且常被包含在定位头信息中指定新的地

原创 Mysql数据库优化 列的选择---转载

， 你需要估计不同类query的性能需求，和使用的频度，以及需要检索的字段和检索 的条件。优化是一个权衡，索引可以提高检索速度，但是会降低更新速度，一个反 范式的schema可能会在某些查询下加快速度，但在其他情况下可能降低速度。添加 冗余字段、计数器、summary表可以优化查询，但是维护起来很困难。 选择最优的数据类型： Mysql支持大量的各种个样的数据类型，如何正确的选择类型来存储数据是产生高性能 的关键。 1.足够大的越小的类型越好 小的类型通常更高效，因为

原创 mysql中int、bigint、smallint 和 tinyint的存储

P.S. bigint已经有长度了，在mysql建表中的length，只是用于显示的位数int从 -2^31 (-2,147,483,648) 到 2^31 – 1 (2,147,483,647) 的整型数据（所有数字）。存储大小为 4 个字节。int 的 SQL-92 同义字为 integer。smallint从 -2^15 (-32,768) 到 2^15 – 1 (32,767) 的整型数据。存储大小为 2 个字节。tinyint从 0 到 255 的整

原创 char与varchar 静态表与动态表

5535是指能存储的字节数，其实最多只能存储65532个字节，还有3个字节用于存储长度。注意是字节数这个和字符集有关系。一个汉字字符用utf8占用3字节，用gbk占用2字节。可以有默认值，尾部有空格不会截断。text的总结： text和varchar基本相同。text会忽略指定的大小这和varchar有所不同，text不能有默认值。尾部有空格不会被截断。text使用额外的2个字节来存储数据的大小，varchar根据存储数据的大小选择用几个字节来存储。text的65535字节全部用来存储数据

原创 [置顶] 子查询改为左链接

子查询是一个 SELECT 查询，它嵌套在 SELECT、INSERT、UPDATE、DELETE 语句或其它子查询中。　　任何允许使用表达式的地方都可以使用子查询，子查询可以使我们的编程灵活多样，可以用来实现一些特殊的功能。但是在性能上，往往一个不合适的子查询用法会形成一个性能瓶颈。如果子查询的条件中使用了其外层的表的字段，这种子查询就叫作相关子查询。相关子查询可以用IN、NOT IN、EX

原创 理解MySQL——索引与优化 索引类型和锁

写在前面：索引对查询的速度有着至关重要的影响，理解索引也是进行数据库性能调优的起点。考虑如下情况，假设数据库中一个表有10^6条记录，DBMS的页面大小为4K，并存储100条记录。如果没有索引，查询将对整个表进行扫描，最坏的情况下，如果所有数据页都不在内存，需要读取10^4个页面，如果这10^4个页面在磁盘上随机分布，需要进行10^4次I/O，假设磁盘每次I/O时间为10ms(忽略数据传输时间)，

原创 有效防御PHP木马攻击的技巧

1、防止跳出web目录     首先修改httpd.conf,如果你只允许你的php脚本程序在web目录里操作,还可以修改httpd.conf文件限制php的操作路径。比如你的web目录是/usr/local/apache/htdocs,那么在httpd.conf里加上这么几行： 　php_admin_value open_basedir /usr/local/apache /htdocs

原创 LIMIT page_no,page_total分页的优化

转载http://yueliangdao0608.blog.51cto.com/397025/108237关于分页的优化。我们知道，在MySQL中分页很简单，直接LIMIT page_no,page_total 就可以了。可是当记录数慢慢增大时，她就不那么好使了。这里我们创建摘要表来记录页码和原表之间的关联。下面为测试数据。原表：CREATE TABLE `t_group` ( 

原创 关于MySQL的LIMIT 语法小优化

考虑如下 表结构： /*DDL Information For - t_girl.t_page_sample*/ ---------------------------------------------- Table          Create Table                                                     -----------

原创 OPTIMIZE TABLE

OPTIMIZE TABLE只对MyISAM, BDB和InnoDB表起作用。在OPTIMIZE TABLE运行过程中，MySQL会锁定表

原创 慢查询

分析归类后的慢查询日志如下。______________________________________________________________________ 004 ___Count: 378(6.04%)Time: 2604 s total, 6.888889 s avg, 3 s to 65 s max(7.63%)95% of Time : 2031 s total, 5

原创 MySQL 优化实例---添加索引

http://chlotte.blog.51cto.com/318402/361132近来webgame在维护后起动的速度越来越慢，竞然超过了1个小时30分钟，以前一直以为是数据量大的缘故，清理了无效的数据之后，速度没有任何改变，执行show full processlist发现异常： mysql> show full processlist\G;********************

原创 一个引号带来的悲剧,字段定义

今天看了一个优化案例觉的挺有代表性,这里记录下来做一个标记，来纪念一下随便的字段定义的问题。回忆一下,在表的设计中很多人习惯的把表的结构设计成Varchar(64),Varchar(255)之类的,虽然大多数情况只存了5-15个字节.那么我看一下下面这个案例.查询语句: SELECT SQL_NO_CACHE channel, COUNT(channel) AS visitors FRO

转载 页面乱码问题根源浅析

本文地址: http://www.laruence.com/2008/04/17/110.html这个问题已经遇到过俩次了，就是页面中明确指明了编码是UTF8,但是显示是乱码。虽然知道解决方法，也知道是Apache的原因，但是一直没有去找其所以然，今天趁机，就研究了一下。首先, 关闭PHP配置文件php.ini中的default_charset:1. 页面没有指定charset ，

原创 WHERE子句应该注意的方面--来自以前培训资料

where子句中对列的任何操作结果都是在SQL运行时逐列计算得到的，因此它不得不进行表搜索，而没有使用该列上面的索引；如果这些结果在查询编译时就能得到，那么就可以被SQL优化器优化，使用索引，避免表搜索 例子：写法1：WHERE CMCC_BRANCH_CD LIKE ‘GZ%’写法2：WHERE LEFT (CMCC_BRANCH_CD, 2) = ‘GZ’比较：建议使用第一种写法，因为它允许使

原创 选择不存在于另一表的数据几种写法

看看以下三种写法:写法1：SELECT ... FROM A WHERE A.key NOT IN (SELECT key FROM B);   写法2：SELECT ... FROM A             LEFT JOIN B ON A.key = B.key WHERE B.key is null; 写法3：SELECT ... FR

原创 索引原则-总结

选择基数较大的列做索引。对于多列索引，将查询中引用最多的列放在定义前面。 索引够用就可，过多的索引会降慢更新操作并消耗额外空间。 考虑管理开销，避免在索引中的列多于5个。 避免添加与已有索引相似的索引，这样会加大优化器工作及降低更新时间。 可以用CREATE INDEX的INCLUDE子句使索引包含查询中引用的所有列（INCLUDE列中是索引的一部分，只作为索引页的一部分存储。