2016年11月_xiaomin_____

原创关于HTTP_CLIENT_IP,HTTP_X_FORWAR伪造

HTTP_CLIENT_IP：可通过http头伪造HTTP_X_FORWARDED_FOR：可通过http头伪造REMOTE_ADDR：可能是用户真实IP也可能是代理IP服务端获取IP地址 http://www.taoyiz.com/util/ip 其代码如下:$s_onlineip = getenv(‘HTTP_CLIENT_IP’);echo “HTTP_CLIENT_IP:”.$s...

2016-11-30 12:36:38 836

原创伪造HTTP请求中的IP信息

很多程序需要检测客户端的IP地址，然后来授予相关的权限。比如数据库读写，文件读写，等等。其实还有一个很常见的应用，网站投票。网站投票始于2000年的左右，那时候.COM正热得发红，红得发紫。早期的投票只要投了就行可能技术牛人们还没有想到一个人会多投，那个时候反正上网的人也不多，后来慢慢的COKIE验证，IP验证等等都出来了，但是这些还不是最保险的，因为COOKIE是放在客户...

2016-11-30 12:29:59 2784

原创 nginx反向代理取得IP地址

nginx反向代理后，在应用中取得的ip都是反向代理服务器的ip，取得的域名也是反向代理配置的url的域名，解决该问题，需要在nginx反向代理配置中添加一些配置信息，目的将客户端的真实ip和域名传递到应用程序中。nginx反向代理配置时，一般会添加下面的配置： proxy_set_header Host $host; proxy_set_header X-Real-...

2016-11-30 11:33:11 239

原创透明代理、匿名代理、混淆代理、高匿代理有什么区别？

这4种代理，主要是在代理服务器端的配置不同，导致其向目标地址发送请求时，REMOTE_ADDR， HTTP_VIA，HTTP_X_FORWARDED_FOR三个变量不同。1、透明代理(Transparent Proxy)REMOTE_ADDR = Proxy IPHTTP_VIA = Proxy IPHTTP_X_FORWARDED_FOR = Your IP透明代理虽然...

2016-11-30 10:48:29 112

原创 DHC - REST/HTTP API Client

DHC的开发背景在web开发中，服务器端和客户端的开发和测试必不可少，但是测试的工作往往需要服务器端完成之后，客户端才能进行测试，这无疑延后了测试流程，导致服务器端开发完成后，无法进行充分的数据测试，很容易造成服务器端和客户端开发完成后出现不协调的情况，而今天给大家推荐的这款HTTP工具，可以提前对服务器端代码进行测试。DHC的简介DHC是一款可以帮助用户使用chrome插件模拟HT...

2016-11-29 16:55:09 256

原创 Docker中images中none的镜像是否可以删除

Docker中images中none的镜像是否可以删除呢？担心删除了会有问题啊，小白用户啊。查查资料还是收获不少哦。简要翻译国外的一篇文章哈，不对请指正。 What are <none>:<none> images ? 什么是<none>:<none>镜像呢？What are dangling images ? ...

2016-11-28 18:47:08 169

原创 CentOS6.5搭建LNMP

1：查看环境：12[root@10-4-14-168 html]# cat /etc/redhat-releaseCentOS release 6.5 (Final)2：关掉防火墙1[root@10-4-14-168 html]# chkconfig iptables off...

2016-11-28 13:44:21 81

原创 Linux下的nginx启动、重新启动

nginx的启动命令是：/usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf-c制定配置文件的路径，不加-nginx会自动加载默认路径的配置文件。以上是通用的启动命令以下是转载的，对于有以下命令的nginx可以使用，没有以下命令的nginx，可以使用上面的方法研究了一下nginx帮...

2016-11-27 23:12:04 130

原创 apache限制并发数,IP,带宽设置

摘要: 给大家推荐两个Apache模块，一个是mod_vhost_limit，用来限制请求并发数，一个是mod_limitipconn，用来控制 Apache的并发联接数，通过该模块可以限制同一来源IP的并发联接数。另一个模块是bw_mod，用于Apache网站带宽控制，可以根据来源IP，网段来划分带宽，也可以根据网站文件类型来限制带宽，参数比较灵活，可以根据自己实际情况进行调整。...

2016-11-27 10:19:44 749

原创 nginx 的限制连接模块limit_zone与limit_req_zone

http://storysky.blog.51cto.com/628458/642970/ nginx 上有两个限制连接的模块一个是 limit_zone 另一个是 limie_req_zone,两个都可以限制连接，但具体有什么不同呢？下面是 nginx 官网上给的解释limit_req_zoneLimit frequency of connections from a client. ...

2016-11-27 00:25:03 109

原创 windows 下 shared zone xxx has no equal addresses

在windows下启动nginx出现错误 shared zone "xxx" has no equal addresses: 02B40000 vs 02B60000 是因为 Nginx 缓存模块或其他使用共享缓存的模块不能在Windows Vista及以上的window上运行此问题是在这里找到的：https://www.ruby-forum.com/topic/209886 官方的解释：ht...

2016-11-27 00:23:30 666

原创 Nginx 限制IP并发数

前几天介绍了CC攻击及其防护方法，其中有一个方法是限制同一个IP的并发请求数量，以防止来自同一IP的大量高并发攻击我的服务器一直没有配置这个限制，今天实验了一下，下面是配置过程配置示例 limit_conn addr 2; 表示限制并发数量最高为2 这个数字可以根据自己实际情况设置测试写了一个测试用的 a.php在另一台服务器用ab命令测试并发效果...

2016-11-27 00:01:58 231

原创 mysql mediumtext longtext

一、字符串类型类型范围说明 Char(N) [ binary]N=1~255 个字节binary ：分辨大小写固定长度std_name cahr(32) not nullVarChar(N) [binary]N=1~255 个字节binary ：分辨大小写可变长度std_address varchar(256...

2016-11-26 21:10:46 164

原创 Jenkins的环境变量的使用

两种使用方式1、直接使用$标志：如$BUILD_STATUS2、使用${}标志：如${BUILD_STATUS} 备注：如果是使用批处理命令来使用环境变量，则是通过%%来标志，如% BUILD_STATUS % 环境变量列表: BUILD_NUMBER，唯一标识一次build，例如23； BUILD_ID，基本上等同于BUILD_...

2016-11-24 19:23:16 346

原创 shell中大小写转换

1, 用tr 例如：UPPERCASE=$(echo $VARIABLE | tr '[a-z]' '[A-Z]') (把VARIABLE的小写转换成大写) LOWERCASE=$(echo $VARIABLE | tr '[A-Z]' '[a-z]') (把VARIABLE的大写转换成小写) 2, 用typeset typeset -u VARIA...

2016-11-24 19:09:56 181

原创 linux sed 替换变量

job_id = 10我想替换JOB_ID_DEFAULT为10 开始写法sed 's/JOB_ID_DEFAULT/${job_id}/' test > test.ctl不行，后来发现外层改成双引号就可以了sed "s/JOB_ID_DEFAULT/${job_id}/" test > test.ctl http://blog.csdn.ne...

2016-11-24 19:08:25 493

原创 linux wget 命令用法详解(附实例说明)

Linux wget是一个下载文件的工具，它用在命令行下。对于Linux用户是必不可少的工具，尤其对于网络管理员，经常要下载一些软件或从远程服务器恢复备份到本地服务器。如果我们使用虚拟主机，处理这样的事务我们只能先从远程服务器下载到我们电脑磁盘，然后再用ftp工具上传到服务器。这样既浪费时间又浪费精力，那不没办法的事。而到了Linux VPS，它则可以直接下载到服务器而不用经过上传这一步。wge...

2016-11-24 18:51:59 58

原创 Linux中使用sed命令替换字符串小结

最近写了几个小脚本用到了sed命令,学了一下,顺便记下sed替换的基本语法为:复制代码代码如下:sed 's/原字符串/替换字符串/'单引号里面,s表示替换,三根斜线中间是替换的样式,特殊字符需要使用反斜线”\”进行转义,但是单引号”‘”是没有办法用反斜线”\”转义的,这时候只要把命令中的单引号改为双引号就行了,例如:复制代码代码如下:sed "s/原字符...

2016-11-24 18:47:35 102

原创 android httpClient 支持HTTPS的2种处理方式

问题：项目中Android https或http请求地址重定向为HTTPS的地址，相信很多人都遇到了这个异常(无终端认证)： javax.net.ssl.SSLPeerUnverifiedException: No peer certificate 解决过程：1.没遇到过的问题，搜索吧，少年log里出现这个异常，作者第一次遇到，不知道啥意思。看下字面意思，是ssl协议中...

2016-11-23 16:24:38 80

原创 HttpClient(4.3.5)请求数据，支持https

package cn.cq.shenyun;import java.io.IOException;import java.io.UnsupportedEncodingException;import java.net.URLEncoder;import java.security.KeyManagementException;import java.security....

2016-11-23 16:19:55 119

原创 docker 镜像仓库 Harbor 部署以及跨数据复制

docker 镜像仓库 Harbor 部署跨数据复制Harbor 是 Vmwar 公司开源的企业级的 Docker Registry 管理项目它主要提供 Dcoker Registry 管理UI，可基于角色访问控制, AD/LDAP 集成，日志审核等功能，完全的支持中文。Harbor 的所有组件都在 Dcoker 中部署，所以 Harbor 可使用 Docker Compos...

2016-11-23 10:30:52 213

原创 Docker之Compose服务编排

Compose是Docker的服务编排工具，主要用来构建基于Docker的复杂应用，Compose 通过一个配置文件来管理多个Docker容器，非常适合组合使用多个容器进行开发的场景。说明：Compose是Fig的升级版，Fig已经不再维护。Compose向下兼容Fig，所有fig.yml只需要更名为docker-compose.yml即可被Compose使用。服务编排工具使得Dock...

2016-11-23 10:27:20 119

原创【Docker实战】Registry & Portus搭建详解

【编者的话】本文根据云舒网络博客整理发布。文章详细介绍了Docker Registry以及带UI管理的仓库管理软件 Portus搭建过程。前言：首先，Docker Hub是一个很好的用于管理公共镜像的地方，我们可以在上面找到想要的镜像（Docker Hub的下载量已经达到数亿次）；而且我们也可以把自己的镜像推送上去。但是，有的时候，使用场景需要我们有一个私有的镜像仓库用于管理自己的镜像，这个时...

2016-11-22 18:30:32 285

原创 rocketmq 消费者无法消费问题排查

问题：rocketmq 消费者无法消费场景：消息能正常到达mq重启后消息能正常消费判断：1.mq消费者线程卡死（业务代码卡住，导致消费线程无法继续消费）2.mq内核线程卡死，无法读取mq消息验证:使用jdk工具jvisualvm查看，一眼便知 ...

2016-11-22 11:20:59 3535

原创高并发限流(二)——应用举例

1.对单个接口的总并发数进行限制1.利用一个AtomicLong变量进行简单粗暴的限流 [java] view plain copy print?try { if(atomic.incrementAndGet() > 限流数) { //拒绝请求 } //处理请求 } fi...

2016-11-22 11:18:12 89

原创接口限流算法总结

背景曾经在一个大神的博客里看到这样一句话：在开发高并发系统时，有三把利器用来保护系统：缓存、降级和限流。那么何为限流呢？顾名思义，限流就是限制流量，就像你宽带包了1个G的流量，用完了就没了。通过限流，我们可以很好地控制系统的qps，从而达到保护系统的目的。本篇文章将会介绍一下常用的限流算法以及他们各自的特点。算法介绍计数器法计数器法是限流算法里最简单也是最容易实现的一种算法。...

2016-11-22 11:15:17 78

原创实施微服务，我们需要哪些基础框架

摘要: 摘要：微服务(MicroServices)架构是当前互联网业界的一个技术热点，圈里有不少同行朋友当前有计划在各自公司开展微服务化体系建设，他们都有相同的疑问：一个微服务架构有哪些技术关注点(technical concerns)？需要哪些基础框架或组件来支持微服务架构？这些框架或组件该如何选型？笔者之前在两家大型互联网公司参与和主导过大型服务化体系和框架建设，同时在这块也投入了很多...

2016-11-22 11:15:05 147

原创高并发系统限流

在开发高并发系统时有三把利器用来保护系统：缓存、降级和限流。缓存的目的是提升系统访问速度和增大系统能处理的容量，可谓是抗高并发流量的银弹；而降级是当服务出问题或者影响到核心流程的性能则需要暂时屏蔽掉，待高峰或者问题解决后再打开；而有些场景并不能用缓存和降级来解决，比如稀缺资源（秒杀、抢购）、写服务（如评论、下单）、频繁的复杂查询（评论的最后几页），因此需有一种手段来限制这些场景的并发 / 请求量...

2016-11-21 21:18:40 338

原创服务化体系之—限流

（上）设计篇在实现算法之前，先临时客串一下产品经理，尝试用最少的字，把“限流”这简单二字所展开的种种需求给说清楚。 1.各种目的1. 保护每个服务节点。 2. 保护服务集群背后的资源，比如数据库。 3. 避免单个调用者过度使用服务，影响其他调用者。 2. 各种设定维度2.1. 节点级别 vs 集群级别如果以保护每个服务节点为目的，可以简单的在本地做节点级别的限流。...

2016-11-21 21:16:32 109

原创 Kubernetes、Swarm、Mesos最新版本功能比较（下）

Kubernetes、Docker Swarm、Mesos作为时下流行的容器框架受到了广大开源爱好者和企业的关注。面对用户需求不断的升级和自身产品不断的改进更新，其功能愈发趋于完善，迭代版本也不断的发布。因为篇幅过长，分上下两篇推送，本文为下篇。6. 弹性缩放和理想状态的调整Kubernetes通过RC设定Pods数量，其管理器可以自动保持和维持以确保服务的高可用性。Kubernetes...

2016-11-21 15:36:44 136

原创从 0.25 到 1.0，中小企业 Mesos 网络和存储的填坑实践

看完海外大型企业的 Mesos 容器技术实践，让我们视线回到国内。今天是数人云容器三国演义 Meetup 嘉宾演讲实录第一弹。中小企业是如何解决 Mesos 使用过程中种种问题的？ Acttao 技术总监何威威来告诉你答案——今天与大家分享的是中小企业的 Mesos 实践中遇到的网络和存储方面的具体问题。概述首先介绍一下 Acttao 的实践情况。 Acttao 现在主要运行两个 ...

2016-11-21 15:25:58 146

原创全方位探索 Mesos 各种存储处理方式

美好的一周又开始了，今天小数带来的文章里将讨论 Mesos的不同存储选项以及如何利用Flocker简化自动持久任务流程——精彩多多，不容错过：）小数预告：从明天开始，数人云微信群将进行Dockercon西雅图盛会的精彩直播，敬请期待~目录• Apache Mesos是什么?• 使用永久存储• 本地文件系统• 永久分卷• 动态预留• Docker容器化工具与...

2016-11-21 14:17:50 112

原创 linux下curl用法post等

linux curl是一个利用URL规则在命令行下工作的文件传输工具。它支持文件的上传和下载，所以是综合传输工具，但按传统，习惯称url为下载工具。　　一，curl命令参数，有好多我没有用过，也不知道翻译的对不对，如果有误的地方，还请指正。　　-a/--append 上传文件时，附加到目标文件　　-A/--user-agent <string> 设置用户代理发送给...

2016-11-19 15:50:36 229

原创 linux route命令的使用详解

route命令用于显示和操作IP路由表。要实现两个不同的子网之间的通信，需要一台连接两个网络的路由器，或者同时位于两个网络的网关来实现。在Linux系统中，设置路由通常是为了解决以下问题：该Linux系统在一个局域网中，局域网中有一个网关，能够让机器访问Internet，那么就需要将这台机器的IP地址设置为 Linux机器的默认路由。要注意的是，直接在命令行下执行route命令来添加路由，不...

2016-11-19 12:01:26 76

原创 Docker学习笔记 — Docker私有仓库搭建

和Mavan的管理一样，Dockers不仅提供了一个中央仓库，同时也允许我们使用registry搭建本地私有仓库。使用私有仓库有许多优点：节省网络带宽，针对于每个镜像不用每个人都去中央仓库上面去下载，只需要从私有仓库中下载即可；提供镜像资源利用，针对于公司内部使用的镜像，推送到本地的私有仓库中，以供公司内部相关人员使用。接下来我们就大致说一下如何在本地搭建私有仓库。目前...

2016-11-19 12:00:42 89

原创 Do not remove docker container until gc process runs

DescriptionThe current docker containerizer implementation that is up for review at https://reviews.apache.org/r/23771/ does a docker rm as soon as a task fails. This makes debugging dif...

2016-11-18 00:30:43 77

原创 docker常用命令详解

2016-11-18 00:30:19 73

原创 Docker实战笔记：Docker简介（二）

摘要: 摘要: 此Docker系列学习笔记，根据Reboot教育PC大神的运维自动化部分课程整理而成，补充少量个人理解以及练习日志（部分日志有删减）。 PC大神在知乎的专栏：面向工资编程 Docker简介（一） Docker简介（二） Docker管理系统（一） Docker管理系统（二） Docker管理系统（三） Docker原理-namespace和文件系统 Docker原理-徒手创建一个...

2016-11-18 00:21:38 281

原创安装docker并运行docker swarm模式

docker是什么就不多说了，这里主要说说docker swarm。docker engine本身只提供了容器技术，没有解决集群环境下的容器编排和通信。docker swarm是一个容器编排管理工具，docker-engine在1.12版本之后集成了docker swarm，不需要再单独安装。docker swarm的功能，举个例子，有3台机器都安装了docker环境，称为3台docke...

2016-11-18 00:21:22 186

原创基于docker部署的微服务架构（一）：服务注册中心

前言微服务架构解决方案使用 spring cloud ，由于spring cloud目前版本迭代非常快，bug也有不少，这里以目前最新的版本 Camden.SR2为例。spring cloud netflix套件spring cloud netflix 是在netflix开源的一套微服务构建工具之上进行了封装。依靠注解和自动配置即可完成常用的配置，从spring boot开始，spr...

2016-11-18 00:10:14 371

servlet购物车

javascript通讯录

jsp.通讯录管理系统

空空如也