- 博客(34)
- 收藏
- 关注
RSS订阅原创 探讨4层代理和7层代理行为以及如何获取真实客户端IP
4层转发不会修改报文。在不修改HTTP报文前提下，前置补充代理信息, 格式: PROXY TCP 客户端IP 代理端IP 客户端端口 代理端端口。上述操作主要是完成: Nginx和Haproxy两款服务分别完成: 4层转发和7层代理。携带IP与不携带客户端IP配置上的区别和报文展示。7层代理会对报文进行重新封装，封装过程中可以通过增加XFF的header传递客户端IP。这是一个简单的HTTP服务，主要打印HTTP报文用于分析客户端IP。其实和nginx一样。
2024-07-04 14:47:21
1079
2
转载 整理一份服务器性能分析过程
不可中断状态的进程则是正处于内核态关键流程中的进程，并且这些流程是不可打断的，比如最常见的是等待硬件设备的 I/O 响应，也就是我们在 ps 命令中看到的 D 状态（Uninterruptible Sleep，也称为 Disk Sleep）的进程。所谓可运行状态的进程，是指正在使用 CPU 或者正在等待 CPU 的进程，也就是我们常用 ps 命令看到的，处于 R 状态（Running 或 Runnable）的进程。%sys: 系统态进程，通常可以理解操作系统内置的进程，这类进程不可中断，负载系统资源调度。
2024-06-19 11:45:25
1093
1
原创 项目整理：美团/饿了么店铺同步
项目说明美团/饿了么没有采用开放平台，无用户绑定功能。暂不考虑对接disang目前有两个导入方案解析HTML-DOM，次作数据量繁多，且HTML标签解析效果不友好。容易有干扰标签解析JSON返回数据，直接采用标签结果，但是需要找到对应的json数据。 当前开发采用如下方案同步信息同步分类: 如果不存在，则创建同步商品信息: 如果不存在，则创建同步规格: 如果不存在，则创建同步价格: 如果不存在，则创建同步顺序: 分类#mermaid-svg-NvmW2va1KPrk
2021-09-26 00:06:13
2860
原创 项目整理: 自动处理用户撤销退款
需求背景原平台方案: 在店家接单后，店家需要手动确认客户发起的取消订单申请。平台新方案: 2个需求实现在原有基础上增加自动处理流程替代店家手动确认。完善部分消息推送服务(APP,PC以及微信公众号)#mermaid-svg-pu36gmFiRGdmr6IB .label{font-family:'trebuchet ms', verdana, arial;font-family:var(--mermaid-font-family);fill:#333;color:#333}#mermai
2021-09-26 00:01:10
173
原创 项目整理: 区域(代理功能)与营销方案
业务需求区域正常运行，即不停止不过期a. 店铺运营，且店铺运营数据直接对接平台，平台给区域抽佣b. 区域可正常查询数据，数据来源于平台区域过期不影响使用，可以提现查看a. 店铺正常运行且数据对接平台不变，平台不再给区域抽佣b. 区域可正常查询数据，但不再有新数据产生区域停用不可登陆a. 店铺正常运行且数据对接平台不变，平台不再给区域抽佣b. 区域不可登陆，且不会有新数据产生简约图#mermaid-svg-TkffrpOYyyLn6j8e .label{
2021-09-25 23:56:50
656
原创 项目整理: 平台PC端WebSocket推送消息机制优化
需求背景之前方案为了降低HTTP请求数，采用WS推送平台下订单的消息在更新独立部署时，由于之前采用单连接，单消费的设计，在多节点情况下会出现消息不灵通的现象原有方案设计消息服务: 接收请求并接收TCP客户端连接的消息，为TCP客户端推送消息队列消费: 根据客户端的消息，消费Redis的数据，并返回给TCP层，有TCP发送给用户原有方案缺陷当节点1消费Redis后返回的数据只能用户1接收当节点2消费Redis后返回的数据只能用户2接收当节点N消费Redis后返回的数据只
2021-09-25 23:53:25
513
原创 FTPServer部署
FTP Server部署FTP server安装安装ftp规范用户与用户组修改配置文件设置FTP用户及其他信息启动FTP服务FTP 使用FTP用户添加步骤FTP 删除用户FTP server安装安装ftpyum install vsftpdsetenforce 0规范用户与用户组# 添加统一的用户组。指定一个未使用的GIDgroupadd -g 888 vsftpd# 创建存放ftp user目录mkdir -p /data/vsftpd# 添加ftp用户# -C 备注, -d
2021-03-08 17:36:48
218
原创 k8s学习整理-service
近期通过网课学习了李振良老师kubernetes教程。根据老师的课堂内容笔记做了相关的整理，以便于加深理解和后期自查Pod与services关系动态感知pod的IP，并对外提供访问入口底层实现主要有iptables与ipvs两种网络模式apiVersion: v1kind: Servicemetadata: name: service_name namespace: defaultspec: clusterIP: 10.0.0.1 # 指定一个IP por
2020-06-11 13:38:50
230
原创 k8s学习整理 - 最小单元 pod
近期通过网课学习了李振良老师kubernetes教程。根据老师的课堂内容笔记做了相关的整理，以便于加深理解和后期自查POD 特征docker容器Container容器运行一个服务或多个每个容器有对应的namespacePOD包含多个共享 IPC、Network 和 UTC namespace 的容器，可直接通过 localhost 通信可以访问共享的 Volume，可以访问共享数据无容错性：直接创建的 Pod 一旦被调度后就跟 Node 绑定，即使 Node 挂掉也不会被重新调度
2020-05-18 17:15:00
692
原创 k8s学习整理-二进制安装kubernetes
近期通过网课学习了李振良老师kubernetes教程。根据老师的课堂内容笔记做了相关的整理，以便于加深理解和后期自查准备工作部署路径k8s路径: /opt/kubernetes/{node,server}证书: /opt/sslcni插件: /opt/cni下载整理的物料: git clone git@github.com:coolboyweizi/kubernetes-binary.git主要目录文件夹说明bin: server或node二进制包config: 相关服务的
2020-05-15 18:13:45
223
原创 自签https证书
# 使用cfssl创建etcd证书ETCD_SSL_DIR=/opt/ssl# 预配置的信息与IPnode1_host='m1'node1_ipaddr='172.27.0.9'node2_host='n1'node2_ipaddr='172.27.0.11'node3_host='n2'node3_ipaddr='172.27.0.12'rm -rf $ETCD_SS...
2020-04-23 18:15:14
416
原创 python cosine余弦相似计算
根据网上文章进行整理记录。加上自己的过程的理解，加深印象# 假设三维空间，矢量信息如下a = [1,2,3]b = [4,5,6]""" Cosine相似计算公式a = [x1,y1,z1]b = [x2,y2,z2] x1*x2 + y1*y2 + z1*z2Cos(α) = -----------------------------------...
2019-12-05 16:08:56
989
原创 php面向对象设计模式: 组合模式
组合模式将若干局部对象根据标准组合成一个抽象的庞大的对象通过 聚合 来管理很多 相似 的对象组合模式类的设计划分主对象和局部对象两种角色主对象与局部对象通过继承对象共享一个接口因为共享一个接口，组合对象也可以是当做"局部对象"使用主对象操作的是局部对象。局部对象不可操作组合对象主对象是局部对象的继承类场景举例因为是树形结构，可以很好生成xml通过组合模式，可以丰富商...
2019-11-29 15:42:51
187
原创 Hadoop单节点安装整理
1、用户创建(免登陆)# 创建指定好GID和UID的用户groupadd -g 900 hadoop useradd -g 900 -u 900 hadoopsu hadoop && cd ~ssh-keygen -t rsa # 一直回车,创建免密公钥cd ~/.ssh && cat id_rsa.pub >> authorized_ke...
2019-04-17 14:33:15
116
原创 Gitlab安装整理
gitlab安装笔记1、安装gitlab服务2、修改配置文件3、操作gitlab服务nginx 配置1、安装gitlab服务#/usr/bin/bash# version : gitlab-ce 10.5.6 # document : https://docs.gitlab.com/omnibus/manual_install.html# 更新gitlab国内镜像cat <...
2019-04-11 17:04:11
332
原创 Centos7 初始化
系统: Linux 。 进程管理： supervisor 自动化: saltstack 脚本目的: 根据脚本完成最基本的软件初始化和系统参数的设置。使其具备saltstack的管理和supervisor运行0、初始化saltstack脚本sudo yum update -ymkdir -p /data/softchmod 777 /datacd /dat...
2018-04-16 11:26:11
380
原创 php链接mongodb报错: No suitable servers found (`serverSelectionTryOnce` set)
在使用laravel时候。链接mongodb驱动链接报错。MongoDB\Driver\Exception\ConnectionTimeoutException: No suitable servers found (`serverSelectionTryOnce` set): [connection refused calling ismaster on 'localhost:27017']...
2018-03-29 15:31:00
14225
原创 elastic x-pack插件破解license
Elasticsearch安装了x-pack后x-pack有效期仅有30天的有效期，参照网上的各种方案进行整理如下。0、需要准备的软件和环境说明环境 系统 centos 7 elastic 5.5(我在这个版本做的实操)需要软件 Luyten 反编译软件。 javac 编译(java->class) jar...
2018-03-23 11:35:02
1696
1
原创 flume 安装与配置
flume安装与配置0、按照jdk。 官网分别下载jdk-1.8.0和apache-flume二进制包 设定软件路径如下 jdk: /usr/local/jdk-1.8.0 flume: /opt/apache-flume1、配置flume-env.shcd /opt/apache-flume-1.8.0/confcp flume-env.sh.template flume
2018-03-06 18:47:38
1235
原创 java与php单例模式整理
单例模式需要满足三个特征。 1， 私有的静态属性。用于保存对象的实例 2，私有的构造方法。防止外部直接实例对象 3，public属性的静态方法。是外部唯一初始化该类的方法 4，java要求构造方法返回值必须是voidphp 与 java 的单例模式对比java 单例模式public class lesson{ public static void main(String[] ar
2018-01-15 18:35:58
215
原创 java,python,php 数组基础整理
python 列表，元素，字典数组三种模式:列表(list),元组(tuple),字典(dict)，均支持遍历，也支持迭代。demo1 = ['a','b','c','d'] # 列表demo2 = ('a','b','c','d') # 元组demo3 = {"name":"kurt","age":18,"sex",1} # 字典# for
2018-01-05 14:12:47
369
原创 supervisord 搭建与积累
这篇文章主要是自己对supervisord学习的一个总结。可能总结有不对的地方，希望大家留言指正。supervisord主要是用于管理服务进程。可以把那些运行在后台的服务放在supervisor中进行管理，监控和报警。安装supervisor# 安装pip，可以用源码安装(推荐)，也可以用镜像源安装。yum install -y python-pip# 安装sup...
2017-10-30 15:32:46
506
转载 redis-server存储与恢复
持久化0、redis持久化方式0、AOF，重启时加载 AOF 文件恢复数据；1、RDB和AOF，重启只加载AOF文件恢复数据2、RDB，启动加载dump.rdb数据1、设置redis持久化时间（redis.conf)0，RDB：save seconds keys # 时间(seconds)内有keys次键改动，flush一次1，恢复2、误操作 flushall 恢复(AOF) 1 ，AOF
2017-10-10 16:09:06
231
原创 linux 工作积累
1， 查看进程内存# ps 用 grep 查看多个进程数据 grep | sort -nrkx 进行排序ps -e -o 'pid,comm,args,pcpu,rsz,vsz,stime,user,uid' # pmap pmap -[dxq] pid # 查看某个pid的内存情况2， 查看某个进程工作情况dstat pid #当前进程读写资源pstak pid #进程后台运行数据
2017-09-18 18:41:55
436
翻译 php优化方案收集
php参数优化 在高并发的访问时候，经常会遇到php的丢失，不响应。但是服务器的负载不高，而nginx理论上承受上万的pv下。php-fpm优化很关键/usr/local/php/etc/php-fpm.conf重要优化参数详解：1，pm = dynamic pm指定了进程管理方式，有两种可供选择：static或dynamic。动态适合小内存机器，灵活分配进程，省内存。静态适用于大内存机器，
2017-09-14 15:14:40
1013
翻译 mysql 常见问题收集
mysql连接数（max_connections）。mysql 连接数满是很常见问题，其中主要问题体现在php执行代码报错504。php在执行mysql读取的时候因为长时间的等待超过了PHP.ini(max_excute_time)时间而返回的错误。1、show processlist0， 检查当前连接数简单查看数据库的排列执行的信息。 1，df -h：检查磁盘空间容量情况(此类情况居多，往往b
2017-08-25 17:05:57
584
翻译 Saltstack State配置管理
1，Include 引入模块 1,在SLS文件中引入其他的SLS文件 2,include只能使用一次，在开头使用，一次性可引入多个文件include: - mysql - php - nginx2, requisite（具有命令式和声明式特性） 声明式: 顺序按照sls出现位置排序 命令式: require 更改实际执行顺序 常见: requ
2017-08-25 16:38:34
212
原创 python 分析nginx日志，并尝试一下stdin
目前需要简单实现一个靠nginx日志分析网站的pv，然后进行监测。考虑到用awk直接输出，对服务器会造成比较高，时间长等问题。用python简单实现一个需求#!/usr/bin/env python#coding:utf-8'''解析http日志文件example: python data.py $1 $2 < logparams : $1 切分的第几条数据 $2 输出
2017-08-09 15:23:21
510
翻译 Flume + Kafka 学习梳理
Flume1，flume 下分source，channel，sink 。 2，source 扮演生产者，给flume生产各种数据。本次采集数据用exec执行tail -F进行日志输出。还支持其他信息输出，见官方文档 3，channel 类似于中间站，平衡source 与 sink 之间的压力 4，sink 扮演消费者，从channel本次采用kafka。# download Flume FR
2017-07-06 15:49:58
354
原创 mysql-binlog常用操作
mysql-binlogevent-type:https://dev.mysql.com/doc/internals/en/binlog-event-type.html常用命令查看binlog记录数 show binary logs 查看binlog-event show binlog events in 'mysql-binlog' FROM postion LIMIT N 清理b
2017-01-19 15:21:15
258
原创 PHP面向对象高级特性
静态方法与静态类1、在代码任何处直接使用，不需要在对象中传递实例 2、每个实例都可以访问类中的静态属性。不用为了获取简单的功能而实例化对象 3、在静态方法中实例对象进行操作，那么在不实例化的情况下获取新的对象 4、静态变量可以通过类修改，但常量不可改<?php// 类的属性改变会影响它所有的实例class Parents{ static $num = 1; function show
2016-07-27 22:32:13
322
原创 php面向对象--继承
继承1、继承是从一个基类或者父类得到一个或者多个派生类，也叫作子类的机制。 2、创建继承树首先找到现有基类元素不适合放在一起的，或者不需要特殊处理的，一般化。 3、子类默认继承父类所有的public和protected方法,不继承private方法或属性构造方法与继承 1、构造方法需要传参给父类方法。 2、构造方法是引用类的关系而不是对象方法。使用使用::而不是->调用被复写的方法 1、
2016-07-26 23:29:31
305
翻译 Docker 搭建gitlab
Docker搭建sameersbn/gitlab安装内容docker 当前使用版本1.9.0+；gitlab sameersbn/gitlabmysql sameersbn/mysql:latestredis sameersbn/redis拉取镜像docker pull sameersbn/gitlab # gitlab主程序dock
2016-04-11 21:30:18
453
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人