Andy Tools

安装社区版本：Mongodb 4.4windows版本: win101 windows 安装mongodbMongodb 下载地址： https://www.mongodb.com/try/download/communitywindwos直接下载,在安装界面配置数据目录和log目录，然后下一步即可。我们可以不安装MongoDB Compass.安装完成后mongodb应该就已经在后台运行了。测试访问mongodb默认端口（localhost:27017），出现以下界面说明mongodb已经安.

近期因为一些私有化部署的需求需要切换一下方案底层数据库，评估一下数据库选型并需要整理一份文档，这里借此机会也整理一下这部分内容。本文档是个人一些浅见和基于极客时间的两门课程整理（Mysql实战45讲和从零开始学架构）1 关系数据库常见的以Mysql和Postgresql为代表优点：强大的 SQL 功能和 ACID 的属性一个用户请求要么成功、要么失败，不能处于中间状态（Atomic）一旦一个事务完成，将来的所有事务都必须基于这个完成后的状态（Consistent）未完成的事务不会互相影响（

本文环境：ubuntu 18.04 阿里云当nginx 反向代理的内容越来越多的时候，如果仅仅使用nginx.conf来配置会导致比较难管理。所以希望按照子域名规则来划分application。然后将application的规则配置到/etc/nginx/conf.d/下面去。目前希望针对不同子域名进行拆分。比如有以下两个子域名的反向代理需要拆分。rtc.sample.top -> port 4056account.sample.top -> port 40571 环境准备本节主

最近想把nodejs 的服务器作为服务随linux启动而启动。发现对这部分理解并不是非常清晰，这里重新整理学习一下这部分内容。1 服务的概念在Linux中，服务是在后台运行的程序。服务可以按需启动，也可以在启动时启动。如果您使用Linux作为主要操作系统或开发平台，那么您将处理不同的服务，例如webserver，ssh或cron。在调试系统问题时，了解如何列出正在运行的服务或检查服务状态非常重要。最近的大多数Linux发行版都使用systemd作为默认的初始化系统和服务管理器。Systemd是一套

1 背景目前有一个报表功能，希望能定时扫描统计Dynamodb 数据库并在月初生成上月统计分析数据并填入统计结果表中。所以看能不能写一个定时任务来处理。但分析了一下场景，实际上和web应用服务器并没有关系且不希望统计功能占用到应用服务器资源影响运行。利用cloudwatch 来实现定时任务的触发。利用Lambda函数实现读取数据库，统计整理数据，并回写数据的功能。这里好处是就完成应用web服务器直接查询统计结果数据即可，不用参与较高复杂度的统计分析回写操作。而利用cloudwatch和

Ant Design Pro 使用proxy无法设置cookies近期使用ant design Pro 实现了一个内部的后台。用于提供一个简单界面访问一些用户和设备的数据。但近期需要将系统交接给其他同事继续开发。想要在本地配置proxy连接后端服务器。1 关于AntD Pro配置代理1.1 关于为什么要配置代理AntD Pro 是前后端分离的前端框架，在部署时，一般会将前端代码打包和后端代码部署同一个域名下，所以不会有跨域的场景。比如使用nginx 部署· location / {

1 简介Nodejs 加解密模块主要由Crypto模块提供，Crypto模块由 C／C++ 实现算法后，暴露为 javascript 接口的模块，包含对 OpenSSL 的哈希、HMAC、加密、解密、签名、以及验证功能的一整套封装。关于对称加密：采用单钥密码系统的加密方法，同一个密钥可以同时用作信息的加密和解密，这种加密方法称为对称加密对称加密主要由Cipher 提供：Cipher该类的实例用于加密数据。关于支持的算法：最近的OpenSSL发布，openssl list-cipher-algorit

在C++ 和linux 中经常使用sleep 来实现一个程序的延时，而在JavaScript中只有setTimeOut这种非阻塞方式，如果要实现一种类似阻塞的方式可以使用async/await 配合settimeout来实现。可以用于一些测试场景async function run(){ console.log('--------------'); await sleep(2); console.log('--------------'); await sleep(5); conso

身份证校验码计算最近看一份文档看到身份证规则，觉得很有趣，这里记录一下如何计算校验码1 身份证编码规则《中华人民共和国国家标准GB 11643-1999》中有关公民身份号码的规定，公民身份号码是特征组合码，由十七位数字本体码和一位数字校验码组成。排列顺序从左至右依次为：六位数字地址码 (编码对象常住户口所在县（市、旗、区）的行政区划代码，按 GB/T 2260的规定执行)，八位数字出生日期码（表示编码对象出生的年、月、日，按GB/T 7408的规定执行。年、月、日代码之间不用分隔符）顺序码

文章目录1 mino简介2 环境3 部署3.1 获取程序3.2 存储类别3.3 挂载硬盘3.4 单机部署3.4.1 部署及测试3.4.2 作为Linux Service启动3.5 分布式集群扩容方案3.5.1 部署及测试3.5.2 作为Linux Service启动3.6 多机部署，扩容支持4 客户端及演示5 Prometheus+Grafana 搭建监控系统监控minio集群5.1 搭建Prometheus 收集minio集群数据5.2 使用Grafana 优化监控界面6 参考1 mino简介Mi

文章目录1 使用nginx 做反向代理2 Linux能力-CAP_NET_BIND_SERVICE2.1 Linux 能力概念2.2 测试及赋予能力linux对于非root权限用户不能使用1024以下的端口，那普通用户该如何将应用服务通过80端口对外提供服务呢1 使用nginx 做反向代理常规操作，一般应用服务器不会直接暴露在公网，而是使用nginx 做方向代理，将访问服务器80端的请求转发到具体应用服务器的监听的端口server { listen 80; server_name

经常在个人编写blog 使用markdown语法，但最近使用语雀编写文档时发现用语雀客户端编写的markdow 生成的图片外链 无法在其他网站使用。基于这种情况是时候考虑一下如何在本地编写markdown。在知乎上找了一圈发现很多人推荐:typora 编写markdownpicgo作为图床处理markdown中图片picgo使用七牛云作为服务商。注意这里长期使用需要有一个备案域名1 下载typorahttps://www.typora.io/很简单就可以下载安装2 申请七牛云并配置picgo七牛

环境： ubuntu 18.04国内区确定是否已备案拥有80/443 端口相应EC2 安全组已开放对应端口如果仅仅是自用推荐使用第二种snap方式1 使用dockers安装nextcloud1.1 安装及启动ubuntu安装dockers脚本curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun拉取nextcloud dockers镜像docker pull nextcloud启动nextcloud容器d

在设计数据库模型时，使用E-R图的方式可以帮我们理清各数据库实体信息及实体与实体之间的关系。本文描述的为：E-R Crow画法绘图工具： draw.io 离线版文章目录1 E-R图2 E-R图说明2.1 属性2.2 关系2.3 实体3 图例及参考3.1 crow方法图列3.2 示例4 参考1 E-R图实体关系图（ERD）或ER模型代表任何系统中的数据。您可以使用它们来说明业务流程中数据的结构，或详细说明关系数据库中数据的存储方式。ER图不一定显示数据的处理方式或经过的确切过程，而是数据实体的结构和

1 概念最近开始随便看看leetcode，发现自己对时间复杂度和空间复杂度没有一个清晰地认识。就去看了看程序员小灰写的算法之旅。这里写篇博客记录一下这部分的知识方便以后查阅。先说说什么是算法：在计算机领域里，算法是一系列程序指令，用于处理特定 的运算和逻辑问题。 衡量算法优劣的主要标准是时间复杂度和空间复杂度。而是什么是时间复杂度和空间复杂度呢？**时间复杂度：时间复杂度是对一个算法运行时间长短的量度。**用大O表 示，记作T(n)=O(f(n))。常见的时间复杂度按照从低到高的顺序，包括O(1)、

官方文档：https://docs.amazonaws.cn/IAM/latest/UserGuide/id_credentials_temp_request.html描述一下这篇文章的背景：1 背景使用cognito 控制app接入：APP 通过cognito服务的开发者授权验证方式接入到的cognito服务身份池。通过userid 作为开发人员标识换到cognito indentity pool 的唯一标识 indentityid。 而每一个通过验证的用户都可以用身份映射到一个AWS IAM

原来用过AWS cloudFormation 服务感觉用于帮客户搭建环境很好用。近期需要客户创建一个阿里云OSS 桶资源，并给一个对应用户mobile APP访问的RAM角色和一个用于server访问的子账号。 文档写了5小节，整个过程比较繁琐，如果需要客户手动操作可能会造成一些困扰。所以这里就看了下和AWS cloudFormation对应的阿里云 资源编排服务（ROS）。此文档记录一些Sample方便以后接着填这种坑。 阿里云的文档写的还是不错的：模板的基本语法: https://help.aliyun

近来发现平时使用JavaScript 数组Array.forEach上存在误区。这里描述一下使用场景：简单来说就想对数组进行遍历，遍历中依次进行串行查询。具体到场景就是：对数据库数据进行读取得到一组用户id。然后又分别对该组用户id进行遍历 对每一个用户id进一步查询数据库得到结果。这里使用才发下在forEach语句里面使用await 想要阻塞住forEach循环让循环通过await实现串行效果何其愚蠢。1 问题背景这里用一段代码来描述forEach语法的误用：const userMap = new

先说结论,使用JSON.stringify方法 第三个参数参数格式化显示，使用标签保留空格和换行符：JavaScript:const jsonString = JSON.stringify(testjson, null, '\t');Html:<pre> jsonString <pre># 1 过程近期需要手搓一个界面，通过restfulAPI拿到一个j...

环境:vscode 3.4.3ts 3.8.3tsc 1.0.3.0function sayHello(person: string) { return 'Hello, ' + person;}let user = 'Tom'console.log(sayHello(user));hello.tstsc hello.ts报错E:\source\develop\type...

在实际开发功能中，经常会有涉及到文件上传的需求。这里简单记录一下文件上传处理的sample。具体场景还需要进一步开发。文章目录1 使用binary方式上传2 Chunked方式上传3 x-www-urlencoded 对值进行base64编码上传文件4 表单上传5 断点续传(分块并发上传)/大文件处理6 示例代码服务端：使用express框架处理文件上传Client：使用POSTMAN进行文件...

如何对webrtc转发服务器进行压力测试是一个很有意思的问题。因为webrtc客户端实际上使用的造成压力主要是码流而传统的HTTP并发请求。最近主管对自建webrtc服务器性能产生了疑问，于是准备1000路webrtc连接下压力情况。这里分享进行压测的思路及方式和一些可以说的结论。这是自己想的方案，如果大佬有更合理方案请不吝赐教。测试环境：AWSwebrtc压测主要涉及到一下两个问题：1 压力...

今天在学习AWS KVS(Kinesis Video Streams)服务时发现它对webrtc有一篇说明解释的很好，这里摘录并整理一份以供向它人介绍webrtc工作流程。文章目录1 webrtc术语Signaling channel(信令通道)Peer（对等节点）Session Traversal Utilities for NAT (STUN)Traversal Using Relays a...

经常提到硬件或者驱动的同事说我们的IC支持HD ，FHD 之类的。他们提供的配置文件里面也有直接填这些参数，比如VGA HD。这里记录一下翻到视频分辨率的别称的内容：视频输出格式：VGA:640480HD:1280720 //HD一般指720p以上的分辨率，就是高清 High DefinitionFHD: 19201080 //是Full HD 全高清的分辨率定义在19201...

相信有很多小伙伴也会遇到和我一样的问题，怎么强制webrtc client 仅使用turn转发不使用p2p 和host。面临的场景是想要测试Turn服务器压测。但目前host p2p都能拿到，这两种情况则无法对turn服务器造成压力。Google资料获取到了两个关键信到的两个解决方案：https://stackoverflow.com/questions/27224008/webrtc-forc...

AWS S3 云存储 是按照存储容量，请求数，及网络流量三个维度进行收费。而如果涉及到使用S3 对外提供SaaS服务，成本分布及估算自然称为比较重要的需求。自然而言需要监控以上三个指标。先上官网说明性文档：https://docs.amazonaws.cn/AmazonS3/latest/dev/monitoring-overview.html文章目录1 监控指标2 Cloudwatch使用2...

今天要执行一个定时任务，但又不希望所有定时任务均在同一个时刻触发。我大概想要下面这样的一个东西，希望定时任务在凌晨2点某一个分钟触发。 const min = Utils.getRandomInt(60); const time = `0 ${min} 02 * * *`;这里就需要一个获取随机数的方式:提供了三个函数 getRandomInt(max): 获取小于某个值的整...

环境： 阿里云Linux ubuntu 主机 前提：以前Mysql 卸载干净(5.7真难卸载，云主机直接重装了)一手资料官网文档 ： https://dev.mysql.com/doc/mysql-apt-repo-quick-guide/en/1 MySql 8.0 源码获取及安装https://dev.mysql.com/downloads/ mysql 社区版地址找到apt包的对...

项目中一般用oauth2 认证，今天想写一个demo就在POSTMAN中填了简单认证方式。嗯… 发现在express 还没有解过 尴尬了…今天写这篇blog把这个知识点加入到菜谱。文章目录1 Basic auth认证1.1 通用的 HTTP 认证框架1.2 基本验证方案(Basic auth)2 nodejs服务端中解Basic auth认证2.1 basic-auth模块2.2 自行解析1...

本文环境基于AWSIOT 嵌入式C lib：https://github.com/aws/aws-iot-device-sdk-embedded-C环境：ubuntu语言 : C关于AWS IOT 基础操作可参见：https://blog.csdn.net/m0_37263637/article/details/80989986关于AWS IOT 嵌入式lib基础使用：https://blog...

文章目录1 背景2 stun与turn 服务测试3 ICE 收集测试[](https://webrtc.github.io/samples/src/content/peerconnection/trickle-ice/)4 标准文档中的流程5 结论1 背景今天在调试webrtc C++设备join webapp 建立的房间时，在交换ICE信息后，开始进行ICE打洞。发现C++ 收到401 ...

本文记录下最近遇到的buffer拼接问题。如果需要知道如何拼接 直接点击第二节文章目录1 背景2 buffer拼接3 buffer 截取1 背景最近有一个需求需要将缩略图和视频文件合并到一起用HTTP POST 发送给服务器，服务器解析后拆成缩略图和视频文件存储到云存储中。于是就写了下面这段代码读了读取两个文件，并相加。就实现下面这段代码。const fs = require('fs'...

最近需要实现处理AWSIOT传来的消息回调函数。作为库编程，在老司机的指导下发现不能直接把AWS IOT的回调接口暴露到上层而是应该自己封装回调函数以供上层调用，这样可以更好地解耦合，上层即不需要了解下层的细节。这里就发现了原来对回调函数的使用还存在一定的误区，这里特地整理一篇文章以供查阅。实质上就是传入一个函数指针 内部去调用。 可以参考Linux内核callback调用方式。第一节主要展示什...

最近需要在AWSIOT shadow添加设备状态，很明显JSON这种数据状态很明显每个状态都是Key-Value这种数据类型，很自然的想到使用MAP去实现这种状态。而代码又是跑在嵌入式设备中很明显是C语言，这里就带来一个问题，C语言原生是没有MAP实现的。作为生产环境使用，自己手搓轮子难免有考虑不周情况出现，这里就去github 摸代码，找个相对start高点，先测试一波。github 地址：h...

最近编写AWS IOT 部分代码，发送设备消息时会引入多线程就会引入资源竞争，比如多个线程同时想发送消息进而导致资源占用，即会导致一个线程获得资源，另一个线程则会进入等待状态。而如何等待则就是一个比较细节的内容。而在维基百科上有对忙碌等待描述：以进程反复检查一个条件是否为真为根本的技术。忙碌等待大部分情况很明显是应该避免的，所以两个线程竞争，一个线程获取到锁，另一个线程获取失败采用忙碌等待的方式...

今天和室友讨论关于redis缓存与数据库同步的问题，发现对这个问题没有清晰明了的认识，在网上找到Dustin_CDS的文章发现对各种情况都进行了讨论，转载以供以后学习查阅。本文转载自： https://blog.csdn.net/Dustin_CDS/article/details/79595297文章目录1 数据库和redis分别处理不同的数据类型2 Cache-Aside模式2.1 读场景...

最近使用使用微信推送模板消息时，数据都是通过固定的模板消息函数封装并返回， 而遇到对象浅复制的问题，导致有并发情况下，微信接口推送的是最后一个传入数据。虽然意识到了这个问题，但发现自己还没有处理过这种深复制的情况，这里整理一下，以供以后使用。如果需要代码 直接点击2.7节中 lodash库提供的接口使用，网上测评该lib的实现性能更高，在npm上的用户也非常多，可以直接用轮子。文章目录1 深...

因为设备端只支持H264编码方式接入，这里涉及到webrtc web端要修改默认编码器，而编码器就离不开webrtc 信令中SDP 消息的解读，读懂了 才能知道自己支持编码器的情况下对SDP的信息进行二次修改。本文主要内容来自该说明文档：https://tools.ietf.org/html/draft-nandakumar-rtcweb-sdp-08主要涉及到 RFC4566 RFC5888...

经常有遇到这种场景，向某一个路径下写入一个文件，路径不存在则创建路径并创建文件，文件存在则覆盖。就是想用一个接口就可以把数据写到某路径的文件内，而不care 路径 文件 存不存的问题。在其他语言比较容易实现。而在node中，就有点麻烦了，因为writeAPI成功的条件是路径必须存在，而路径在node老版本的情况下又要一层层往下创建。在node 10之后有递归创建路径了。这里就是基于该特性写了一个...

Webrtc 信令服务器通信，需要实现samplewebrtc信令服务器中sid参数，而sid 参数是一个毫秒时间戳。web端是js很好拿到，而另一端是用C++实现的耶，C++获取毫秒时间戳（距离19700101000的毫秒数），没有做过，这里记录一波。环境：Linux C++11秒时间戳 使用了time.h毫秒时间戳使用了 c++11 标准库: std::chrono#include ...

本文以simplewebrtc源码为例，但实际上原生API的相应事件触发即会生成相应消息。文章目录1 ICE消息生成及发送2 SDP 消息生成2.1 offer 消息生成2.2 answer 消息生成1 ICE消息生成及发送ICE消息触发是由 webrtc 原生API RTCPeerConnection 中onicecandidate事件传出，在经过rtcpeerconnection做了一...

文章目录1 源码结构2 流程走读3 源码阅读3.1 流程API关键解读3.2 SimpleWebrtc相应代码解读3.2.1 准备阶段(1)第一个进入房间(房主)(2)加入者(后续进入房间者)3.2 建立链接(1)加入者发送offer及candidate消息(2)房主接收offer并处理后发送answer(3)加入者处理answer消息(4)双方收到candidate消息处理SimpleWebr...

AWS EC2创建的区域即右上角你选择的服务器决定。目前成都测试，下午电信联通环境下，都是绕北京到AWS 日本 首尔线路十分拥堵掉包严重，所以建议可以考虑AWS 新加坡区域，测试发现是直接从香港出海，掉包率较低。1 AWS后台创建EC2实例1 登录AWS EC2控制台并选择EC2服务进入EC2控制界面点击启动实例（确定拥有足够权限）2 选择你需要为EC2预装的操作系统版本，这里我选择ubu...

近期架设一次webrtc另一种开源实现simplewebrtc用于学习webrtc整体实现及架构。现在单纯P2P架构的webrtc开源服务器已经很少了且近乎没有维护。大部分都是Webrtc SFU和MCU网络模型实现，但对于物联网设备一般情况下下都是一对一通话且P2P十分重要(转发服务器开销很大)。开源实现里面稍微靠谱一点就是SimpleWebrtc方案了，但该方案也在18年中旬停止维护了，今天...

前一阵同事架设webrtc Google官方演示 apprtc。 实际使用中发现了一个问题，使用域名访问 和使用ip访问 同一房间时无法建立链接。这里就进行了一波debug，读读apprtc的源码顺便学习一波。首先通过FireFox 的about:webrtc的方法查看webrtc Client 链接建立记录发现ICE没有得到得到对端SDP相关信息，当然这样肯定无法建立链接啦。但是本地SDP相关...

最近需要将一个对象数组存到数据库中， 然后又要进行各种操作，这里写一个sample来记录操作方式。嗯 室友叫John，这里就写一个找John吧。sample有以下功能：查找对象数组中某个对象属性值是否存在并返回完整对象查找对象数组中某个对象属性值是否存在并返回Index以对象数组中对象某个属性排序找出对象数组中某个属性的最大最小值let testArray = [ { ...

最近有一个需求，需要在获取一个可用id 在0~max值范围内，且有数量限制。 该id可以被删除， 删除后新的id应补位。这里举一个例子。规则：比如现在一个id 都没有用则 获取到的id为0[0]如果继续获取则为1[0, 1]如果继续获取则为2[0,1,2]继续获取则为3[0,1,2,3]现在删除1[0,2,3]再次获取则为1，在获取则为4[0,1,2,3,4]现在删除1...

文章目录1 Amazon Cognito 简介用户池身份池2 移动端通过Amazon Cognito接入架构2.1 使用用户池或公共登录提供商2.2 经过开发人员验证的身份3 实际使用3.1 创建身份池并自定义验证方案及权限3.2 账户服务器返回token及IdentityId3.3 终端使用token及IdentityId授权AWS SDK4 参考链接协助同事接入AWS mobile SDK，...

1 AWS IOT接入模型1.1 AWS shadow 使用模型APP 通过HTTP 更新AWS Thing shadow属性控制Device ,当Device 更新完相关属性对应操作后会response AWS IOT Cloud 更新对应AWS Thing shadow中属性。 APP 通过http 轮询去查询Thing Shadow更新状态是否成功。该方式通信单向，即APP ...

初次接触到Webrtc,都会了解到WebRTC实现了基于网页的语音对话或视频通话，目的是无插件实现web端的实时通信的能力。一版情况下会接触到下面的网络通话模型。meshSFUMCU文章目录1 1对1通话2 多对多通话2.1 mesh网络模型2.2 SFU网络模型2.3 MCU网络模型2.4 常用webrtc开源服务器3 参考链接1 1对1通话两端浏览器(clientA,clie...

团队大佬有点嫌弃原来p2p方案提供商，准备尝试使用webrtc评估替代可能性，所以近期开始架设webrtc的服务器。因为webrtc是一套通用协议，所以基于三方服务器进行通路测试及评估，先跑起来再逐步学习。基于技术栈就选以node接口的mediasoup这款开源服务器跑起来熟悉下套路。本文为Mediasoup demo部署说明。Mediasoup官网：https://mediasoup.orgM...

前一阵在Stack Overflow 上看到一篇关于DynamoDB 建模的回答，回答很好。所以这里整理一篇文章回顾该回答，指导以后的设计。文章目录1 Dynamodb 基础概念2 一对一3 一对多3 多对多3.1 辅助表3.2 外键集3.3 图形模式4 参考链接1 Dynamodb 基础概念每个DynamoDB表都有一个唯一的主键。主键必须由分区键组成，并且可以选择性地具有排序键。...

作为 server端经常会用到缓存技术来提供降低数据库压力和提高服务性能，因为一些数据我们没有必要每次查询的时候都去查询到数据库。今天读到一篇文章加深了自己对缓存的认识，整理一篇文档以作记录。文章目录1 缓存的基本实现2 缓存穿透2.1 原理2.2 解决方案3 缓存击穿4 缓存雪崩5 热点数据集中失效问题6 参考资料常见的缓存有redis等内存性缓存服务器。对于自己维护数据库而言，所有的请求都...

今天捡起去年年初写的AWS IOT C code进行一波维护。代码通过AWS IOT 和服务器进行交互，具有基本控制功能，这是在X86平台上。但在嵌入式平台上还多了部分跑rtmp码流部分的代码。为了方便的在不同平台上调试代码不用去手动修改其中的内容今天在MakeFile中添加了平台这个变量并传入C代码中。而这种根据平台不同，需要调用不同编译器，依赖不同的lib，执行代码中不同部分的情况非常常见，...

最近需要对node代码进行混淆编译，原来曾经解决过ES6打包混淆的问题，但最近在代码中使用了async/await语法，原来的gulpfile混淆又出问题了。下面是记录这次问题的过程，想要看解决方案可以直接跳第三节。文章目录1 环境2 问题3 解决方案1 环境待混淆代码 test.jslet test = function(){ return new Promise((resol...

最近在对代码进行压力测试，这里整理一下压测中的指标和方法。文章目录1 压力测试中的指标1.1 TPS1.2 QPS1.3 平均处理时间（RT）1.4 并发用户数(并发量)1.5 换算关系1.5 TPS和QPS的区别2 压力测试方法3 相关文档1 压力测试中的指标1.1 TPSTPS 即Transactions Per Second的缩写，每秒处理的事务数目。一个事务是指一个客户机向服...

最近在对服务器进行压力测试，顺便测试了一波本身express框架单机情况下的性能，这里分享出来给大家参考。文章目录1 测试环境1.1 服务器硬件1.1.1 t2.micro1.1.2 c5.large1.1.3 压力机1.2 测试工具1.2.1 测试端1.2.2 服务器监控1.3 测试方法2 测试数据2.1 c5.large2.2 t2.micro3 相关文档1 测试环境1.1 服务器硬...

最近需要对再次对服务器进行压力测试，这里整一下最近学习到的估算方案和估算方式。1 并发值估算1.1 经典公式一般来说，利用以下经验公式进行估算系统的平均并发用户数和峰值数据 1）平均并发用户数为 C = nL/T 2）并发用户数峰值 C‘ = C + 3*根号C C是平均并发用户数，n是login session的数量，L是login session的平均长度，T是值考察的时间...

最近整理日志时，看到关于代理方面的记录。感觉可能以后又时很长时间接触不到这些东西，有必要整理文档记录下一波。程序猿基础操作之代理。文章目录1 基本概念2 正向代理3 反向代理4 正向/反向代理的区别5 参考链接1 基本概念代理（英语：Proxy）也称网络代理，是一种特殊的网络服务，允许一个网络终端（一般为客户端）通过这个服务与另一个网络终端（一般为服务器）进行非直接的连接。一些网关、路由器...

最近在微信公众号上关注了几个资深牛人的文章，今天看到了一片程序员小灰讲https的文章。虽说平时已经用的很多了，而且去年也因为要解决一些问题而学习了https的部分细节，但读了文章之后，仍然发现理解上有所差异，所以特此整理一文章记录自己所掌握的内容。1 HTTPSHTTPS（全称：Hyper Text Transfer Protocol over Secure Socket Layer），是以...

文章目录1 背景1.1 现象1.2 环境1.3 测试2 分析与解决2.1 原因分析2.2 解决2.2.1 Mail From2.2.2 使用 DKIM 对电子邮件进行身份验证2.3 小结1 背景1.1 现象先说现象，现象是用使用AWS SES发送邮件,QQ邮件收件箱和垃圾箱都没有mail。Mail 必须要在自助查询-收件查询才能找到，发现下面有一栏被系统拦截的选项。本文并不是因为ip...

记录汇总一下平时可能用到的git命令1 基础操作git init 新建一个空的git仓库git status 查看当前代码状态 那些被修了(deleted:被删除 ，没有前缀的文件名:新增文件，modified：部分修改)git diff 文件名 查看该文件与git仓库中文件对比git add file(文件路径)将文件加入到暂存区git rm file删除文件。当本地文件被删除时，执...

在最近引入git flow流程规范 git开发流程时，在同事的blog里面同样找到一个工具git commitizen。这个工具可以用来规范git commit 的提交。原来一直都是git commit -m 添加一些描述就完了。但借着这个工具了解到了更多的commit 规范，这里特此记录一下使用过程。本文参考阮大神的blog：http://www.ruanyifeng.com/blog/201...

在熟悉git的基本操作后，其实应该引入更加专业的工具让Git规范起来。在上周学习git flow 和git cz(规范commit)的使用，确实用起来了可以减少很多麻烦。本文旨在介绍最近学习的Git flow流程和如何使用工具践行这个流程。关于git flow的详细介绍，本文参考了该文章(可能国内访问有问题)：https://nvie.com/posts/a-successful-git-br...

最近被AWS 首尔区域整的焦头烂额，后来发现是北京到东京掉包严重。这里就涉及到新的AWS服务器选型的问题。需要评估一个更稳定的新区域。这里提供部分评估方法和调试经验。https://www.cloudping.info/一个有网站可以辅助测试不同可用区访问情况。当然我们也可以自行测试：http://ec2-reachability.amazonaws.com/首先可以在这个网址内找到相应...

这是12月调试服务器网络情况总结的第三篇文章，网络掉包分析工具mtrMTR（My traceroute，原名Matt’s traceroute）是一套网络诊断工具，包含了traceroute与ping的功能。 前两篇文章介绍ping 用于测延时大致掉包率和用于测试网络路径工具traceroute工具，这里介绍介绍一下两者的综合体mtr工具。运行Mtr指定一个IP地址，Mtr会查看运行Mtr的主...

一般情况，网络都会做出网络隔离，分为内网和外网环境。而内网工作机访问到外网都有一台中转的服务器（也可以被称为网关服务器），现在经常有种需求比如想要连到AWS EC2 就需要先登录工作机环境的中转服务器，再在中转服务区上使用ssh连到AWS EC2上。这个流程用反复手动输入显得愚蠢。今天在xshell 中找到一个叫登录脚本的配置，测试一番发现果然可以很简单实现二次登陆的功能。示例：如何使用 首...

AWS 中国和全球区有很大差异，80/8080端口均需要备案才能访问。安全组配置80端口，没有备案实际上也是没有效果的。

traceroute，现代Linux系统称为tracepath，Windows系统称为tracert，是一种计算机网络工具。它可显示数据包在IP网络经过的路由器的IP地址。我们可以用这个命令来查看数据包途径的网络节点和ISP,从而排除一部分网络问题。本文基于Linux环境文章目录1 原理2 命令3 举例4 参考链接1 原理程序是利用增加存活时间（TTL）值来实现其功能的。每当数据包经过一个...

上篇文章：https://blog.csdn.net/m0_37263637/article/details/84538698在上一篇文章中，我们尝试使用测试代码让POSTMAN对http响应结果进行判断。这就是通常使用最简单测试用例了。但一般情况下，都会区分环境，比如开发环境，测试环境，生产环境。而这些环境的地址或某些参数肯定是不同的，手动修改会显得十分愚蠢，所以如果想用一套测试case能够在...

前几天被其他同事的一个问题给问到了，域名的问题，问本人现在的域名很长，当时随口一说是这是一个二级域名，但后面一想有点不对，这种基础的东西搞不清楚是显得又low又蠢，得学习记录一波。今天晚上有空转身就把绿壳计算机网络摸出来了，果然说错了……本文参考：计算机网络第六版1 域名及域名分级的原因域名系统DNS(domain name system)是因特网使用的命名系统，用于把便于人们记忆的机器名字...

最近处理国内访问AWS海外区网络问题，学习了一系列原来没有彻底搞清楚网络知识，这里特此记录。Ping命令可以拿来测网络是否联通，网络响应时间和基础的掉包率。但掉包分析建议使用mtr工具完成。ping是一种计算机网络工具，用来测试数据包能否透过IP协议到达特定主机。ping的运作原理是向目标主机传出一个ICMP echo@要求数据包，并等待接收echo回应数据包。程序会按时间和成功响应的次数估算丢...

最近实在受不了中国访问AWS首尔区域了 ，决定把整个环境迁移到新加坡，服务器迁移倒是比较简单，但数据库迁移遇到很大的麻烦。原以为DynamoDB 全局表可以很容解决跨区域数据同步的问题，结果发现DynamoDB全局表只能在为空表的前提下使用，即必须是新建的表。而不能说 用到中途把普通表改成支持多区域的全局表。文章目录1 AWS Data Pipeline 方案2 git上AWS的迁移工具包dy...

前天给自己上古笔记本装了一块固态硬盘重装了个系统，顿时又有兴趣在家里用电脑了。今天把用的最多的VS code装上，vs code安装很简单，在官网下载下来直接默认安装即可。但打开才发现和在公司用的有点不一样是英文UI有点不习惯。但很久没配置了忘了如何配置了。这里特地记录一下，以便以后再用。1 在VS CODE 推展里搜索Chinese 第一项就是语言包，选择安装(install)2 修改V...

最近为了解决国内访问AWS 首尔大量掉包的问题，天天研究ISP 运营商策略，中国网络出海口的等问题。这里贴一张分析问题用到的海底光缆图及来源网址。关于掉包问题的分析会在后面文章详细分析。网址：https://www.cablemap.info/海底光缆图：...

Nodejs 在10之前原生并不支持递归创建文件目录，即如果创建一个./study/node/files 目录，如果node目录不存在，则会直接报错。文章目录1 测试2 Node 10.14.1 版本及以上3 Node低版本方案1 测试const fs = require('fs');fs.mkdir('./study/node/files ', (err) =&gt; { if ...

官方文档：http://blog.getpostman.com/2017/10/25/writing-tests-in-postman/上一篇文章：https://blog.csdn.net/m0_37263637/article/details/83626518每个人都同意编写测试很重要，但不是每个人都这样做。在您引入新代码时，测试可确保您的API按预期工作。您可以在Postman中为每个请...

最近需要花一份系统架构图，用VISO画出来黑丑，一直觉得用阿里云和AWS的架构图相当漂亮，但又没有找到相应工具，今天发现绘制AWS 架构图工具网站 真的相当棒：https://cloudcraft.co/login效果如下，可自行添加相应AWS基础设置和画线条，效果如下：APP 后台架构：IOT 架构图：...

遇到个需求要定时清理某个map， 一个setInterval实现感觉太皮，肯定会翻车。所以去万能的npm上去摸工具。搜索一下schedule，出现一个node-cron模块。看起来有很多人用，嗯….就用这个了。Npm 文档：https://www.npmjs.com/package/cron1 安装npm install cron测试code：var CronJob = require...

今天想找一个安全生成sessionid的方案，随后想到应该检测请求方ip，这时才发现这里是一片知识的盲区。随即整理学习。文章目录1 原理1.1 Remote Address1.2 存在代理 X-Forwarded-For1.2.1 实现逻辑1.2.2 X-Forwarded-For1.3 确保请求者ip是真实的而不是伪造的1.3.1 对于安全性要求较高的行为1.3.2 对于安全要求较低的行为2 ...

原来经常用oauth2 的password方案来做登录，自己给自己app做授权没毛病呀，但后面一下有点不对，这里应该是有问题的。于是学习了原生app登录的方案。并学习一系列登录有关知识。特此记录，这是第一篇。PS:注意，标题中的token即不是oauth2 中的toekn。也不是JSON WEB Token(JWT)中的token文章目录1 web端-session cookies方案1.1 ...

内部测试服务器是最近新装的，没有supervisorctl 这个程序管理工具。不过前一阵得知node应该用更加适配的工具进行管理，那就PM2。试用了一下非常强大，特此记录一下使用流程。非常使用用来做node 守护及相关管理。文章目录1 安装2 基础命令2.1 查看pm2 管理的应用2.2 基础命令(启动 重启 停止)2.3 查看进程详细信息2.4 无缝重启程序3 PM2集群模式(负载均衡)4 配...

过去在测试室友John的推荐下接触到API测试工具-POSTMAN。而作为开发者来说，一遍情况下都是自己手动编写mocha脚本进行测试，对于其他参与配合同事来说，这种使用和交流是比较困难的。所以，一般情况下都是请他们使用POSTMAN进行测试，但自己本身对于POSTMAN的使用一直停留在非常基础手动输入参数，人眼观测结果的情况。最近希望整理一套可以直接使用restful postman自动测试脚本...

很久没有处理音视频相关的东西了，最近整理笔记提供部分资料苹果官方测试首页：https://developer.apple.com/streaming/examples/advanced-stream-ts.html苹果官方测试流：https://devstreaming-cdn.apple.com/videos/streaming/examples/img_bipbop_adv_examp...

官方文档：https://docs.mongodb.com/manual/core/index-sparse/1 背景账号体系设计过程中， 我们需要保证邮箱或手机号唯一。如果使用mongodb作为数据库。作为很强大mongodb肯定提供相应功能实现这种需求，而不是手动管理(手动查询是否存在)保证唯一性的解决方案就是唯一索引（unique index）。比如创建一个唯一索引：db.use...

文章目录1 Promise2 Promise链及如何终止2.1 现象2.2 原因2.3 解决方案3 参考链接：1 PromisePromise，简单说就是一个容器，里面保存着某个未来才会结束的事件，在ES6得到支持。且具有以下特点：对象的状态不受外界影响。Promise对象代表一个异步操作，有三种状态：pending（进行中）、fulfilled（已成功）和rejected（已失败）。一...

文章目录1 背景2 方法2.1 Jquery 的isEmptyObject2.2 node2.3 判断对象属性个数1 背景经常在express 框架中处理body参数等等操作，而有时经常没有传入某个对象参数，而程序里又对该对象的属性进行了操作，这就会导致比较严重的后果。没有异常捕获就会导致宕机，比如下列code：let item = { high:23, width:32}...

官方文档： https://nodejs.org/dist/latest-v10.x/docs/api/buffer.html文章目录1 背景1.1 new Buffer弃用1.2 弃用原因2 Buffer类的新方法2.1 Buffer.from 方法2.1.1 Array 参数2.1.2 String 参数-可用于编码2.1.3 object 参数2.2 Buffer.alloc方法2.3 ...

最近用到了平时经常用的grep，但遇到全字匹配和排除文件,排除目录的操作。触及到知识盲区，特此去学习了解记录一下。如果遇到其他用法在添加编辑。文章目录1 背景2 grep使用2.1 基本用法2.2 查询目录2.3 通配查询2.4 全字匹配2.5 排除指定文件2.6 排除指定目录2.7 grep配合管道筛选数据3 参考链接1 背景在Linux环境中，有时会遇到程序报了些问题，但有没有标注所在位...

今天被公司一台自带nginx Linux服务器套路了。部署了一个server在服务器上用的80端口用来测试，没注意到是否有nginx service。结果公司IT把服务器重启了，把80端口给我占了，导致我server恢复不起来。(⊙o⊙)…，是时候记录一波部署路线，防止以后翻车了。测试环境: ubuntu（linux）1 nginx安装1.1 下载源码下载nginx源码http://ng...

在C/C++中 有argc argv可以传入变长参数给程序。在node有时就会遇到这个需求。在ES5中可以使用arguments对象了。在ES6标准中引入了 rest 参数（形式为…变量名），用于获取函数的多余参数。rest 参数搭配的变量是一个数组，该变量将多余的参数放入数组中。非常适合处理变长参数的情况。PS:rest 参数之后不能再有其他参数（即只能是最后一个参数），否则会报错。fu...

今天在读阮一峰 ECMAScript6 中 数组扩展运算符中遇到一个问题——数组复制(拷贝)，还涉及到浅拷贝，思考熟悉了下，特此记录。文章目录1 数组复制1.1 ES5——concat()1.2 ES6——…运算符1.3 数组拷贝和直接用=等号区别2 浅拷贝1 数组复制1.1 ES5——concat()在ES5 中我们可以使用concat函数变相实现数组复制let a1 = [1, 2]...

javascript 的set结构用来去重非常方便，这里记录一下。文章目录1 背景2 set数据结构2.1 set创建2.2 set 加入或删除key操作2.3 set转数组1 背景最近遇到问题，要记录某个人曾经用过的手机和操作系统记录到一个json{ &quot;os&quot;:[&quot;android&quot;,&quot;ios&quot;], &quot;android&quot;:[&quot;mi8&am

前一阵需要设备上传提供人脸图像，采用http post方式作为application/json 中一个key方式上传base64编码后的图片。发现图片稍微大点就直接报下列错误：Error info: {“error”:“ParamNotSupport”}经过查询网上资料后：发现是body-parser 默认限制了body长度在express app.js中加上：var bodyPar...

昨天接入苹果APNs推送，今天需要支持GCM端推送，推送服务器都需要在墙外，否者无法连接到GCM服务器，而接受推送服务器的手机app需要有谷歌服务框架，最好待推送手机也在墙外。同样万能的npm也提供了gcm推送模块。推送代码：var gcm = require('node-gcm'); var sender = new gcm.Sender('XXXXXXXXXXXXXXXXXXXXXX...

最近在参加mongodb university 课程中遇到了一个题目，在一个商品界面要实现一个搜索，以某个关键词搜索所有商品中标题，描述包含该关键词的商品并返回。这个问题实质就是查询字段文本中包含某段字符的数据。数据库中document形式如下：{ _id: 10, title: 'Green T-shirt', slogan: 'MongoDB community shir...

APNs(英文全称：Apple Push Notification service），中文翻译为：苹果推送通知服务.本文只记录apns node版本接入和一些调试经验，不涉及证书申请及app端开发。node有非常成熟apn相关模块，又快又陡。模块文档：https://www.npmjs.com/package/apn使用苹果APN首先需要准备以下参数服务端证书（开发环境证书和生产环境...

嵌入式设备即不支持node也不支持C++，所以这里还得有份C版本编解码codesample 代码行为：读取图片编码图片打印编码后base64编码字符串解码字符串写入文件验证测试可修改图片路径既可。编解码code来自：https://blog.csdn.net/jingda3100/article/details/78296740本文仅为方便以后使用，收集记录。#inclu...

const fs = require('fs');let bitmap = fs.readFileSync('start.jpg');let base64str = Buffer.from(bitmap, 'binary').toString('base64');base64编码console.log(base64str);let bitmap1 = Buffer.from(base64...

Nodejs是可以存储汉字昵称，因为nodejs 默认是UTF16编码方式，是unicode编码的一种实现。UTF-16 使用二或四个字节为每个字符编码(定长 一般情况下为2字节)，因为对于绝大部分字符只使用2个字节就可以表示了。对于汉字而言，大部分汉字采用两个字节编码，少量不常用汉字采用四个字节编码。文章目录1 背景2 JavaScript处理汉字的方式2.1 码点大于2个字节的问题2.2 ...