- 博客(116)
- 收藏
- 关注
RSS订阅转载 节衣缩食 —— 位图
在我们平时开发过程中，会有一些 bool 型数据需要存取，比如用户一年的签到记录，签了是 1，没签是 0，要记录 365 天。如果使用普通的 key/value，每个用户要记录 365 个，当用户上亿的时候，需要的存储空间是惊人的。 为了解决这个问题，Redis 提供了位图数据结构，...
2019-04-19 22:42:00
129
转载 MongoDB配置及一般操作 - MongoDB从入门到删库
安装MongoDB 1、mongo文件说明 名称 说明 mongod 是数据库服务端，不能暴露再公共网络，主要实现服务器端数据库的数据处理、数据访问管理及其他后台管理。 ...
2019-04-19 22:42:00
140
转载 MYSQL字段类型与索引的关系
字段是varchar类型，参数是int类型，不走索引 下面这个不走索引的： 不走索引的sql 这个字段明明有索引： ...
2019-04-19 22:42:00
490
转载 nGrinder测试配置 - 如何通过线程逐步提升压力
通过性能测试配置递增线程 除了Grinder引擎提供的进程斜坡之外，nGrinder 3.3还支持线程斜坡。因为进程是非常昂贵的资源，在单个核心机器中，大约10是可执行进程的最大计数。因此，到目前为止，流程渐变只支持非常有限的渐变(从0到10)。在nGrinder 3.3中，可以通过...
2019-04-19 22:42:00
335
转载 MongoDB的脚本操作 - Map/Reduce、Script、Group的使用
MongoDB支持javascript脚本的解析。可以简化一些数据聚合、或一些脚本特殊处理。下面我们验证一下JAVA环境下调用脚本的操作。包括map/reduce操作，执行script操作，以及group的操作。 初始化数据对象 public static final S...
2019-04-19 22:42:00
510
转载 JAVA调用MongoDB生命周期事件 - MongoDB从入门到删库
监听MongoDB的生命周期，只需重写org.springframework.data.mongodb.core.mapping.event.AbstractMongoEventListener的子类，并在Spring的ApplicationContext中声明这些bean，这样在分派事...
2019-04-19 22:42:00
574
转载 通用对账平台的思考
内外部项目存在多种对账环节，而且每个对账体系都存在一定代码重复，业务逻辑耦合性高。因此，可以考虑将对账环节抽象出一套通用对账系统。尽可能适配各种对账场景。 一些套路：将系统划分为数据接入层，数据处理层，数据管理平台。 数据接入层 ...
2019-04-19 22:42:00
669
转载 玩转API对象 - 玩转Kong网关
注意：API实体在0.13.0中被弃用。 强烈建议将您的api迁移到路由和服务。 API对象描述了一个由Kong公开的API。当使用者从代理端口调用它时，Kong需要知道如何检索API。每个API对象必须指定主机、uri和方法的一些组合。Kong将把所有对API的请求委...
2019-04-19 22:42:00
154
转载 如何优化大数据量的方法
随着项目上线，业务数据会越来越多。这个时候，很多开发时适用的方法、任务，在庞大数据量面前就会变得很不堪，经常会出现超时，慢查询，异常等等问题。 所以，一般在开发阶段，我们怎么能避免这些问题呢？一切皆有套路。 一般处理套路： SQL优化，数据库加索引，多线程，并行计算，异步处理，大...
2019-04-19 22:42:00
1365
转载 Web漏洞扫描工具 - 安全工具篇
针对Web应用程序的漏洞扫描其实就是每个扫描器读取自己的Payload进行探测。每个扫描器都有各自不同的Payload进行探测，探测结果也可能不尽相同。因此，做漏洞扫描的时候，需要多个扫描器一起使用，获取最终较为准确的结果。 Web漏洞常用扫描器有：1、Owasp-zap；2、AWV...
2019-04-19 22:42:00
815
转载 玩转SERVICE服务 - 玩转Kong网关
服务（SERVICE）实体，正如其名称所示，是您自己的UPSTREAM服务的抽象。服务的示例将会是数据转换微服务、计费API等。 服务的主要属性是它的URL（在这里，Kong应该代理流量），它可以被设置为单个字符串，或者通过单独指定其协议、主机、端口和路径。 服务与路由相关联（服...
2019-04-19 22:42:00
241
转载 暴力破解原理及工具 - 安全工具篇
暴力破解的原理就是使用攻击者自己的用户名和密码字典，一个一个去枚举，尝试是否能够登录。因为理论上来说，只要字典足够庞大，枚举总是能够成功的。 Burp Suite Burp Suite 是用于攻击web 应用程序的集成平台，包含了许多工具。Burp Suite为这些工具设计了许多...
2019-04-19 22:42:00
1896
转载 压力测试平台(nGrinder)入门到精通教程
nGrinder简介&架构 1、 nGrinder简介&架构 nGrinder管理员指南 1、nGrinder安装指南 2、nGrinder管理员指南 3、nGrinder控制器配置指南 4、nGrinder集群指南 5、nGrinder代理配置指南 6、nG...
2019-04-19 22:42:00
1109
转载 断尾求生 —— 简单限流
限流算法在分布式领域是一个经常被提起的话题，当系统的处理能力有限时，如何阻止计划外的请求继续对系统施压，这是一个需要重视的问题。 除了控制流量，限流还有一个应用目的是用于控制用户行为，避免垃圾请求。比如在UGC 社区，用户的发帖、回复、点赞等行为都要严格受控，一般要严格限定某行为在规...
2019-04-19 22:42:00
265
转载 Serverless功能 - 玩转Kong插件
在访问阶段动态运行Lua代码。 启动Serverless Functions 1、在服务上启用插件 $ curl -X POST http://kong:8001/services/{service}/plugins \ --data "name=ser...
2019-04-19 22:42:00
837
转载 万丈高楼平地起 ——Redis 基础数据结构
Redis 有 5 种基础数据结构，分别为：string (字符串)、list (列表)、set (集合)、hash (哈希) 和 zset (有序集合)。 一、string (字符串) 字符串内部结构 ...
2019-04-19 22:42:00
131
转载 《Java加密与解密的艺术》读书笔记
学习目标：了解加密算法选型，并能使用正确的算法进行加密。 学习目录： 1、电子邮件传输算法——Base64 2、验证数据完整性——消息摘要算法——用于验证数据完整性服务 3、初等数据加密——对称加密算法——用于保证数据保密性服务 4、高等数据加密——非对称加密算法——用于保证数据保密...
2019-04-19 22:42:00
157
转载 命令执行漏洞原理及工具 - 安全工具篇
Command Injection，即命令注入，是指通过提交恶意构造的参数破坏命令语句结构，从而达到执行恶意命令的目的。 如：delete.php文件内容 <?php$file=$_GET['filename'];system("rm $file");?> ...
2019-04-19 22:42:00
899
转载 千帆竞发 —— 分布式锁
一个操作要修改用户的状态，修改状态需要先读出用户的状态，在内存里进行修改，改完了再存回去。如果这样的操作同时进行了，就会出现并发问题，因为读取和保存状态这两个操作不是原子的。这个时候就要使用到分布式锁来限制程序的并发执行。 ...
2019-04-19 22:42:00
164
转载 请求终止 - 玩转Kong插件
这个插件使用指定的状态码和消息终止传入的请求。这允许(暂时)停止服务或路由(或废弃的API实体)上的通信，甚至阻塞用户。 示例用例 暂时禁用服务(例如正在维护中) 暂时禁用路由(例如，服务的其余部分已启动并正在运行，但必须禁用特定访问点) 暂时禁...
2019-04-19 22:42:00
400
转载 美的食堂攻略
总部食堂菜品美味，但是油偏多了一点。竟然有两层。简直一个窗口都不想放过。还有自助餐没试过，有机会一定要尝试一下。至于食堂图片，没拍下，以后再补上。 美的总部食堂出品 美创中心食堂，窗口就少了些。厨师下油...
2019-04-19 22:42:00
617
转载 爬虫控制 - 玩转Kong插件
启用爬虫控制插件 1、在服务上启用插件 $ curl -X POST http://kong:8001/services/{service}/plugins \ --data "name=bot-detection" 2、在路由上启用插件 $ curl -X ...
2019-04-19 22:42:00
402
转载 公共Lua API详解 - 玩转Kong网关
先一起来看看有哪些模块。 属性 描述 kong.dao 操作数据库表中给定类型的实体 kong.plugins.basic-auth.crypto 密码...
2019-04-19 22:41:00
358
转载 索引及集合管理 - MongoDB从入门到删库
MongoTemplate提供了一些用于管理索引和集合的方法。这些方法被收集到一个名为IndexOperations的帮助接口中。您可以通过调用indexOps方法并传入集合名或实体的java.lang.Class来访问这些操作（集合名称来自 .class，或名称，或注释元数据）。 ...
2019-04-19 22:41:00
81
转载 大海捞针 —— Scan
在平时线上 Redis 维护工作中，有时候需要从 Redis 实例成千上万的 key 中找出特定前缀的 key 列表来手动处理数据，可能是修改它的值，也可能是删除 key。这里就有一个问题，如何从海量的 key 中找出满足特定前缀的 key 列表来？ 一、简单暴力的指令 keys ...
2019-04-19 22:41:00
160
转载 nGrinder代理配置指南 - 玩转压测nGrinder
本章描述了nGrinder 3.3或更高版本的高级nGrinder代理配置。如果您个人使用nGrinder，您可能不需要阅读本指南。然而，如果您想将nGrinder作为PAAS运行，您应该阅读这一章。 从Controller下载代理 从nGrinder 3.3中，代理安装包没有再...
2019-04-19 22:41:00
840
转载 千万级海量数据导出中间件的思考
导出主要考虑生成Excel文件存储数据。但是，Excel一般是有行列的最大限制的。因此，实现导出逻辑的时候需要把一个表存储多少行、多少列，创建多少表的方案考虑进去。 遇到海量数据，如超百万的导出，我们又该如何处理？ Excel的限制 Excel2003及以前版本支持65536...
2019-04-19 22:41:00
237
转载 Consul 快速入门 - Kong最佳实践
Consul是什么 Consul是一个服务网格（微服务间的 TCP/IP，负责服务之间的网络调用、限流、熔断和监控）解决方案，它是一个一个分布式的，高度可用的系统，而且开发使用都很简便。它提供了一个功能齐全的控制平面，主要特点是：服务发现、健康检查、键值存储、安全服务通信、多数据中心...
2019-04-19 22:41:00
439
转载 层峦叠嶂 —— 布隆过滤器
上一节我们学会了使用 HyperLogLog 数据结构来进行估数，它非常有价值，可以解决很多精确度不高的统计需求。但是如果我们想知道某一个值是不是已经在 HyperLogLog 结构里面了，它就无能为力了，它只提供了 pfadd 和 pfcount 方法，没有提供 pfcontains ...
2019-04-19 22:41:00
95
转载 电子邮件传输算法——Base64
Base64算法的转换方式属于古典加密算法的单表置换算法。一段文字经过Base64编码后面目全非，而经过该算法解码后又能恢复本来面目，这很有加密解密的意味。但该算法充当秘钥的字符映射表是公开的，加密强度并不够高，所以该算法并不是加密算法。 Base64算法消息传递模型 ...
2019-04-19 22:41:00
306
转载 MongoDB使用回调 - MongoDB从入门到删库
回调函数的使用 所有Spring模板类的一个常见设计特性是，所有功能都被路由到模板的一个执行回调方法中。因此，使用这些执行回调是访问MongoDB驱动程序的MongoDatabase和MongoCollection对象以执行在MongoTemplate上没有作为方法公开的不常见操作的...
2019-04-19 22:41:00
465
转载 基于角色的访问控制 - MongoDB安全设置
MongoDB使用默认配置启动时，一旦客户端连接后就可以对数据库做任意操作，而且可以远程访问数据库，所以在生产环境要注意安全方面的问题。提高MongoDB安全性有以下几个方面：限制特定IP地址访问、设置监听端口、设置登录的账户密码、使用TLS/SSL加密传输等。 限制特定IP地址访问...
2019-04-19 22:41:00
343
转载 JVM异常诊断神器Greys实战 - 玩转JVM
Greys是一个JVM进程执行过程中的异常诊断神器。 在不中断程序执行的情况下轻松完成JVM相关问题排查工作。目前Greys仅支持Linux/Unix/Mac上的Java6+，Windows暂时无法支持。 使用场景 例如打logger，开发环境一般有五种情况： 1、异常情况，打e...
2019-04-19 22:41:00
250
转载 Kong的简介和安装 - 玩转Kong网关
Kong 是在客户端和（微）服务间转发API通信的API网关，通过插件扩展功能。Kong 有两个主要组件： 1、Kong Server ：基于nginx的服务器，用来接收 API 请求。 2、Apache Cassandra：用来存储操作数据。 你可以通过增加更多 Kong ...
2019-04-19 22:41:00
725
转载 配置详解 - 玩转Kong网关
配置加载 Kong的默认配置在 /etc/kong/kong.conf.default 。如果你通过一个官方的安装包来安装Kong。您可以复制下面的文件，开始配置Kong： $ cp /etc/kong/kong.conf.default /etc/kong/kong.conf...
2019-04-19 22:41:00
1638
转载 身份验证详解 - 玩转Kong网关
客户端访问上游API服务，通常由Kong的认证插件及其配置参数来控制。 通用认证 一般情况下，上游API服务都需要客户端有身份认证，且不允许错误的认证或无认证的请求通过。认证插件可以实现这一需求。这些插件的通用方案/流程如下： 1、向一个API或全局添加AUTH插件（此插件不...
2019-04-19 22:41:00
1127
转载 四两拨千斤 —— HyperLogLog
在开始这一节之前，我们先思考一个常见的业务问题：如果你负责开发维护一个大型的网站，有一天老板找产品经理要网站每个网页每天的 UV 数据，然后让你来开发这个统计模块，你会如何实现？ 如果统计 PV 那非常好办，给每个网页一个独立的 Redis 计数器就可以了，这个计数器的 key 后缀...
2019-04-19 22:41:00
136
转载 JVM性能分析神器async-profiler - 玩转JVM
async-profiler可以跟踪以下类型的事件： CPU性能分析 硬件和软件性能计数器，比如缓存遗漏、分支遗漏、页面错误、上下文切换等等。 Java堆中的分配 满足锁尝试，包括Java对象监视器和重入锁 如何使用： [root@mvxl52...
2019-04-19 22:41:00
1028
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人