- 博客(6)
- 资源 (5)
- 收藏
- 关注
RSS订阅
原创 Redis+Lua去服务单点优化
Lua是一个脚本语言,使用C编写并开放源代码,主要是为了嵌入应用程序中，为应用提供扩展和定制。Lua语言这里不多提及,可阅读Lua官网http://www.lua.org/ 或者菜鸟教程了解(更容易一些)。这里重点介绍Lua在Redis中的应用，以一个简单的升级版的Redis去除服务单点问题作为实践(另一片文章Redis、Zookeeper去服务单点问题实践 中使用Redis的实现...
2018-03-25 08:29:59
575
原创 记一次FastDFS优化
问题描述 18个Strorage+1Tracker的线上环境,Stroage存储18T磁盘剩余空间平衡在97%左右.默认配置下频繁出现图片下载失败的情况,由于客户端代码使用了连接池,最终表现出连接资源不足.跟踪若干Storage日志偶尔有"send timeout"字样的日志.猜测 线上环境对FastDFS Stroage，Tracker配置改动较少,依FastDFS架构文件...
2018-03-20 19:56:49
7008
1
原创 Spark1.5.2日志配置&数据文件清理
本节讨论Spark Standalone Mode 模式下的日志配置及作用运行过程中的历史文件的清理，避免线上环境的不合理配置导致大量的遗留数据填满磁盘导致节点服务不可用的情况。日志文件Spark原生支持使用log4j配置文件，针对于Spark集群的log4j日志文件应该放置在SPARK_HOME下的conf目录下使用log4j.properties进行配置,该配置文件针对于Spark集群中所有的...
2018-03-15 12:57:27
1515
原创 Logstash入门实战
提问:现有一服务用于清理Elasticsearch中索引的文本数据,在这之前需要保证将记录中关联的几张图片也删除掉才能将该条记录完全删除，由于删除图片采用RPC部署的多个删除服务来完成，网络故障自然无法避免，同时对于Elasticsearch数据抓取采用Scroll API以减轻对Elasticsearch的影响，为便于观察数据删除的进度，服务中提供了守护进程用于统计每批次抓取数据的删除情况(图片...
2018-03-11 13:39:52
1986
原创 Redis笔记(二、Redis单实例到集群)
Redis 部署方案单节点 默认情况下Redis 为单示例模式,安装简单,使用也便捷. 生产环境中存在单节点问题,受限于单机的内存,不具备扩展的能力。Redis 安装1. 下载安装包 https://redis.io 下载最最新版本2. 解压缩 tar -zxf redis-3.0.1.tar.gz3. cd redis-3.0.1 ;make install;4. 修改配置文件配置守护后台运行v...
2018-03-19 18:45:54
1320
原创 Redis笔记(一、Redis 概览)
以前用Redis，总是理不清头绪,还是系统的学习一遍的好,该部分为学习笔记,后续的部分将按照一定的顺序发布,每个人学习方式不一样,这里遵循原则,先面在点,宏观上对Redis有一个了解,具体的命令可查文档详细看,下一篇整理Redis架构、Redis高可用、Redis集群特性。Redis 概览简介 开源的内存数据结构存储,数据库,缓存和消息代理.支持的数据结构包括[strins,lists,sets,...
2018-03-17 15:48:45
586
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人