Memcached安装与配置实战：libevent、magent、memcached

杜连涛

于 2024-08-25 09:27:40 发布

阅读量660

点赞数 26

本文链接：https://blog.csdn.net/weixin_28713083/article/details/141574645

版权

本文还有配套的精品资源，点击获取

简介：Memcached是一款高性能内存缓存系统，可提升Web应用性能。本教程将详细讲解如何在Linux系统中安装和配置Memcached，以及相关的libevent和magent组件。通过实践操作，你将掌握libevent事件处理、magent监控管理和Memcached缓存配置的实战技能，为在Web应用中应用Memcached打下坚实基础。

1. Memcached 简介

Memcached 是一款高性能的分布式内存对象缓存系统，它可以将频繁访问的数据存储在内存中，从而减少对数据库的访问次数，提高应用程序的性能。Memcached 广泛应用于 Web 应用、数据库缓存、会话管理等场景中。

Memcached 采用键值对存储方式，将数据存储在内存中，并通过键来访问数据。它支持多种数据类型，包括字符串、数字、二进制数据等。Memcached 的数据存储时间有限，当数据过期后，它将自动从内存中删除。

2. Memcached 依赖库安装与配置

Memcached 依赖于 libevent 和 magent 两个库，在安装 Memcached 之前，需要先安装和配置这两个依赖库。

2.1 libevent 安装与配置

libevent 是一个跨平台的事件库，用于处理网络事件和定时器。

2.1.1 libevent 下载与编译

下载 libevent 源码包：

wget https://github.com/libevent/libevent/releases/download/release-2.1.12-stable/libevent-2.1.12-stable.tar.gz

解压源码包：

tar -zxvf libevent-2.1.12-stable.tar.gz

cd libevent-2.1.12-stable

配置 libevent：

./configure --prefix=/usr/local

编译 libevent：

make

安装 libevent：

make install

2.1.2 libevent 安装与配置

验证 libevent 是否安装成功：

libevent-config --version

设置 libevent 环境变量：

export LD_LIBRARY_PATH=/usr/local/lib

2.2 magent 安装与配置

magent 是一个 Memcached 的管理工具，用于监控和管理 Memcached 服务器。

2.2.1 magent 下载与编译

下载 magent 源码包：

wget https://github.com/memcached/memcached/releases/download/1.6.18/memcached-1.6.18.tar.gz

解压源码包：

tar -zxvf memcached-1.6.18.tar.gz

cd memcached-1.6.18

配置 magent：

./configure --prefix=/usr/local --enable-memagent

编译 magent：

make

安装 magent：

make install

2.2.2 magent 安装与配置

验证 magent 是否安装成功：

magent --version

设置 magent 环境变量：

export PATH=$PATH:/usr/local/bin

3. Memcached 安装与配置

3.1 Memcached 下载与编译

下载 Memcached

从 Memcached 官方网站下载最新版本的 Memcached 源代码包：

wget https://memcached.org/files/memcached-1.5.22.tar.gz

解压源代码包

tar -zxvf memcached-1.5.22.tar.gz

编译 Memcached

进入解压后的源代码目录，执行以下命令编译 Memcached：

cd memcached-1.5.22
./configure
make

编译参数说明

--enable-64bit ：启用 64 位支持
--disable-slabs ：禁用 slabs 分配器
--enable-debug ：启用调试模式
--enable-profiling ：启用性能分析

3.2 Memcached 安装与配置

安装 Memcached

编译完成后，执行以下命令安装 Memcached：

sudo make install

配置 Memcached

Memcached 的配置文件位于 /etc/memcached.conf 。以下是配置文件的示例：

port 11211
listen 127.0.0.1
maxconn 1024
memory 64
max_object_size 1048576

参数说明

port ：Memcached 监听的端口
listen ：Memcached 监听的 IP 地址
maxconn ：最大连接数
memory ：分配给 Memcached 的内存大小（单位：MB）
max_object_size ：单个对象的最大大小（单位：字节）

3.3 Memcached 配置文件详解

Memcached 的配置文件中包含了大量的配置选项，以下是一些常用的选项：

| 选项 | 默认值 | 描述 | |---|---|---| | port | 11211 | Memcached 监听的端口 | | listen | 127.0.0.1 | Memcached 监听的 IP 地址 | | maxconn | 1024 | 最大连接数 | | memory | 64 | 分配给 Memcached 的内存大小（单位：MB） | | max_object_size | 1048576 | 单个对象的最大大小（单位：字节） | | hash | MD5 | 哈希算法 | | hash_power_level | 16 | 哈希表大小 | | slab_reassign | true | 是否允许 slab 重新分配 | | slab_automove | true | 是否允许 slab 自动移动 | | lru_crawler | true | 是否启用 LRU 爬虫 | | lru_crawler_sleep | 100 | LRU 爬虫休眠时间（单位：毫秒） | | lru_crawler_tocrawl | 256 | LRU 爬虫每次爬取的对象数量 | | lru_max_perc | 100 | LRU 最大百分比 | | lru_min_perc | 25 | LRU 最小百分比 | | oldest_live | 0 | 最旧活动对象的最大年龄（单位：秒） | | oldest_live_perc | 10 | 最旧活动对象的最大百分比 | | evict_to_free | 1 | 当内存不足时，需要释放的内存量（单位：MB） | | evict_to_reclaim | 1 | 当内存不足时，需要回收的内存量（单位：MB） | | log_level | INFO | 日志级别 | | log_file | /var/log/memcached.log | 日志文件路径 |

4. Memcached 服务管理

4.1 Memcached 服务启动与停止

Memcached 服务的启动和停止可以通过命令行工具进行操作。

启动 Memcached 服务

memcached -d -u memcached -p 11211

-d ：以守护进程方式启动 Memcached 服务。
-u memcached ：指定 Memcached 服务运行的用户。
-p 11211 ：指定 Memcached 服务监听的端口号。

停止 Memcached 服务

killall memcached

4.2 Memcached 服务状态监控

Memcached 服务的状态可以通过以下命令进行监控：

systemctl status memcached

输出结果示例：

● memcached.service - Memcached daemon
   Loaded: loaded (/usr/lib/systemd/system/memcached.service; enabled; vendor preset: enabled)
   Active: active (running) since Wed 2023-03-08 13:34:16 UTC; 1h 24min ago
 Main PID: 25056 (memcached)
   CGroup: /system.slice/memcached.service
           └─25056 /usr/bin/memcached -d -u memcached -p 11211

Mar 08 13:34:16 server01 systemd[1]: Starting Memcached daemon...
Mar 08 13:34:16 server01 memcached[25056]: NOTICE: Using default port 11211.
Mar 08 13:34:16 server01 systemd[1]: Started Memcached daemon.

输出结果中包含了 Memcached 服务的状态（ Active: active ）、进程 ID（ Main PID: 25056 ）和启动时间（ Mar 08 13:34:16 UTC ）。

4.3 Memcached 服务日志查看

Memcached 服务的日志文件默认位于 /var/log/memcached.log 。可以通过以下命令查看日志：

tail -f /var/log/memcached.log

日志文件中包含了 Memcached 服务运行过程中的各种信息，包括启动、停止、错误和警告消息。

5. magent 监控界面配置

5.1 magent 监控界面安装与配置

5.1.1 magent 安装

magent 是一个用于监控 Memcached 服务器的 Web 界面。它可以提供 Memcached 服务器的实时状态信息，包括内存使用情况、连接数、命中率等。

要安装 magent，需要先安装 Memcached 和 libevent。

# 安装 libevent
wget https://github.com/libevent/libevent/releases/download/release-2.1.12-stable/libevent-2.1.12-stable.tar.gz
tar -xzvf libevent-2.1.12-stable.tar.gz
cd libevent-2.1.12-stable
./configure
make
make install

# 安装 magent
wget https://github.com/twitter/magent/releases/download/v1.1.1/magent-1.1.1.tar.gz
tar -xzvf magent-1.1.1.tar.gz
cd magent-1.1.1
./configure --with-libevent=/usr/local/lib
make
make install

5.1.2 magent 配置

magent 的配置文件位于 /etc/magent.conf 。

# magent 监听的端口
listen_port = 8080

# Memcached 服务器的地址和端口
memcached_servers = 127.0.0.1:11211

# 刷新数据的间隔时间（秒）
refresh_interval = 10

5.2 magent 监控界面使用指南

5.2.1 访问监控界面

安装并配置好 magent 后，可以通过浏览器访问监控界面。

http://127.0.0.1:8080

5.2.2 监控界面功能

magent 监控界面提供了以下功能：

实时状态信息： 显示 Memcached 服务器的内存使用情况、连接数、命中率等实时状态信息。
历史数据图表： 显示 Memcached 服务器的内存使用情况、连接数、命中率等历史数据图表。
配置信息： 显示 Memcached 服务器的配置信息。
操作日志： 显示 Memcached 服务器的操作日志。

5.3 magent 监控界面常见问题解答

5.3.1 无法访问监控界面

如果无法访问监控界面，请检查以下原因：

magent 服务是否已启动。
magent 监听的端口是否正确。
防火墙是否阻止了对 magent 端口的访问。

5.3.2 监控数据不准确

如果监控数据不准确，请检查以下原因：

Memcached 服务器的配置是否正确。
magent 的配置是否正确。
magent 是否与 Memcached 服务器建立了连接。

6. Memcached 性能优化

6.1 Memcached 性能优化原理

Memcached 的性能优化主要从以下几个方面入手：

减少网络延迟： 优化网络配置，如调整 TCP 窗口大小、启用 Nagle 算法等，以减少网络传输延迟。
优化内存管理： 合理分配内存，避免内存碎片，并使用高效的内存分配算法，如 jemalloc 等。
优化数据结构： 选择合适的哈希算法和数据结构，以减少哈希冲突和数据查找时间。
并行处理： 利用多核 CPU 的优势，使用多线程或多进程并发处理请求，提高吞吐量。
缓存命中率优化： 通过合理设置缓存大小、使用 LRU 算法等策略，提高缓存命中率，减少数据库访问次数。

6.2 Memcached 性能优化实践

1. 调整 TCP 窗口大小

TCP 窗口大小决定了每次发送或接收数据包的大小。较大的窗口大小可以减少网络延迟，但也会增加内存消耗。根据实际网络环境调整窗口大小，可以优化性能。

代码块：

# 查看当前窗口大小
netstat -an | grep ESTABLISHED | awk '{print $7}' | cut -d: -f2

# 设置窗口大小为 64KB
sysctl -w net.ipv4.tcp_window_size=65536

2. 启用 Nagle 算法

Nagle 算法可以减少小数据包的发送次数，提高网络利用率。在低带宽网络环境下，启用 Nagle 算法可以优化性能。

代码块：

# 查看当前 Nagle 算法状态
sysctl -n net.ipv4.tcp_timestamps

# 启用 Nagle 算法
sysctl -w net.ipv4.tcp_timestamps=1

3. 使用高效的内存分配算法

jemalloc 是一个高性能的内存分配器，可以有效减少内存碎片，提高内存利用率。

代码块：

# 安装 jemalloc
sudo apt-get install libjemalloc-dev

# 编译 Memcached 时指定 jemalloc
./configure --with-jemalloc

4. 优化哈希算法

Memcached 使用哈希算法将数据映射到不同的服务器上。选择合适的哈希算法可以减少哈希冲突，提高数据查找效率。

代码块：

// Memcached 中的哈希算法
uint32_t hash(const char *key, size_t key_length) {
    uint32_t h = 0;
    for (size_t i = 0; i < key_length; i++) {
        h = (h << 5) - h + key[i];
    }
    return h;
}

5. 使用 LRU 算法

LRU（最近最少使用）算法可以淘汰最长时间未使用的缓存数据，提高缓存命中率。

代码块：

// Memcached 中的 LRU 算法
struct lru_entry {
    uint32_t key;
    void *value;
    time_t last_used;
};

struct lru_cache {
    struct lru_entry *entries;
    size_t size;
    size_t capacity;
};

void lru_cache_insert(struct lru_cache *cache, uint32_t key, void *value) {
    // ...
}

void lru_cache_get(struct lru_cache *cache, uint32_t key) {
    // ...
}