在 Express.js 应用程序中实现缓存策略

于 2024-08-29 15:13:58 发布
阅读量178 收藏
点赞数
文章标签： express javascript 缓存
原文链接：https://aadiiblogs.hashnode.dev/boosting-performance-implementing-caching-strategies-in-expressjs-applications
版权

在当今快节奏的数字世界中，用户希望 Web 应用程序能够快速响应。性能在用户体验中起着至关重要的作用，并且会显著影响应用程序的成功。提高性能的最有效方法之一是通过缓存。

缓存涉及将经常访问的数据存储在临时存储位置以减少检索时间。在 Express.js 应用程序环境中，实施强大的缓存策略可以缩短响应时间、减少服务器负载并提高可扩展性。

在本博客中，我们将深入探讨 Express.js 应用程序中可以使用的各种缓存技术，包括内存缓存、使用 Redis 的分布式缓存以及缓存 API 响应。我们还将探讨缓存失效策略和最佳实践，以确保您的缓存实施高效且有效。

🗂️ 理解缓存

缓存是将数据的副本存储在临时存储位置（称为缓存）的过程。这样可以减少反复从原始（通常较慢）源获取数据的需要，从而加快数据访问速度。

缓存机制有多种类型：

  • 内存缓存：将数据存储在应用程序的内存中以便快速访问。
  • 分布式缓存：使用 Redis 或 Memcached 等外部​​存储系统在多台服务器上存储数据。
  • 浏览器缓存：在用户的浏览器中存储图像、CSS 和 JavaScript 文件等静态资产。
  • HTTP 缓存：利用 HTTP 标头来控制客户端和服务器之间的缓存行为。

每种缓存方法都有不同的用途，可以组合起来以有效地优化性能。

🚀 Web 应用程序中缓存的好处

在 Web 应用程序中实现缓存有许多优点：

  1. 提高性能：缓存减少了数据检索时间，从而缩短了响应时间并带来了更流畅的用户体验。
  2. 减少服务器负载：通过提供缓存数据，您可以减少访问数据库或外部 API 的请求数量，从而节省服务器资源。
  3. 增强的可扩展性：高效的缓存使您的应用程序能够处理增加的流量而不会影响性能。
  4. 节省成本：降低服务器资源使用率可以降低运营成本。
  5. 更好的用户体验：更快的加载时间和无缝的交互让用户保持参与度和满意度。

理解和实施适当的缓存策略对于构建高性能、可扩展的应用程序至关重要。

🛠️ 设置 Express.js 应用程序

让我们首先设置一个基本的 Express.js 应用程序，我们将使用它来演示各种缓存策略。

步骤 1：初始化项目复制复制

mkdir express-caching-demo
cd express-caching-demo
npm init -y

第 2 步：安装依赖项

我们将安装 Express 和一些稍后会使用的附加包。复制复制

npm install express axios redis node-cache

  • express：Node.js 的 Web 框架。
  • axios：基于 Promise 的 HTTP 客户端，用于发出 API 请求。
  • redis：Node.js 的 Redis 客户端。
  • node-cache：简单的内存缓存模块。

步骤 3：创建服务器

创建一个index.js文件并设置一个基本的 Express 服务器。复制复制

// index.js

const express = require('express');
const app = express();

const PORT = process.env.PORT || 3000;

app.get('/', (req, res) => {
  res.send('Welcome to Express.js Caching Demo!');
});

app.listen(PORT, () => {
  console.log(`Server is running on port ${PORT}`);
});

运行服务器复制复制

node index.js

访问http://localhost:3000您的浏览器以确认服务器正在运行。

⚡ 内存缓存node-cache

内存缓存将数据存储在应用程序的内存中，提供极快的访问速度。它适用于缓存需要频繁访问的少量数据。

步骤 1：设置 node-cache

node-cache在您的文件中导入并初始化index.js。复制复制

const NodeCache = require('node-cache');
const myCache = new NodeCache({ stdTTL: 100, checkperiod: 120 });

  • stdTTL：缓存项目的标准生存时间 (TTL)，以秒为单位。
  • checkperiod：检查和删除过期密钥的间隔（秒）。

步骤 2：创建带缓存的路由

让我们创建一个从公共 API 获取数据并缓存响应的路由。复制复制

const axios = require('axios');

// Route to get user data
app.get('/user/:username', async (req, res) => {
  const { username } = req.params;
  const cacheKey = `user:${username}`;

  // Check if data exists in cache
  const cachedData = myCache.get(cacheKey);

  if (cachedData) {
    console.log('Serving from cache');
    return res.json(cachedData);
  }

  try {
    const response = await axios.get(`https://api.github.com/users/${username}`);
    const userData = response.data;

    // Save data to cache
    myCache.set(cacheKey, userData);

    console.log('Serving from API and caching data');
    res.json(userData);
  } catch (error) {
    res.status(500).json({ error: 'Something went wrong' });
  }
});

测试路线

启动服务器并向/user/{username}端点发出请求。复制复制

# First request - Fetches from API and caches data
curl http://localhost:3000/user/octocat

# Subsequent requests within TTL - Serves from cache
curl http://localhost:3000/user/octocat

内存缓存的优点

  • 速度：极快的数据检索。
  • 简单：易于实施和管理。
  • 最适合单实例应用程序：适合在单个服务器实例上运行的应用程序。

限制

  • 内存使用情况：受服务器可用内存的限制。
  • 不适合分布式系统：缓存不会在多个服务器实例之间共享。

🗄️ 使用 Redis 进行分布式缓存

对于跨多台服务器运行或需要持久缓存数据的应用程序，像Redis这样的分布式缓存系统是理想的选择。

步骤1：设置Redis

确保你的系统上已安装并运行 Redis。你可以使用包管理器安装 Redis，也可以使用 Docker 运行它。

使用 Docker复制复制

docker run -p 6379:6379 --name redis-cache -d redis

步骤 2：在 Express 中连接 Redis

在您的文件中导入并配置 Redis 客户端index.js。复制复制

const redis = require('redis');

// Create Redis client
const redisClient = redis.createClient();

redisClient.on('error', (err) => {
  console.error('Redis error:', err);
});

redisClient.connect();

步骤3：实现Redis缓存

修改/user/:username路由使用Redis进行缓存。复制复制

// Route to get user data with Redis caching
app.get('/redis/user/:username', async (req, res) => {
  const { username } = req.params;
  const cacheKey = `user:${username}`;

  try {
    // Check cache
    const cachedData = await redisClient.get(cacheKey);

    if (cachedData) {
      console.log('Serving from Redis cache');
      return res.json(JSON.parse(cachedData));
    }

    // Fetch from API
    const response = await axios.get(`https://api.github.com/users/${username}`);
    const userData = response.data;

    // Save to Redis
    await redisClient.setEx(cacheKey, 3600, JSON.stringify(userData)); // Cache for 1 hour

    console.log('Serving from API and caching in Redis');
    res.json(userData);
  } catch (error) {
    console.error('Error fetching user data:', error);
    res.status(500).json({ error: 'Internal Server Error' });
  }
});

测试 Redis 缓存路由复制复制

# First request - Fetches from API and caches data in Redis
curl http://localhost:3000/redis/user/octocat

# Subsequent requests within TTL - Serves from Redis cache
curl http://localhost:3000/redis/user/octocat

Redis 缓存的优点

  • 持久性：即使应用程序重新启动，数据仍然可用。
  • 可扩展性：适用于分布式系统；多个应用程序实例可以共享同一个缓存。
  • 高级功能：支持复杂的数据结构和操作。

限制

  • 设置复杂性：需要额外的基础设施和设置。
  • 网络延迟：由于网络开销，比内存缓存稍慢。

📦缓存 API 响应

缓存 API 响应可以显著减少延迟并提高性能，特别是对于不频繁变化的数据。

示例：缓存第三方 API 响应

冷库多少钱 www.cqzlsb.com

让我们创建一个从天气 API 获取并缓存数据的路线。

步骤 1：创建路线复制复制

// Route to get weather data
app.get('/weather/:city', async (req, res) => {
  const { city } = req.params;
  const cacheKey = `weather:${city}`;

  try {
    // Check Redis cache
    const cachedData = await redisClient.get(cacheKey);

    if (cachedData) {
      console.log('Serving weather data from cache');
      return res.json(JSON.parse(cachedData));
    }

    // Fetch from Weather API
    const response = await axios.get(`https://api.openweathermap.org/data/2.5/weather`, {
      params: {
        q: city,
        appid: 'YOUR_OPENWEATHERMAP_API_KEY',
        units: 'metric',
      },
    });

    const weatherData = response.data;

    // Save to Redis with a shorter TTL
    await redisClient.setEx(cacheKey, 600, JSON.stringify(weatherData)); // Cache for 10 minutes

    console.log('Serving weather data from API and caching it');
    res.json(weatherData);
  } catch (error) {
    console.error('Error fetching weather data:', error);
    res.status(500).json({ error: 'Internal Server Error' });
  }
});

第二步：测试天气路线复制复制

curl http://localhost:3000/weather/London

API 响应缓存的好处

  • 减少 API 调用：降低对外部 API 发出的请求数量，这些请求可能有速率限制或相关成本。
  • 更快的响应：从缓存中快速提供数据，改善用户体验。
  • 可靠性：即使外部 API 暂时关闭，也能提供数据可用性。

🔄 实施缓存失效策略

缓存失效可确保缓存中的陈旧数据被删除或更新。适当的失效策略对于维护数据一致性至关重要。

常见的无效化策略

  1. 基于时间的过期 (TTL)：数据在指定时间后过期。
  2. 手动失效：当基础数据发生变化时，明确删除或更新缓存条目。
  3. 事件驱动失效：根据特定事件或触发器自动使缓存失效。

示例：手动缓存失效

假设我们有一个更新用户数据的端点；我们应该使缓存的数据无效以确保一致性。复制复制

// Route to update user data
app.put('/user/:username', async (req, res) => {
  const { username } = req.params;
  const newUserData = req.body;
  const cacheKey = `user:${username}`;

  try {
    // Update data in the database (pseudo-code)
    // await db.updateUser(username, newUserData);

    // Invalidate cache
    await redisClient.del(cacheKey);

    res.json({ message: 'User data updated and cache invalidated' });
  } catch (error) {
    console.error('Error updating user data:', error);
    res.status(500).json({ error: 'Internal Server Error' });
  }
});

缓存失效的最佳实践

  • 设置适当的 TTL：数据新鲜度和性能之间的平衡。
  • 数据改变时无效：确保当底层数据改变时更新或清除缓存。
  • 使用缓存版本控制：当数据结构改变时更改缓存键。
  • 监控缓存使用情况：跟踪缓存命中和未命中以优化失效策略。

🧰 基于中间件的缓存

您可以将缓存作为中间件来实现，以透明地处理跨各种路由​​的缓存逻辑。

示例：创建缓存中间件复制复制

const cacheMiddleware = (duration) => async (req, res, next) => {
  const key = `__express__${req.originalUrl}` || req.url;

  try {
    const cachedData = await redisClient.get(key);

    if (cachedData) {
      console.log(`Serving ${req.originalUrl} from cache`);
      res.send(JSON.parse(cachedData));
      return;
    } else {
      res.originalSend = res.send;
      res.send = async (body) => {
        await redisClient.setEx(key, duration, JSON.stringify(body));
        res.originalSend(body);
      };
      next();
    }
  } catch (error) {
    console.error('Cache middleware error:', error);
    next();
  }
};

使用中间件复制复制

app.get('/posts', cacheMiddleware(300), async (req, res) => {
  // Simulate fetching posts
  const posts = [{ id: 1, title: 'Post One' }, { id: 2, title: 'Post Two' }];
  res.json(posts);
});

中间件缓存的好处

  • 可重用性：轻松地在多条路线上应用缓存逻辑。
  • 关注点分离：将缓存逻辑与业务逻辑分开。
  • 灵活性：轻松启用或禁用特定路线的缓存。

🎯 有效缓存的最佳实践

为了充分利用 Express.js 应用程序中的缓存，请考虑以下最佳实践：

  1. 识别可缓存数据：并非所有数据都应缓存。缓存经常访问且不经常更改的数据。
  2. 设置适当的 TTL：根据数据变化的频率和需要的新鲜度选择 TTL。
  3. 监控性能：使用监控工具跟踪缓存性能、命中率和延迟。
  4. 妥善处理错误：如果缓存系统出现故障，实施回退机制。
  5. 使用缓存层次结构：组合多个缓存层（例如内存和 Redis）以获得最佳性能。
  6. 保护您的缓存：保护缓存中的敏感数据并保护对缓存服务器的安全访问。
  7. 彻底测试：确保您的缓存实现在各种场景和边缘情况下都能正常工作。

🎉 结论

缓存是一种强大的技术，可以增强 Express.js 应用程序的性能、可扩展性和可靠性。通过实施适当的缓存策略（例如使用 Redis 的内存缓存node-cache或分布式缓存），您可以显著减少响应时间和服务器负载。

了解何时以及如何缓存数据、正确使陈旧的缓存失效以及遵循最佳实践对于有效缓存至关重要。将缓存集成为中间件可进一步简化应用程序的架构并促进代码的简洁、可维护。

开始在您的项目中试验这些缓存技术，并亲眼观察性能改进。祝您编码愉快！🚀

分发吧
关注
express 测试浏览器缓存
.
06-24 1305
// 测试Server端 express // Cache-Control 设置缓存 const express = require('express'); const fs = require('fs'); const path = require('path'); app.get('/*.css', function(req, res) { /** * @title 设...
express-tile-cache:Express模块​​为tms服务构建切片缓存
05-03
快速平铺缓存 Express-tile-cache是​​用于服务的切片缓存器。 它将注册一个标准的1.0.0 TMS端点，并将从其他服务器获取切片，对其进行缓存，然后从缓存中提供这些切片。 默认情况下，它将缓存切片到文件系统并TileStorage请求的内存索引/缓存，但是内部Cache索引和TileStorage都可以轻松扩展以满足您的需求。 当前有2个扩展， 和 。 内置的默认Cache和TileStorage用于调试和测试目的，而不用于生产。 概述 express-tile-cache返回带有两个TMS规范标准路由的express.Router（），这些标准路由已调整为可与。 var tilecache = require("express-tile-cache"); 默认路线 Express-tile-cache实现了两条默认路由： "/tms/1.0.0/:layer/
express-cache-server:缓存来自第三方的数据，避免请求数据过度(免费数据请求次数有限)，有利于前端页面开发
04-12
:warning: 星座运势更新判断函数有误，请自行修改（关于时区问题） 正确的食用方式 安装依赖包：npm install 配置 .env 文件，内容参考 .env.example 请正确配置 APP_KEY ！！！！！！！！！！！ 请正确配置 APP_KEY ！！！！！！！！！！！ 请正确配置 APP_KEY ！！！！！！！！！！！ 启动服务器(开发模式)：npm run dev 可通过 Postman 等工具测试接口 这个服务器主要用来缓存来自第三方的数据。为什么要缓存？因为不是会员，每天请求数据的次数有限，当我们修改前端代码时，非常容易造成请求浪费。所以使用服务器缓存一下数据，有利于前端页面的开发 服务器将数据存放在 Map 对象中，也就是说，重启服务器将会导致数据丢失，会重新请求数据并缓存
express- 缓存的基本原理(学习笔记)
瓜皮伦的博客
10-05 1182
缓存的基本原理 在一个C/S结构中，最基本的缓存分为两种： 客户端缓存 服务器缓存 本文仅讨论客户端缓存 所谓客户端缓存，顾名思义，是将某一次的响应结果保存在客户端（比如浏览器）中，而后续的请求仅需要从缓存中读取即可，极大的降低了服务器的处理压力。 客户端缓存的原理如下： 这只是一个简易的原理图，实际情况可能有差异 这里就设计到一个缓存策略的问题，这些问题包括： 哪些资源需要加入到缓存，哪些不需要？ 缓存的时间是多久呢？ 如果服务器的资源有改动，客户端如何更新缓存呢？ 如果缓存过期了，可是服务器
Simple server side cache for Express with Node.js——Express 实现简单的服务器端缓存【翻译】
yinkaihui的博客
08-15 3598
原文地址在这里： http://goenning.net/2016/02/10/simple-server-side-cache-for-expressjs/第一次翻译，不是很好，但大概意思应该还可以。有错误，请多多指正。    express是我目前为止见过扩展性最好的web框架。它的中间件结构使它可以轻松地以标准化方式添加额外的功能。     本次主题，我们将会讨论一个很小很简单，但功能非常强
Node.js-收集最棒的node.js模块这些模块可扩展node.js应用程序的功能
08-10
Node.js作为一个开源、跨平台的JavaScript运行环境，它在服务器端执行JavaScript代码，极大地拓宽了JavaScript的应用领域。本文将深入探讨一些优秀的Node.js模块，这些模块可以帮助开发者扩展其应用程序的功能，提升...
node.js中express.static 托管静态文件
02-15
在Node.js环境中，Express框架是开发Web应用的热门选择，其中`express.static`中间件是用于托管静态文件的关键功能。这个中间件允许我们方便地提供HTML、CSS、JavaScript、图片等资源，使得客户端可以直接访问这些...
Node.js-video-stream.js用于express.js的视频流中间件
08-09
Express.js则是Node.js中最流行的Web应用程序框架，它简化了构建RESTful API的过程。在这个场景下，"video-stream.js"是一个专门为Express.js设计的视频流中间件，它旨在帮助开发者处理和传输视频数据，从而提供流畅...
FlightScheduler:示例 node.js 应用程序
06-21
通过Express框架优化路由处理，使用缓存策略减少数据库查询，以及合理使用Promise或async/await处理异步操作，提高系统性能。 FlightScheduler作为一个示例应用，展示了Node.js在构建高效、实时的后端服务方面的...
dogmatic:高度自以为是的基于 io.js、Node 和 Express 的 Web 应用程序模块
06-09
Dogmatic 可能提供开发工具和部署指南，包括自动化测试、代码覆盖率分析、持续集成以及如何在生产环境中部署应用程序。 综上所述，Dogmatic 是一个专注于 Express 的高度自以为是的模块集合，它利用 JavaScript、...
cache-control-midd:ExpressConnect 中间件设置响应头缓存选项
06-13
缓存控制中间 Express/Connect 中间件设置响应头缓存选项 安装 npm install cache-control-midd --save 用法 var express = require ( 'express' ) ; var cacheControl = require ( 'cache-control-midd' ) ; var app = express ( ) ; // Sets `Cache-Control` header to `public, max-age=600` and `Expires` too // 'minute' -> 10 minutes -> 600 seconds app . get ( '/' , cacheControl ( 'minute' ) , function ( req , res ) { res . send ( 'o
express-cache-headers:用于设置响应缓存头的Express中间件
05-10
快速缓存头 用于设置响应缓存头的Express中间件 用法 var express = require('express'); var app = express(); var cache = require('express-cache-headers'); app.use(cache(10)); app.get('/hi', cache({nocache:true}), function(req, res){ res.send('Hi'); }); app.get('/hey', cache({ttl:300, private:true}), function(req, res){ res.send('Hey'); }); 选项 ttl - seconds - defaults to 0 nocache - true/false - default to false p
express给html设置缓存,webpack + express 实现文件精确缓存
weixin_36050894的博客
06-19 498
由于最近开发的个人博客(Vue + node)在使用过程中，发现网络加载有点慢，所以打算对它进行一次优化。本次优化的目标如下：index.html 设置成 no-cache，这样每次请求的时候都会比对一下 index.html 文件有没变化，如果没变化就使用缓存，有变化就使用新的 index.html 文件。其他所有文件一律使用长缓存，例如设置成缓存一年 maxAge: 1000 * 60 * 6...
nodejs设置强制缓存，协商缓存
qq_35496811的博客
05-25 558
基于资源的最后修改时间进行缓存协商。基于资源的内容哈希进行缓存协商。强制缓存指的是服务器在响应头中设置缓存控制策略，告知浏览器在一定时间内不需要向服务器请求，直接使用本地缓存。
强制缓存和协商缓存
zhoukaibai的博客
05-18 623
当浏览器请求一个资源时，该资源可以缓存到客户端（浏览器）中，以便以后重复使用。浏览器缓存是一种可以显著提高Web应用程序性能的技术，但它可能会导致某些问题，例如在更新资源时无法及时获取最新版本。在这种情况下，我们可以使用浏览器缓存策略来强制或协商缓存资源。
三、HTTP缓存动如何使用（Expires、 cache-control、Etag、last-modified）----哪些文件需要强缓存，哪些文件需要协商缓存
qq_43631129的博客
10-08 274
三、HTTP缓存动如何使用（Expires、 cache-control、Etag、last-modified）----哪些文件需要强缓存，哪些文件需要协商缓存
第14章 Express性能优化
一名全栈开发工程师
07-28 1114
性能优化是确保 Express 应用在高并发环境下能够高效运行的重要环节。优化得当可以显著提升应用的响应速度和稳定性。本章将详细介绍 Express 应用的各种性能优化方法和技巧。
推荐项目：connect-memcached —— 高效的Express会话缓存方案
最新发布
gitblog_00021的博客
08-27 808
推荐项目：connect-memcached —— 高效的Express会话缓存方案 connect-memcachedMemcached session store for Connect项目地址:https://gitcode.com/gh_mirrors/co/connect-memcached 在追求高性能和高可用性的Web应用开发中，缓存技术扮演着至关重要的角色。今天，我们要推荐的是一...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值