- 博客(6)
- 收藏
- 关注
RSS订阅原创 scrapy-redis项目打包docker镜像+部署kubernetes
项目根目录新建一个 requirement 文件，如下所示：项目根目录新建一个Dockerfile注意：文件不加任何后缀名！将其内容改为：修改项目环境变量首先确保重要redis变量，url地址等使用环境变量获取,修改下settings.py，有助于灵活修改项目构建镜像接下来，进入到项目更目录镜像构建，命令如下构建过程根据Dockerfile步骤来，没有出现报错就说明构建成功查看构建好的镜像执行：如果需要删除镜像的话执行：构建好，在执行之前新建一个 .env 文件，其内容如下：
2023-08-20 15:17:27
239
1
原创 Scrapy分布式爬虫数据统计监控方案（Helm安装Prometheus+Grafana）
scrapy有一个组件Stats Callection，是一种scrapy的Extension扩展组件。如果分布式爬取将会各自统计爬取数据，如何实现分布式统计信息共享呢？参考scrapy_redis设置只需要在scrapy爬虫项目里面的settings.py中添加：STATS_CLASS=“scrapy_redis.stats.RedisStatsCollector”。
2023-08-17 16:58:19
320
1
原创 ubuntu 安装配置启动redis和可视化工具
1、进入Redis Desktop Manager在git的发行版（免费window桌面版）页面 https://github.com/uglide/RedisDesktopManager/releases/tag/0.9.3。安装完成后，进入/usr/local/bin 使用"ll"命令得到如下结果即是安装成功。利用redis-cli来执行 shutdown 命令，即可停止 Redis 服务，Redis服务器默认是不需要密码的，假设设置密码为pass12345。Redis的默认端口，默认为6379。
2023-07-31 19:28:32
499
1
原创 Ubuntu22.04安装k8s 1.27.+Doshboard可视化web部署
温馨提示请仔细阅读：❤️❤️❤️❤️❤️❤️❤️❤️此教程为k8s当前官方最新版1.27.1集群搭建教程(一切基于k8s官方文档进行搭建，若遇到教程以外问题请仔细参考官方文档，全网资料少，此教程亲测可用！官方文档链接：====> 《是一个可移植、可扩展的开源平台，用于管理容器化的工作负载和服务，可促进声明式配置和自动化。Kubernetes 拥有一个庞大且快速增长的生态，其服务、支持和工具的使用范围相当广泛。这个名字源于希腊语，意为“舵手”或“飞行员”。
2023-07-20 15:26:44
908
原创 Windows环境下NVM安装后Node/NPM无法识别问题。
进入安装的文件夹查看之前新建的nodejs文件被清除了，我想应该是安装nvm时候会清理了一下文件夹，反而变成了一个快捷键。这里要换储存路径需要自己加一个nodejs文件夹，安装完成后会被删除了，但是下载node使用会生成一个快捷键。看了很多说是目前最新版本不能自动下载Node.js，并且mode_modules是空的！只是安装的时候自选node保存路劲被覆盖了。（我是将安装路劲和node路径放一起）管理员身份运行输入相应命令符下载node就可以使用了。安装版的环境变量自动生成上面两个地址的，不用修改。
2023-05-08 17:02:25
1182
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人