自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(5)
  • 收藏
  • 关注

原创 docker安装mysql

使用docker安装mysql的命令一搜一大堆,大多都不大理想。本文档会将配置文件,数据文件,日志文件都进行映射,希望能一次性解决该安装问题。

2023-11-29 10:39:18 400

原创 借助 docker, scrapyd, scrapydweb 部署scrapy项目

借助 docker, scrapyd, scrapydweb 部署scrapy项目scrapy采集程序开发完毕,难道还命令行启动吗?既然有炫酷的scrapyd的部署服务和scrapyweb这样的可视化界面,抱着学习的态度研究一波。在docker上成功进行了部署。本机局域网的IP为192.168.xx.xx一. docker 部署 scrapyd文件准备 # 目录下的文件 # 通过docker build 制作镜像 Dockerfile # scrapyd的配置文件 scrapyd.conf

2022-05-25 16:22:34 1161

原创 xpath-helper插件安装教程

下载插件压缩包百度网盘链接: https://pan.baidu.com/s/10Vm6lAkfSUDftO-3mZ5eXwt提取码:9mxr下载完毕后,解压下载的xpath-helper.rar至xpath-helper文件夹安装xpath-helper插件打开谷歌浏览器,在导航栏中输入chrome://extensionsgoogle浏览器打开开发者模式点“加载已解压的扩展程序”,选择刚刚解压的文件夹步骤3完成后显示下图如有需要,可按如下操作将插件图片显示在工具栏重启浏览器

2021-03-25 16:51:46 711

原创 从零开始Docker部署Web服务

从零开始部署Docker部署Web服务工作中遇到了需要docker部署一个web服务,供内部调用,而自己以前没有接触过docker,自己研究学习一天搭建成功。现在自己在本地VM虚拟机上, 通过Flask做个helloworld的项目,记录下完整的操作步骤。准备工作一. 下载安装docker, 我使用的Ubuntu18.04的虚拟机# 国内daocloud一键安装命令curl -sSL https://get.daocloud.io/docker | SH二. 后期我们要拉取一些镜像,设置一个镜

2021-01-27 11:17:15 2040 3

原创 Mongo批量处理数据的思路

Mongo批量处理数据的思路mongo数据库中已经采集了2000W的数据,现在需要对每条数据进行一定的处理,如何设计处理思路?逐条处理一开始选择的定义一个状态字段 _Status, 默认等于0, 通过find_one_and_update 的方式逐一进行处理,这样处理的弊端也是很明显的:1. 逐一处理,速度较慢2. 大量的查询会占用更多的数据库资源批量处理使用mongo中的limit的方式批量获取数据,更新最后一次获取到的数据的_id,为了保证数据不被漏掉,我们对_id进行排序, 代码如下:

2021-01-15 11:26:34 675

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除