- 博客(9)
- 收藏
- 关注
RSS订阅原创 使用scrapy +selenium爬取动态渲染的页面
背景在通过scrapy框架进行某些网站数据爬取的时候，往往会碰到页面动态数据加载的情况发生，如果直接使用scrapy对其url发请求，是绝对获取不到那部分动态加载出来的数据值。但是通过观察我们会发现，通过浏览器进行url请求发送则会加载出对应的动态加载出的数据。那么如果我们想要在scrapy也获取动态加载出的数据，则必须使用selenium创建浏览器对象，然后通过该浏览器对象进行请求发送，获取动态加载的数据值. 本文分享scrapy的介绍和如何配合selenium实现动态网页的爬取.ScrapyS
2021-11-18 16:48:10
9447
原创 tornado使用aiofile实现大文件异步上传下载
tornaod使用aiofile实现文件流异步上传下载同步方式的上传下载废话不多说, 直接上代码class Download(tornado.web.RequestHandler): def get(self): try: filename = self.getParam('file_name') file_path = os.path.join(RESULT_PATH, filename) if not
2021-08-04 18:56:32
1374
1
原创 PIP 更换国内源, 起飞~
pip 国内的一些镜像阿里云 http://mirrors.aliyun.com/pypi/simple/中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/豆瓣(douban) http://pypi.douban.com/simple/清华大学 https://pypi.tuna.tsinghua.edu.cn/simple/中国科学技术大学 http://pypi.mirrors.ustc.edu.cn/simple/修改源方法：临时使用：
2021-06-18 17:27:16
390
原创 wireguard轻量 高效, 安装与使用方法详解
简介轻量级，高效vpn, 官网地址：https://www.wireguard.com相比于 OpenVPN 、 IPSec 的几十万行代码，WireGuard 只有短短的四千行安全性Curve25519 目前最高水平的秘钥交换算法。ChaCha20 对称加解密算法，比 AES 更快更高效。Poly1305 是一种 MAC (Message Authentication Code) 标准，用于验证数据的完整性和消息的真实性。BLAKE2 一种更安全的 HASH 算法（类似的有 SHA1, S
2021-06-17 18:32:45
11208
1
原创 Python 定时任务(schedule, Apscheduler, celery, python-crontab)
背景最近有个需求，需要实现一个定时或定期任务的功能，需要实现每月、每日、每时、一次性等需求，必须是轻量级不依赖其它额外组件，并能支持动态添加任务。定时任务库对比根据上面需求，从社区中找到了几个 Python 好用的任务调度库。有以下几个库：schedule：Python job scheduling for humans. 轻量级，无需配置的作业调度库python-crontab： 针对系统 Cron 操作 crontab 文件的作业调度库Apscheduler：一个高级的 Pyth
2021-06-17 17:02:35
1782
1
原创 Ubuntu更换apt源为国内源
Ubuntu包管理自带的源, 下载速度很慢, 更换为国内源备份Ubuntu自带的源mv /etc/apt/sources.list /etc/apt/sources.list.bak创建源文件vim /etc/apt/sources.list查看Ubuntu版本lsb_release -c`更换为国内源(阿里源)注意: 需要将 bionic 替换为实际的Ubuntu版本号deb http://mirrors.aliyun.com/ubuntu/ bionic m
2021-06-17 15:34:16
517
原创 Docker镜像和容器的导入与导出
docker镜像的导出和导入显示当前docker中的镜像：docker images镜像列表如下：REPOSITORY TAG IMAGE ID CREATED SIZEpointsift latest 90b2ef439b40 2 weeks ago 12.6GBubuntu 18.04 735f80812f90 4 weeks ago 83.5MB导出镜像命令：docker save -o <保存路径> <镜像名称:标签>将镜像从A机导入到B机如
2021-06-17 11:33:51
499
原创 CentOS安装docker
移除docker‘’’sudo yum remove docker docker-client docker-client-latest docker-common docker-latest docker-latest-logrotate docker-logrotate docker-selinux docker-engine-selinux docker-engine‘’’安装必要组件sudo yum install -y yum-utils device-mapper-p
2021-06-17 11:13:40
349
原创 Ubuntu18.04 安装docker-ce
Ubuntu18.04 安装docker-ce建立repository更新索引包更新 /etc/apt/sources.list 和 /etc/apt/sources.list.d 中列出的源的地址,这样才能获取到最新的软件包sudo apt-get update获取HTTPS支持sudo apt-get install apt-transport-https ca-certificates curl software-properties-common添加docker公共秘钥（
2021-06-17 10:59:20
466
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人