- 博客(5)
- 收藏
- 关注
RSS订阅原创 docker swarm集群部署爬虫
通过docker swarm 打造爬虫分布式集群牛刀小试：部署服务到3台阿里云服务器1、docker下载2、Dockerfile构建镜像（python3.7、依赖包、scrapyd）3、登录DockerHub上传镜像（没有做加速或者使用其他网站）4、创建一个服务docker service create --replicas 1 --name scrapyd whale2falling/...
2019-06-21 10:54:32
320
原创 某土地网站cookie和字体反爬虫
网站分析流程：打开浏览器无痕窗口访问网站首页并抓包：1、第一次请求返回了一段JS代码且Set-Cookie: yunsuo_session_verify=bce172d3d4b76e70d08b342b4c675618;<script type="text/javascript">function stringToHex(str){ var val=""; ...
2019-05-30 01:44:42
1698
1
原创 记录爬取含有.ttf自定义字体的爬虫
记录爬取含有.ttf自定义字体的爬虫示例网站：中国供应商网完整代码：# 总体思想:保存一份xml文件为模板，找出name和字体之间的映射关系从而找出数字和字体之间的映射关系# 寻找@font-face字段，这是一种css3使用自定义字体的方式，字体文件加载方式为data-url# 使用base64.b64decode将文件解码保存为.ttf文件# 使用第一个网站将.ttf文件转换为s...
2019-05-09 14:45:12
1079
转载 docker 的原理及在ubuntu、Mac上的安装
docker 的原理及在ubuntu、Mac上的安装节本步骤一、docker的基本原理及命令二、Ubuntu上docker的安装配合阿里云加速器 加速器地址docker安装docker进程使用Unix Socket而不是TCP端口。而默认情况下，Unix socket属于root用户，需要root权限才能访问。docker守护进程启动的时候，会默认赋予名字为docker的用户组读写Uni...
2019-03-12 09:42:06
564
非对称加密、CA证书、Charles的理解总结
最近在爬取pornhub视频的时候遇到了一个棘手的问题。就是自己之前从来没有爬过https网站。借此机会好好了解了一下HTTPS原理、SSL、对称加密、非对称加密、证书等原理，从而更进一步了解了Charles配置原理。首先什么是非对称加密：一个公钥（public key）对应一个私钥（private key）公钥是公开的、私钥只有自己知道如果用其中一个秘钥加密则只有对应的那个秘钥才能解密...
2019-01-15 01:37:25
932
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人