- 博客(4)
- 收藏
- 关注
原创 Browsermobproxy + selenium 爬虫
Browsermobproxy + selenium 爬虫配置browsermobproxy安装python包下载browsermobproxy代理服务器文件使用方法selenium和browsermobproxy结合使用配置browsermobproxy由于selenium有一定的缺陷,所以可以使用了一个能抓取动态数据的代理服务器,https://github.com/lightbody/browsermob-proxy, 但已经四年没有更新了,这里用的是python版本,应该也是很久没有更新了安装
2021-03-30 16:31:42
645
4
原创 Celery简单使用
Celery简单使用1:配置文件2: 任务文件3:定时文件4: 使用流程1:worker 启动:2:beat 启动1:配置文件文件名:config.pyimport celerybroker = 'redis://localhost:6379/11'backend = 'redis://localhost:6379/12'cel = celery.Celery('tasks',broker=broker, backend=backend)cel.conf.timezone = 'Asia/Sh
2020-09-29 11:11:47
211
1
原创 nginx配置
局域网中有一台机器有公网,配置nginx让局域网内所有机器里的资源均可以通过公网访问在有公网ip的机器上 配置nginx如下:server {listen 80 default_server;listen [::]:80 default_server; # 这里的test101_frontend为局域网中无公网ip的机器 #本质就是把访问公网ip的地址中含有test101_frontend时会去访问无公网ip的机器 location ^~ /test101_frontend/ { if
2020-05-11 15:24:23
222
原创 Ubuntu离线环境中实现pip和apt安装
离线环境中实现pip和apt安装pip安装apt安装pip安装1.新建site-packages目录,进入到site-packages目录下;pip list 显示当前python环境的所有安装包2.在site-packages目录下执行pip freeze >requirements.txt;3.查看requirements.txt,可以看到当前机器的python所有依赖包已生成...
2019-12-13 14:13:20
1034
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人