![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
Pinkman2k
这个作者很懒,什么都没留下…
展开
-
180-爬虫3-自动操作浏览器工具selenium模块的使用
今日内容 1 项目演示 -mkvirtualenv -p python3 gist -git clone xxx -pycharm打开 -确保python解释器3.6(如果是3.6以上,百度改源码) -修改配置文件连接数据库使用sqlite -创建一个超级用户,把别人密码全改成自己 -查看项目流程及代码 2 bs4模块,html解析,(解析json,使用json模块) -在浏览器中看到的数据,会比使用requests模块拿回来的数据原创 2021-01-21 15:52:16 · 235 阅读 · 0 评论 -
179-爬虫02-bs4模块介绍
昨日回顾 1 爬虫基本原理 -爬虫协议:规定了哪些允许爬,哪些不允许(咱们一般没有关注) -模拟发送请求(http请求)----(反扒)----》获得数据----》解析清洗数据---->入库 2 爬取视频网站(re),request---get请求 -请求头中: -浏览器类型 -refer -cookie -视频地址替换 3 自动登录某网站 -requests发送post请求,data,json -拿到cookie,以后再发请求,携带c原创 2021-01-21 15:51:04 · 208 阅读 · 0 评论 -
178-requests模块的基本使用
昨日回顾 1 上线(私有云,公有云) 2 虚拟化:kvm,vmware,openstack,飞天(python写的,管理虚拟机),docker,k8s 3 mysql,redis(rabbimq,mongodb,fastdfs):docekr----》拉起来就ok 4 python环境(3.6)----》uwsgi(真实环境)----》虚拟环境 5 uwsgi是一个符合wsgi协议的web服务器----》负责接收http请求--》转成字典,响应对象 6 前端项目部署---》build---》css,html原创 2021-01-21 15:49:19 · 401 阅读 · 0 评论