爬虫
那就晚安啦
今晚月亮不营业。
展开
-
虚拟环境的使用和pyspider的安装
最近安装的包需要的版本经常不同,因此记录有关虚拟环境的设置和使用。使用的是anaconda环境 1. 使用虚拟环境 在cmd中输入:查看已有的虚拟环境列表: conda env list 输出如下: 查看所有环境: conda info -e 创建:conda create --name 环境名称 python=3.8 激活:conda activate 环境名称 退出:deactivate 删除:conda remove -n 环境名称 --all 使用镜像:指定下载镜像 pip install -原创 2020-12-11 12:05:52 · 480 阅读 · 0 评论 -
爬虫整理1
一.Chrome的开发者工具 1.1界面介绍 打开快捷键Fn+F12 Elements: 从浏览器的角度查看渲染的HTML、CSS、DOM对象 Network: 页面向服务器请求了哪些资源、资源大小以及加载资源的相关信息,HTTP的请求与返回内容。 点击name 可以出现【headers】 提取URL和最后的【user-agent】 如图所示: sources: 源代码面板 调试JAVAscript console:控制台面板:显示各种警告与错误信息,可实现shell在页面上与ja原创 2020-11-20 13:26:54 · 103 阅读 · 0 评论