![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫进阶
bobbykey
这个作者很懒,什么都没留下…
展开
-
爬虫相关技术
1、re 正则表达式2、bs4 网页解析技术3、相关前端技术 js ajax html原创 2020-05-18 00:14:17 · 330 阅读 · 0 评论 -
爬虫相关
1、爬虫作用:采集网络数据,自动化测试(采用编写测试案例),网络攻击,2、相关知识储备 1)网络协议 2)前端基础 3)正则表达式 4)数据存储(mysql、分布式) 5)并发处理,多线程处理 6)图像处理(登陆验证)3、爬虫的监控和部署4、对js、ajax进行原理的了解,才能更好地对动态网页数据进行解析ajax是一种无须重新加载整个网页的情况下,能够部分更新网页的技术ajax =异步 js+xml...原创 2020-05-17 20:01:36 · 176 阅读 · 0 评论 -
Python 报错中心
1、输入:pip install pdb报错信息:Could not find a version that satisfies the requirement pdb (from versions: )No matching distribution found for pdbYou are using pip version 9.0.1, however version 20.1 is available.You should consider upgrading via the 'py...原创 2020-05-17 20:01:27 · 440 阅读 · 0 评论 -
Python虚拟环境设置
Python虚拟环境是为了代码有更好的可移植到其他平台中,其功能类似于docker在pycharm中自动配置虚拟环境1、file->new project ->pure python2、在cmd中安装virtualenvwrapper-win 、 virtualenvpip install -i https://pypi.doubanio.com/simple virtualenvwrapper-winpip install -i https://pypi.dou..原创 2020-05-16 18:06:14 · 487 阅读 · 0 评论 -
github使用
1、仓库:每个仓库中存放一个项目。2、star 收藏项目到当前用户下3、fork 转载(复制)别人项目到本地4、pull request --> 合并原创 2020-05-16 14:41:57 · 129 阅读 · 0 评论