python爬虫
程序员对白
「对白的算法屋」作者,带你少走弯路进大厂!
展开
-
python3爬虫实战(一):基于requests/urllib.request和BeautifulSoup爬取网站新闻
一、使用requests向浏览器模拟发送请求: requests模块可以向浏览器模拟发送请求,这里先采用requests模块获取清华大学新闻首页中的所有新闻并使用BeautifulSoup模块解析html文档去除html标签,代码如下: #requests或urllib.request:向浏览器模拟发送请求 #BeautifulSoup:将html文档转换成树形结构,通俗意思:去除html标签 #...原创 2019-08-11 23:08:13 · 1097 阅读 · 0 评论 -
python3爬虫实战(二):使用selenium模拟登陆163邮箱和抓取西刺代理并构建自己的代理池
安装selenium并学习 1.安装selenium并学习 1.1selenium介绍: selenium是一款支持多种语言、多种浏览器和多个平台的开源web自动化测试软件,测试人员可以用python、java等语言编写自动化测试脚本,使得浏览器可以完全按照脚本运行,大大节省测试人员用鼠标点击测试浏览器的时间。 1.2安装selenium和chromedriver: 安装selenium非常简单,...原创 2019-08-12 23:59:56 · 862 阅读 · 1 评论