Python爬虫
pickle Rick
这个作者很懒,什么都没留下…
展开
-
腾讯新闻爬取
腾讯新闻爬取import timefrom selenium import webdriverdriver=webdriver.Chrome(executable_path="D:\chromedriver\chromedriver.exe")driver.get("https://news.qq.com")for i in range(1,100): time.sleep(2...原创 2020-04-27 17:34:27 · 819 阅读 · 0 评论 -
session和cookie、代理、selenium自动化
session和cookie、代理、selenium自动化1.静态网页&动态网页:2.session和cookies:PostManSession和Cookies互相配合,客户端将Cookies放在请求头一起发送给服务端,Session在服务端记录登录状态Cookies的查看方法:在 Chrome 中按 F12 打开开发者工具,选择 Application 标签,点开 Coo...原创 2020-04-25 21:48:34 · 207 阅读 · 0 评论 -
实战:中国大学排名定向爬取
实战:中国大学排名定向爬取爬取url:http://www.zuihaodaxue.cn/zuihaodaxuepaiming2019.html爬取思路:从网络上获取大学排名网页内容提取网页内容中信息到合适的数据结构 (排名,学校名称,总分)利用数据结构展示并输出结果# 导入库import requestsfrom bs4 import BeautifulSoupimp...原创 2020-04-23 21:01:39 · 250 阅读 · 0 评论 -
request.get进阶:爬取豆瓣Top250
request.get进阶:爬取豆瓣Top2501.浏览网页:https://movie.douban.com/top250原创 2020-04-21 21:43:13 · 433 阅读 · 0 评论