Python爬虫
pickle Rick
这个作者很懒,什么都没留下…
展开
-
腾讯新闻爬取
腾讯新闻爬取 import time from selenium import webdriver driver=webdriver.Chrome(executable_path="D:\chromedriver\chromedriver.exe") driver.get("https://news.qq.com") for i in range(1,100): time.sleep(2...原创 2020-04-27 17:34:27 · 801 阅读 · 0 评论 -
session和cookie、代理、selenium自动化
session和cookie、代理、selenium自动化 1.静态网页&动态网页: 2.session和cookies: PostMan Session和Cookies互相配合,客户端将Cookies放在请求头一起发送给服务端,Session在服务端记录登录状态 Cookies的查看方法: 在 Chrome 中按 F12 打开开发者工具,选择 Application 标签,点开 Coo...原创 2020-04-25 21:48:34 · 192 阅读 · 0 评论 -
实战:中国大学排名定向爬取
实战:中国大学排名定向爬取 爬取url:http://www.zuihaodaxue.cn/zuihaodaxuepaiming2019.html 爬取思路: 从网络上获取大学排名网页内容 提取网页内容中信息到合适的数据结构 (排名,学校名称,总分) 利用数据结构展示并输出结果 # 导入库 import requests from bs4 import BeautifulSoup imp...原创 2020-04-23 21:01:39 · 228 阅读 · 0 评论 -
request.get进阶:爬取豆瓣Top250
request.get进阶:爬取豆瓣Top250 1.浏览网页:https://movie.douban.com/top250原创 2020-04-21 21:43:13 · 418 阅读 · 0 评论