Python爬虫学习
园霸
这个作者很懒,什么都没留下…
展开
-
【Python爬虫】3.豆瓣爬取封了两次的数据
就是那种进去网页之后,网页抓包软件直接看抓不到的数据 url是上图中headers中的url,问号后面的参数需要重新设置,如代码中所示 还是反爬的话需要注意User-Agent from typing import Dict import json import requests url = "https://movie.douban.com/j/chart/top_list" #重新封装参数 param = { "type": "24", "interval_id": "100原创 2022-01-04 23:33:47 · 584 阅读 · 0 评论 -
【Python爬虫】2.爬取搜狗主页搜索
import requests query = input('输入要查询的东西') url = f'https://www.sogou.com/web?query={query}' hs = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36" } response = reques.原创 2022-01-04 23:26:06 · 779 阅读 · 0 评论 -
【Python爬虫】1.爬搜狗主页
# 步骤 # 指定url # 发起请求 # 获取响应数据 # 持久化存储,存响应数据 # 爬取搜狗首页的页面数据 import requests if __name__ == "__main__": #step1 url = 'https://www.sogou.com/' #step2 #get方法返回一个响应对象 response = requests.get(url=url) #step3 #text返回的是字符串形式的相应数据 pag.原创 2022-01-04 23:20:44 · 586 阅读 · 0 评论