K.S的博客

urllib是python自带的基于爬虫的模块，主要使用其中的两个子模块request和parse from urllib import request # 爬取搜狗首页数据 #1 指定url url = "https://www.sogou.com/" #2 发起请求 ...

GET请求 import requests url = "https://www.baidu.com" headers = { "User_Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 " "(KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36" ...

BeautifulSoup可以很方便地查找HTML标签以及其中的属性和内容 import requests from bs4 import BeautifulSoup # 创建BeautifulSoup对象 # 当数据来源为本地文件时 file = open("xxx.html") soup = BeautifulSoup(file, "lxml") # 当数据来源为网络时 content =...