python爬虫

MomiTang

已于 2022-02-09 10:46:30 修改

阅读量87

点赞数

分类专栏： python 文章标签： python

于 2022-01-25 16:56:02 首次发布

本文链接：https://blog.csdn.net/m0_37146562/article/details/122688554

版权

python 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

import requests
import bs4

resp=requests.get('https://www.baidu.com') #请求百度首页
print(resp) #打印请求结果的状态码
print(resp.content) #打印请求到的网页源码

bsobj= bs4.BeautifulSoup(resp.content, 'lxml')
a_list=bsobj.find_all('a')
text=''
for a in a_list:
    href=(a.get('href'))
    text+=href+'\n'
with open('url.txt','w') as f:
    f.write(text)