爬虫入门与综合应用

最新推荐文章于 2024-07-06 12:03:33 发布

晴天记忆

最新推荐文章于 2024-07-06 12:03:33 发布

阅读量141

点赞数

分类专栏：笔记文章标签： python

本文链接：https://blog.csdn.net/m0_58672463/article/details/118255093

版权

task5-爬虫入门与综合应用

到这章节对于小白来说真心有点难，所以暂时是按步骤来输出，后面再慢慢回顾吧

Requests是一款目前非常流行的http请求库，使用python编写，能非常方便的对网页Requests进行爬取，也是爬虫最常用的发起请求第三方库。

1.1访问百度

import requests
# 发出http请求
re=requests.get("https://www.baidu.com")
# 查看响应状态
print(re.status_code) 
#输出：200
#200就是响应的状态码，表示请求成功
#我们可以通过res.status_code的值来判断请求是否成功。

1.2下载txt文件

import requests#下载txt文件
# 发出http请求
re = requests.get('https://apiv3.shanbay.com/codetime/articles/mnvdu')
# 查看响应状态
print('网页的状态码为%s'%re.status_code)
with open('鲁迅文章.txt', 'w') as file:
  # 将数据的字符串形式写入文件中
  print('正在爬取小说')
  file.write(re.text) #内容如何保存到指定位置？

网页的状态码为200
正在爬取小说

import os
os.getcwd()

'C:\\Users\\晴天\\Python学习打卡'

os.chdir('D:\\Datawhale')          #改变当前工作目录
os.getcwd()

'D:\\Datawhale'

import requests #下载图片
# 发出http请求
#下载图片
res=requests.get('https://img-blog.csdnimg.cn/20210424184053989.PNG')
# 以二进制写入的方式打开一个名为 info.jpg 的文件
with open('datawhale.png','wb') as ff:
    # 将数据的二进制形式写入文件中
    ff.write(res.content)

2.HTML解析和提取

浏览器会根据这个HTML代码将网页解析成平时我们看到的那样

import requests#百度的html页面
res=requests.get('https://baidu.com')
print(res.text)#**是一种超文本标记语言，是由一堆标记组成。

<!DOCTYPE html>
<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link rel=stylesheet type=text/css href=http://s1.bdstatic.com/r/www/cache/bdorz/baidu.min.css><title>ç™¾åº¦ä¸€ä¸‹ï¼Œä½ å°±çŸ¥é“</title></head> <body link=#0000cc> <div id=wrapper> <div id=head> <div class=head_wrapper> <div class=s_form> <div class=s_form_wrapper> <div id=lg> <img hidefocus=true src=//www.baidu.com/img/bd_logo1.png width=270 height=129> </div> <form id=form name=f action=//www.baidu.com/s class=fm> <input type=hidden name=bdorz_come value=1> <input type=hidden name=ie value=utf-8> <input type=hidden name=f value=8> <input type=hidden name=rsv_bp value=1> <input type=hidden name=rsv_idx value=1> <input type=hidden name=tn value=baidu><span class="bg s_ipt_wr"><input id=kw name=wd class=s_ipt value maxlength=255 autocomplete=off autofocus></span><span class="bg s_btn_wr"><input type=submit id=su value=ç™¾åº¦ä¸€ä¸‹ class="bg s_btn"></span&g

最低0.47元/天解锁文章

晴天记忆

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
爬虫入门与综合应用

task5-爬虫入门与综合应用到这章节对于小白来说真心有点难，所以暂时是按步骤来输出，后面再慢慢回顾吧Requests是一款目前非常流行的http请求库，使用python编写，能非常方便的对网页Requests进行爬取，也是爬虫最常用的发起请求第三方库。1.1访问百度import requests# 发出http请求re=requests.get("https://www.baidu.com")# 查看响应状态print(re.status_code) #输出：200#200就是响应的状
复制链接

扫一扫