Day21-requests基本用法和网页基础
1、认识爬虫
爬虫 - 用程序自动获取网页数据（可以让数据采集的过程变得简单又高效）
爬虫流程
第一步：获取网络数据（数据采集） - requests、selenium
第二步：提取有效（有用）数据（数据解析） - 正则表达式、基于css选择器的解释器（bs4）、基于xpath的数据解析（lxml）
第三步：数据持久化（保存数据） - csv、excel、数据库
requests的用法
requests是python做http需求（网络请求）的第三方库，也是爬虫最简单又最实用的工具
import requests
发送get请求
requests.get(url) - 发送请求获取指定网页的数据，返回一个响应（服务器返回给客户端的数据叫响应）url叫做统一资源定位符（互联网中的每一个数据都有一个唯一的网址，这个网址就是这个数据的url）
url基本格式：协议：//主机地址/路径
01）获取网页数据（爬虫）
发送get请求
url赋网页数据 - 需要哪个网站的数据，就给哪个网站的网页地址
response = requests.get('https://cd.zu.ke.com/zufang')
获取网页数据：响应对象.text
获取到的是网页源代码
print(response.text)
02）下载数据（图片、视频、音频）
发送get请求
url赋值图片、音频、视频的地址
response = requests.get('https://game.gtimg.cn/images/lol/act/img/vo/ban/1.ogg')
获取图片、音频、视频的二进制数据：响应对象.content
result = response.content
将图片、音频、视频保存成响应的文件到本地
with open('files/安妮.ogg', 'wb') as f:
f.write(result)
03）获取接口数据
发送get请求
url赋接口地址
如果网络地址提供的内容就是数据（一般是json数据），那么这个地址就是数据接口
response = requests.get('http://api.tianapi.com/auto/index?key=c9d408fefd8ed4081a9079d0d6165d43&num=10')
直接对请求道的数据做json解析
result = response.json()
for x in result['newslist']:
print(x['title'])
2、前端开发 - 写页面
前端三大技术：html(提供网页内容)、css(负责网页内容样式和布局)、js(负责网页内容变化)
html是以标签为单位来给网页提供不同的内容。（不同的标签可以提供不同的内容）
html基本结构
html基本结构
DOCTYPE: html版本说明
html: 表示当前采用html是最新版本(html5)
整个网页就是一个html标签， 里面包含一个head标签和一个body标签
head只负责网页标题和网页图标
body负责网页的内容
3、标签语法
html中标签分为：单标签、双标签
1）双标签
<标签名 属性名1=属性值1 属性名2=属性值2 …>标签内容</标签名>
2）单标签
<标签名 属性名1=属性值1 属性名2=属性值2 …> 或者 <标签名 属性名1=属性值1 属性名2=属性值2
说明：
标签名 - 是html提前创建好的，不需要程序员自己创建，只需要在需要某个标签的功能的时候使用该标签
属性 - 以’属性名=属性值’的形式存在，多个属性用空格隔开。
属性值不管从生活的角度是什么类型的数据，都必须加双引号。
标签内容 - 只有双标签才有标签内容; 标签内容可以是纯文字，也可以是一个或者多个其他标签，还可以是文字和标签的组合
<head>
<!--------------- 2.head中的标签 --------------->
<!-- 设置网页编码方式 -
本文介绍了Python爬虫的基础，重点讲解了requests库的使用，包括获取网页数据、下载资源以及获取接口数据。此外，还探讨了前端开发的基本概念，如HTML标签语法、CSS样式设置及其选择器应用。
最低0.47元/天 解锁文章
扫一扫
1469
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
