Requests库的使用-爬取HTML页面

最新推荐文章于 2024-02-04 10:15:00 发布
最新推荐文章于 2024-02-04 10:15:00 发布
阅读量715 收藏 1
点赞数
分类专栏： # Python爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Yang_Cpp/article/details/107167461
版权 
def get_page(url):
    try:
        header = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.87 Safari/537.36'}
        r = requests.get(url, headers=header)
        r.raise_for_status()
        print(r.text)
    except:
        print("出现异常")

if __name__ == '__main__':
    url = input("请输入网址: ")
    get_page(url)
# input: https://www.baidu.com
# output: html页面内容
透晓西桥
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
pullrequests-viewer:Git拉取请求查看器
05-01
拉取请求查看器 该项目针对的是开发人员，他们难以从多个存储库中管理PR。 当我们作为一个团队工作时，堆叠一些公关是很正常的，有时我们会失去对它的了解。 通过“拉取请求查看器”，可以对选定存储库的打开PR进行整体查看。 入门 这些说明将为您提供项目的副本，并在您的本地计算机上运行。 先决条件 在运行项目之前，您将需要： 作为容器安装（Docker） 打开终端/命令行 执行命令docker run -d -p 8000:80 joaoasrosa/pullrequestsviewer 打开浏览器并输入http://localhost:8000 作为应用程序安装 从下载最新版本 将下载的文件解压缩到目录 打开终端/命令行并导航到目录 执行命令dotnet PullRequestsViewer.WebApp.dll 打开浏览器并输入http://localhost:5000 或者，您可以将
python--爬虫 爬取html和txt文件
weixin_45289656的博客
11-12 4807
python--爬虫 爬取html和txt文件
python爬虫入门，轻松爬取网页上的数据(非常详细)
qq_46094651的博客
02-04 1570
随着网络的普及和信息爆炸式增长，我们可以通过网络来获取各种各样的数据。而Python作为一门强大而灵活的编程语言，可以帮助我们快速地从HTML网页中提取数据。本文将介绍Python爬虫的入门知识，并详细讲解如何使用Python爬虫来爬取HTML网页上的数据。
python爬取动态网页_Python 抓取动态网页内容方案详解
weixin_39819661的博客
11-20 465
用Python实现常规的静态网页抓取时，往往是用urllib2来获取整个HTML页面，然后从HTML文件中逐字查找对应的关键字。如下所示：import urllib2url="http://mm.taobao.com/json/request_top_list.htm?type=0&page=1"up=urllib2.urlopen(url)#打开目标页面，存入变量upcont=up.read()...
python爬虫使用 requests-html爬取网页信息以及常用方法
瑶山的博客
07-21 4955
安装 pip3 install requests-html 使用 from requests_html import HTMLSession # 获取请求对象 session = HTMLSession() sina = session.get('https://news.sina.com.cn/') sina.encoding = 'utf-8' print(sina.text) 常用方法： 获取a链接 # 绝对链接，全路径 sina.html.xpath('/html/body/
python爬虫——requests获取html（带异常处理）
车牌识别
05-16 4965
import requests from bs4 import BeautifulSoup url='www.google.com' print('url=',url) try: response = requests.get(url,timeout=(3,7)) #返回Response对象 #print(response.status_code)这句话似乎只能显示正常状态码200，异常状态码...
Python中利用requests库和BeautifulSoup库实现Web抓取和数据爬取
2203_75593971的博客
06-14 766
requests库是一个Python的HTTP客户端库，它使得发送HTTP/1.1请求变得非常容易。requests库可以简化HTTP请求过程，例如为不同的请求方式提供不同的方法（比如GET和POST），自动对请求参数进行编码，设置请求头，设置cookies等。requests库还可以处理大多数HTTP响应。BeautifulSoup是一个解析HTML和XML文档的Python库。它从HTML或XML文件中提取结构化数据，并非常适合于web抓取相关的应用程序。
Python使用Requests库爬取网页数据
一起来探讨功能测试和自动化测试
05-08 1万+
第一步：安装requests requests属于第三方模块，python里面没有自带requests库，所以呢第一步我们先要安装。 pip install requests 先找到终端然后再输入 第二步：导包 使用requests前出了安装完了，你好要导包啊，不导包怎么使用它呢 import requests 灰色代表他还没被使用 第三步：爬取开始 直接爬取百度吧 导包-----因为我们是给服务端发送请求，所以我们要有个变量接收他。 利用get获取网址的数据，然后用print
python requests 保存页面HTML代码
人生苦短，何妨一试
01-15 1666
import requests res = requests.get('http://sahitest.com/demo/selectTest.htm') res.encoding = 'utf-8' with open(r'HTML.html','w+') as f: f.write(res.text)
python爬虫：使用requests_html库爬取网页中的内容（详细教程）
热门推荐
weixin_43790560的博客
01-23 2万+
在python 3.6版本及以上，引入了一个新的库：requests_html 。说实话，这个库是真的方便使用，它可以将爬虫变得很简单，话不多说，直接上手。我们想要爬取下面这个网站的代码部分： https://cpppatterns.com/patterns/copy-range-of-elements.html （代码部分指的是如下图黑框中的C++代码） 我们使用的变成工具是pycharm，接...
python小记(3) | 爬取微博页面存储为html到本地&提取关键词存入excel
月婵婵的程序媛生涯
10-02 1801
目录一、基本思路二、代码详解三、问题记录四、总结反思 因为最近事情稍微多了些，又正好上第二节课，索性将两次课内容合并在一起（第二节课是被bug强制卡下课的悲惨人生）/(ㄒoㄒ)/~~ 一、基本思路 新建文件夹用于存储爬取下来的数据，设置关键词，爬取多页，构造客户代理池，爬取页面存为html文件格式； 读取关键词命名文件夹下的所有文件，提取关键词（用户名、发表时间、转赞评数目、内容），存入关键词命名的表格。 二、代码详解 涉及到的库：json、xlwt、os、requests、urllib.parse、r
Python之Requests_html库入门篇（含实例）
12-21
Requests_html库入门学习安装基本用法获取网页获取连接获取元素元素内容实例 爬取51jobs网站有关Python工作的信息requests_html官方链接 安装 pip install requests_html 如果还不会pip安装的请看这篇文章——>pip 安装，更新，卸载，查看模块方法 Note: requests-html只支持Python 3.6及更新的版本，所以使用老版本的Python的同学需要更新一下Python版本了。 基本用法 获取网页 from requests_html import HTMLSession session = HTMLSession() u
py练手实例小作业-爬取网易云音乐评论.zip
最新发布
04-05
一个网易云音乐歌曲热门评论爬取器，使用了requests库来发送网络请求，使用BeautifulSoup库来解析HTML页面和提取数据，使用正则表达式来进行字符串匹配。 在代码中，首先定义了get_song_comments函数，用于获取歌曲...
Python基于requests库爬取网站信息
12-20
使用requests库获取HTML页面并将其转换成字符串后，需要进一步解析HTML页面格式，这里我们常用的就是beautifulsoup4库，用于解析和处理HTML和XML 下面这段代码便是爬取百度的信息并简单输出百度的界面信息 import ...
python3使用requests模块爬取页面内容的实战演练
12-31
我的个人桌面系统用的linuxmint，系统默认没有安装pip，考虑到后面安装requests模块使用pip，所以我这里第一步先安装pip。 $ sudo apt install python-pip 安装成功，查看PIP版本： $ pip -V 2.安装requests模块 ...
python爬取豆瓣电影(requests模块)
12-22
python使用requests模块请求网址，使用lxml模块中etree抓取数据，并使用time模块延时 爬取的页面为： 运行结果如下图所示： python代码如下： 在这里插入代码片 # _*_ coding:utf _*_ # 邮箱：[email protected] #...
通过requests库re库进行淘宝商品爬虫爬取（对中国大学mooc嵩天老师爬虫进行修改）
12-22
中国大学mooc上的爬取淘宝页面商品已经因为淘宝的维护而无法爬取 比如，只出现个表头： 这是我按照嵩天老师代码学习，遇到的问题。 原代码如下： import requests import re def getHTMLText(url): try: r= ...
Response对象的主要属性和方法
Yang's Blog
07-05 5546
r.status_code：HTTP请求的返回状态，返回值为200即请求正常 r.text： HTTP响应内容的字符串形式，即：url对应的页面内容 r.encoding： 从HTTP header中猜测的响应内容编码方式 r.apparent_encoding：从内容中分析出的响应内容编码方式（备选编码方式） r.content： HTTP响应内容的二进制形式 ...
Requests库的七种方法
Yang's Blog
07-05 1256
requests.request()：提交一个request请求，作为其他请求的基础 requests.get()： 获取HTML网页代码的方法 requests.head()：获取HTML网页头部的方法 requests.post()：向HTML网页提交POST请求的方法 requests.put()：向HTML网页提交PUT请求方法 requests.patch()：向HTML网页提交局部修改请求 requests.delete()：向HTML网页提交修改请求 r = re..
requests库用xpath爬取链家租房
07-28
要使用requests库和xpath来爬取链家租房的信息，可以按照以下步骤进行操作： 1. 首先，需要导入requests库和lxml库，用于发送请求和解析HTML页面。可以使用以下代码导入库： ```python import requests from lxml import etree ``` 2. 然后，需要构造请求头和URL，发送请求获取HTML页面。可以使用以下代码发送请求： ```python headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3' } url = 'https://bj.lianjia.com/zufang/' response = requests.get(url, headers=headers) html_str = response.text ``` 3. 接下来，可以使用lxml库的etree模块来解析HTML页面，并使用xpath表达式提取所需的房源信息。可以使用以下代码进行解析和提取： ```python html = etree.HTML(html_str) house_list = html.xpath('//div\[@class="content__list"\]/div\[@class="content__list--item"\]') for house in house_list: area = house.xpath('.//p\[@class="content__list--item--des"\]/a\[1\]/text()')\[0\] community = house.xpath('.//p\[@class="content__list--item--des"\]/a\[2\]/text()')\[0\] layout = house.xpath('.//p\[@class="content__list--item--des"\]/span\[1\]/text()')\[0\] size = house.xpath('.//p\[@class="content__list--item--des"\]/span\[2\]/text()')\[0\] orientation = house.xpath('.//p\[@class="content__list--item--des"\]/span\[3\]/text()')\[0\] price = house.xpath('.//span\[@class="content__list--item-price"\]/em/text()')\[0\] print(area, community, layout, size, orientation, price) ``` 4. 最后，可以将提取到的房源信息保存到Excel文件中。可以使用pandas库来创建DataFrame对象，并使用to_excel方法将数据保存到Excel文件。可以使用以下代码进行保存： ```python import pandas as pd data = pd.DataFrame({ '地区': area_list, '小区名': community_list, '户型': layout_list, '面积': size_list, '朝向': orientation_list, '价格(元/月)': price_list }) data.to_excel('house_info.xlsx', index=False) ``` 以上就是使用requests库和xpath爬取链家租房信息的步骤。通过发送请求获取HTML页面，使用xpath表达式提取所需的信息，并将提取到的信息保存到Excel文件中。 #### 引用[.reference_title] - *1* *2* [利用xpath爬取链家租房房源数据并利用pandas保存到Excel文件中](https://blog.csdn.net/renhongbin614/article/details/104540204)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [爬虫三：用xpath爬取链家网二手房信息](https://blog.csdn.net/qq_23860475/article/details/103505587)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值