爬虫 获取网页代码

1>配置

 

1)编译环境

 

2)安装requests库

 
使用
 
import requests                               #导入requests库
r = requests.get('htttp://www.baidu.com')     #requests 获取网页
print(r.status_code)                          #状态码
print(r.encoding)                             #网页编码
print(r.apparent_encoding)                    #解析编码
print(r.text)                                 #以文本显示网页源码
print(r.content)                              #以二进制显示

 

 
 运行结果
 
 

转载于:https://www.cnblogs.com/1328497946TS/p/11016552.html

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
要使用Python进行网页爬取,你可以使用一些库,比如 requests 和 BeautifulSoup。下面是一个简单的示例代码,可以爬取网页的源代码: ```python import requests # 发起一个 GET 请求 response = requests.get("https://www.example.com") # 获取网页的源代码 html_code = response.text # 打印网页代码 print(html_code) ``` 在这个示例中,我们使用 requests 库发起了一个 GET 请求,并将返回的响应存储在变量 response 中。然后,我们可以通过调用 `response.text` 来获取网页的源代码。 如果你需要对网页进行更复杂的解析和提取信息,可以使用 BeautifulSoup 库。下面是一个示例代码,演示了如何使用 BeautifulSoup 来解析网页: ```python import requests from bs4 import BeautifulSoup # 发起一个 GET 请求 response = requests.get("https://www.example.com") # 获取网页的源代码 html_code = response.text # 使用 BeautifulSoup 解析网页 soup = BeautifulSoup(html_code, "html.parser") # 使用 BeautifulSoup 提取信息 # 以下是一些示例提取代码 title = soup.title.text links = soup.find_all("a") first_link = links[0].get("href") # 打印提取的信息 print("Title:", title) print("Links:", links) print("First Link:", first_link) ``` 这个示例中,我们首先使用 BeautifulSoup 库的 `BeautifulSoup` 函数来解析网页。然后,我们可以使用各种方法和选择器来提取我们需要的信息。 这只是一个简单的示例,你可以根据自己的需求进一步扩展和优化代码。记得在实际使用中,要遵守网站的爬虫规则,并尊重网站的隐私政策。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值