网络爬虫——实战项目2(爬取某社区所有论文,含代码),还不知道requests就out啦。

代码代写(实验报告、论文、小程序制作)服务请加微信:ppz2759

本博客之前,需要有正则表达式浏览器伪装相关的知识,如果不了解请先点击左方蓝字查看。

requests安装

windows下安装,首先win+r,输入cmd,进入命令行下,输入语句pip install requests耐心等候即可。
linux下安装直接输入语句pip install requests耐心等候即可。
在这里插入图片描述

requests基础讲解

requests请求方式

requests请求方式主要有三种:get、post、put…

requests请求使用方法:

import requests
#get请求
res = requests.get("https://yq.aliyun.com/search/articles/")
#post请求
res = requests.post("链接")
//返回结果:网页源代码

requests参数表1

参数参数的含义
text获取响应数据
content获取响应数据二进制格式
encoding获取网页编码
url获取当前请求的url
status_code获取当前状态码
cookies获取cookies

requests参数使用方法:

import requests
#get请求
res = requests.get("https://yq.aliyun.com/search/articles/")
print(res.text)
//返回结果:"<!DOCTYPE html>······</html>"即源文件
print(res.content)
//返回结果:这咋说勒,就是上面文件的文字变成二进制格式了嘿嘿,如"\xe6\x90\x9……"
print(res.encoding)
//返回结果:"utf-8"
print(res.url)
//返回结果:"https://yq.aliyun.com/search/articles/"
print(res.status_code)
//返回结果:200#如果请求错了就会有什么404、505之类的
print(res.cookies)
//返回结果:"<Requests···n.com/>]>"就是你的cookies值

requests参数表2

参数参数的意义
paramsget请求的参数
header头信息,伪装浏览器
proxies添加代理,添加代理ip
cookies保存cookies
data存储post请求数据

requests参数使用方法:
如果下面没看懂点击这里:讲解相关浏览器伪装的爬虫知识

import requests

//params用法#get请求的参数
getdata = {
    "q":key,
    "p":str(i + 1)
}
requests.get(url,params=getdata)

//headers用法#这里就是将headers伪装成浏览器
UA=("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36")
requests.get("https://yq.aliyun.com/search/articles/",headers=UA)

requests实战源码领取

看完本博客如果感觉有点似懂非懂,本人建议做一下requests的相关实战项目,这里有一款爬取某社区所有论文的项目源代码,欢迎大家领取!
微信公众号“骄傲的程序员”回复“爬虫129”领取源代码,更多学习视频等着你哦~
在这里插入图片描述
在这里插入图片描述

  • 8
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 12
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 12
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值