爬虫笔记01--curl,wget,urllib,requests简单使用方法

苦于知识学了又忘,忘了有学,好记性不如烂笔头吧。记录一下。

curl指令和wget命名没有安装centos版本可以用下面的命令。

yum install curl
yum install wget

注意:安装的时候可能会遇到报错,有可能是openssl没装,

yum install openssl
yum install openssl-dev

如果是ubuntu系统把yum改成apt即可。

curl

一些常用参数的用法

参数 说明 示例
-A 设置user-agent curl -A “Chrome” http://www.baidu.com
-X 用指定方法请求 curl -X POST http://httpbin.org/post
-I 只返回请求的头信息
-d 以POST方法请求url,并发送相应的参数 -d a=1 -d b=2 -d c=3
-d “a=1&b=2&c=3”
-d @filename
-O 下载文件并以远程的文件名保存
-o 下载文件并以指定的文件名保存 curl -o fox.jpeg http://httpbin.org/image/jpeg
-L 跟随重定向请求 curl -IL https://baidu.com
-H 设置头信息 curl -o image.webp -H “accept:image/webp” http://httpbin.org/image
-k 允许发起不安全的SSL请求
-b 设置cookies curl -b a=test http://httpbin.org/cookies
-s 不显示其他无关信息
-v 显示连接过程中的所有信息

wget

参数 说明 实例
-O 以指定文件名保存下载的文件 wget -O test.png http://httpbin.org/image/png
–limit-rate 以指定的速度下载目标文件 –limit-rate=200k
-c 断点续传
-b 后台下载
-U 设置User-Agent
–mirror 镜像某个目标网站
-p 下载页面中的所有相关资源
-r 递归下载所有网页中所有的链接

镜像下载整个网站并保存到本地

wget -c --mirror -U "Mozilla" -p --convert-links http://docs.python-requests.org

urllib学习:

# 接收一个字符串作为参数
import urllib.request

r = urllib.request.urlopen("http://httpbin.org/get")
text = r.read()
#打印read的内容
print(text)
# http返回状态码和msg
print(r.status, r.reason)

# 返回的内容是json格式,直接用Load函数加载
obj = json.loads(text)
print(obj)

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值