爬虫学习笔记之requests库

最新推荐文章于 2021-12-01 15:32:42 发布

卡小葵

最新推荐文章于 2021-12-01 15:32:42 发布

阅读量142

点赞数

分类专栏：爬虫

本文链接：https://blog.csdn.net/kaxiaokui/article/details/104315267

版权

爬虫专栏收录该内容

3 篇文章 0 订阅

订阅专栏

这篇博客记录了利用requests库爬取京东、亚马逊网站信息，以及如何通过百度和360搜索引擎提交关键词搜索。同时，介绍了网络图片链接的一般格式，并探讨了IP地址查询的相关知识。

摘要由CSDN通过智能技术生成

mooc 课堂五个爬取的代码
1.爬取京东

import requests
url="https://item.jd.com/100007926792.html"
try:
    r=requests.get(url)
    r.raise_for_status()
    r.encoding=r.apparent_encoding
    print(r.text[:1000])
except:
    print("error")

2.爬取亚马逊

import requests
url="https://www.amazon.cn/dp/B00D20QFXQ?ref_=Oct_DLandingS_D_4a27ed07_61&smid=A3TEGLC21NOO5Y"
try:
    kv={'user-agent':'Mozilla/5.0'}
    r=requests.get(url,headers=kv)
    r.raise_for_status()
    r.encoding=r.apparent_encoding
    print(r.text[0:1000])
except:
    print('error')

3.百度360 搜索关键词提交
百度的关键词接口：http://www.baidu.com/s?wd=keyword
360的关键词接口：http://www.so.com/s?q=keyword

替换keyword既可以进行不同的提交即wd 换成q

import requests
keyword="python"
try:
    kv={'wd':keyword}
    r=requests.get("http://www.baidu.com/s",params=kv)
    print(r.request.url)
    r.raise_for_status()
    print(len(r.text))
except:
    print("error")

4.网络图片的连接格式
http://www.example.com/picture.jpg

import requests
import os
url = "图片链接“

root="保存路径（D：//）
path=root+url.splot('/')[-1]
try:
    if not os.path.exists(root):
        os.mkdir(root)
    if not os.path.exists(path):
        r=requests.get(url)
        with open(path,'wb') as f:
            f.write(r.content)
            f.close()
            print("文件保存成功")
    else:
        print("文件已存在")
except:
    print("error")

5.IP地址查询

import requests
url = "http://m.ip138.com/ip.asp?ip="
try:
    r=requests.get(url+'202.24.80.112')
                  
    r.raise_for_status()
    r.encoding=r.apparent_encoding
    print(r.text[-500:])
except:
    print("error")