爬虫实例(一)

最新推荐文章于 2024-08-13 18:54:10 发布

不多余的星星

最新推荐文章于 2024-08-13 18:54:10 发布

阅读量1.1k

点赞数

分类专栏：爬虫 Python Learning 文章标签：爬虫

本文链接：https://blog.csdn.net/CJX_up/article/details/77297540

版权

本文介绍了Python爬虫的几个实例，包括京东和亚马逊商品页面的爬取，解决爬取失败的方法，如何提交关键词进行百度和360搜索，以及网络图片的下载和IP地址归属地查询。通过示例代码展示了如何处理HTTP状态码、伪装User-Agent以及构造URL进行数据获取。

摘要由CSDN通过智能技术生成

1.京东商品页面的爬取

https://item.jd.com/2967929.html

这里写图片描述

代码：

import requests
url = "https://item.jd.com/2967929.html"
try:
    r = requests.get(url)
    r.raise_for_status()
    r.encodint = r.apparent_encoding
    print(r.text[:1000])
except:
    print("爬取失败")

"""
结果如下：
<!-- shouji -->
<!DOCTYPE HTML>
<html lang="zh-CN">
<head>
    <meta http-equiv="Content-Type" content="text/html; charset=gbk" />
    <title>【华为荣耀8】荣耀8 4GB+64GB 全网通4G手机 魅海蓝【行情 报价 价格 评测】-京东</title>
    <meta name="keywords" content="HUAWEI荣耀8,华为荣耀8,华为荣耀8报价,HUAWEI荣耀8报价"/>
    <meta name="description" content="【华为荣耀8】京东JD.COM提供华为荣耀8正品行货，并包括HUAWEI荣耀8网购指南，以及华为荣耀8图片、荣耀8参数、荣耀8评论、荣耀8心得、荣耀8技巧等信息，网购华为荣耀8上京东,放心又轻松" />
    <meta name="format-detection" content="telephone=no">
    <meta http-equiv="mobile-agent" content="format=xhtml; url=//item.m.jd.com/product/2967929.html">
    <meta http-equiv="mobile-agent" content="format=html5; url=//item.m.jd.com/product/2967929.html">