爬虫小练手

最新推荐文章于 2024-04-21 11:00:00 发布
最新推荐文章于 2024-04-21 11:00:00 发布
阅读量791 收藏 1
点赞数 1
分类专栏： 爬虫专题 文章标签： python http https
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38763540/article/details/114009519
版权

目录

一、简介

  了解爬虫

二、网络协议

2.1 http协议

2.2 https协议

三、入门案例

3.1 爬取搜狗首页的页面数据

3.2 爬取搜狗指定词条对应的搜索结果页面（简易网页采集器）

3.3 破解百度翻译，获取想要的翻译结果

3.4 练习四：爬取豆瓣电影分类排行榜 https://movie.douban.com/ 中的电影详情数据

3.5 练习五：爬取肯德基餐厅查询http://www.kfc.com.cn/kfccda/storelist/index.aspx中指定的餐厅数据

四、综合练习

一、简介

  了解爬虫

  • 什么是爬虫？

通过编写程序，模拟浏览器上网，然后让其去互联网上抓取数据的过程

  • 爬虫合法性

-- 在法律上是不被禁止的

-- 具有违法风险

-- 善意爬虫 与 恶意爬虫

  • 爬虫的应用场景

-- 通用爬虫那个

    抓取系统的重要组成成分。抓取的是一整张页面数据

-- 聚焦爬虫

   是建立在通用爬虫的基础之上。抓取的是页面中特定的局部内容

-- 增量式爬虫

   检测网站中数据更新的情况。只会抓取网站中最新更新出来的数据

  • 爬虫的矛与盾

-- 反爬机制

    门户网站，可以通过相应的策略或者技术手段，防止爬虫程序进行网站数据爬取

-- 反反爬策略

爬虫程序可以通过制定相应的策略或技术手段，破解门户网站中那个具备的反爬机制，从而可以获取门户网站中相关的数据

-- robots.txt协议

君子协议。规定了网站中哪些数据可以被爬虫爬取，哪些数据不可以被爬取

二、网络协议

2.1 http协议

  • 概念：就是服务器和客户端进行数据交互的一种形式
  • 常用请求头信息：
User-Agent请求载体的身份标识
Connection请求完毕，是断开连接还是保持连接
  • 常用响应头信息：
Content-Type服务器响应客户端的数据类型

UA伪装：让爬虫对应的请求载体身份标识伪装成某一款浏览器

UA检测：门户网站的服务器会检测对应请求的载体身份标识，如果检测到请求的载体身份标识为某一款浏览器，就说明该请求是一个正常的请求。但是，如果检测到请求的载体身份不是基于某一款浏览器的，则表示该请求为不正常请求(爬虫)

2.2 https协议

  • 安全的超文本传输协议，是一个安全通信通道，它基于HTTP开发用于在客户计算机和服务器之间交换信息。它使用安全套接字层(SSL)进行信息交换，简单来说它是HTTP的安全版,是使用TLS/SSL加密的HTTP协议。
  •  作用机制：

    （1）.对数据进行加密，并建立一个信息安全通道，来保证传输过程中的数据安全

    （2）.对网站服务器进行真实身份认证

  • 加密方式
    • 1.对称性密钥加密

       在对称加密算法中，数据发信方将明文（原始数据）和加密密钥一起经过特殊加密算法处理后，使其变成复杂的加密密文发送出去。收信方收到密文后，若想解读原文，则需要使用加密用过的密钥及相同算法的逆算法对密文进行解密，才能使其恢复成可读明文。在对称加密算法中，使用的密钥只有一个，发收信双方都使用这个密钥对数据进行加密和解密，这就要求解密方事先必须知道加密密钥。

  •  
    • 2.非对称性密钥加密

      非对称加密算法需要两个密钥：公开密钥和私有密钥。公钥与私钥是一对，如果用公钥对数据进行加密，只有用对应的私钥才能解密。因为加密和解密使用的是两个不同的密钥，所以这种算法叫作非对称加密算法。

  •  
    • 3.证书密钥加密

      服务器的开发者携带公开密钥，像数字证书认证机构提出公开密钥的申请，数字证书机构在认清申请者的身份，审核通过后，会对开发者申请的公开密钥做数字签名，然后分配这个已签名的公开密钥，并将密钥放在证书里面，绑定在一起

      服务器将这份数字证书发送给客户端，因为客户端也认可证书机构，客户端可以通过数字证书中的数字签名来验证公钥的真伪，来确保服务器传过来的公开密钥是真实的。一般情况下，证书的数字签名是很难被伪造的，这取决于认证机构的公信力，以但确认信息无误之后，客户端就会通过公钥对报文进行加密发送，服务器接收到以后用自己的私钥进行解密。

三、入门案例

入门准备：

request模块

  • 作用

    python中原生的一款基于网络请求的模块，功能非常强大，简单便捷，效率极高

    模拟浏览器发出请求

  • 使用(request模块的编码流程)

    -- step1：指定url

-- step2：UA伪装

-- step3：发起请求

 

-- step4：获取响应数据

-- step5：持久化存储

  • 环境安装

pip install requests

我这里使用的PyCharm编辑器，可以通过软件安装request依赖包，setting->Project->Python  Interpreter->左下角”+“->搜索requests，添加 

3.1 爬取搜狗首页的页面数据

import requests
if __name__ == "__main__":
    # step1: 指定url
    url = "https://www.sogou.com"
    # step2: 发起请求。get方法会发挥一个响应对象
    response = requests.get(url=url)
    # step3: 获取响应数据.text返回的是字符串形式的响应数据
    page_text = response.text
    print(page_text)
    # step4: 持久化存储
    with open("./sogou.html", 'w', encoding='utf-8') as fp:
        fp.write(page_text)
    print("爬取数据结束！！！")

3.2 爬取搜狗指定词条对应的搜索结果页面（简易网页采集器）

import requests
if __name__ == "__main__":
    # UA伪装：将对应的User-Agent封装到一个字典中
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                      'Chrome/88.0.4324.182 Safari/537.36 '
    }
    url = "https://www.sogou.com/web"
    # 处理url中携带的参数，封装到字典中去
    key = input('enter a word: ')
    param = {
        'query': key
    }
    # 对指定的url发起的请求对应的url是携带参数的，并且请求过程中处理了参数
    response = requests.get(url=url, params=param, headers=headers)

    # 获取页面内容
    page_text = response.text
    fileName = key+".html"
    with open(fileName, 'w', encoding='utf-8') as fp:
        fp.write(page_text)
    print(fileName, '保存成功！！！')

3.3 破解百度翻译，获取想要的翻译结果

import requests
import json

if __name__ == "__main__":
    # step1： 指定url
    post_url = 'https://fanyi.baidu.com/sug'
    # step2： 进行UA伪装
    # UA伪装
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                      'Chrome/88.0.4324.182 Safari/537.36 '
    }
    # step3：post请求参数处理（同get方式一样）
    data = {
        'kw': 'dog'
    }
    # step4：请求发送
    response = requests.post(url=post_url,data=data,)

    # step5：获取响应数据：json()方法返回的是obj(如果确认响应数据是json类型的，才可以使用json()方法)
    dic_obj = response.json()

    fp = open('./dog.json','w',encoding='utf-8')
    json.dump(dic_obj,fp,ensure_ascii=False)

    print('保存成功！！！')

3.4 练习四：爬取豆瓣电影分类排行榜 https://movie.douban.com/ 中的电影详情数据

import requests
import json

if __name__ == "__main__":
    # step1：指定url
    url = 'https://movie.douban.com/j/chart/top_list'
    # step2：处理get请求中的参数
    param = {
        'type':'24',
        'interval_id': '100:90',
        'action':'',
        'start':'1',  # 查询开始的下标值
        'limit':'20'  # 查询的数据个数
    }

    # step3：UA伪装
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                      'Chrome/88.0.4324.182 Safari/537.36 '
    }
    # step4：发起请求
    response = requests.get(url=url,params=param,headers=headers)
    list_data = response.json()

    fp = open('./douban.json', 'w', encoding='utf-8')
    json.dump(list_data, fp=fp, ensure_ascii=False)

    print('爬取结束！！！')

3.5 练习五：爬取肯德基餐厅查询http://www.kfc.com.cn/kfccda/storelist/index.aspx中指定的餐厅数据

注意：如果是局部刷新，即ajax请求，需要按F12查看网络抓包情况，获取响应的请求参数

import requests
import json

if __name__ == "__main__":
    # 1.指定url
    url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword'
    # 2.处理post请求参数
    keyword = input('enter a site：')
    dic_data = {
        'cname':'',
        'pid':'',
        'keyword': keyword,
        'pageIndex': '1',
        'pageSize': '10'
    }
    # 3.UA伪装
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                      'Chrome/88.0.4324.182 Safari/537.36 '
    }

    # 4.发起请求
    response = requests.post(url=url, data=dic_data, headers=headers)

    # 5获取响应数据
    result = response.json()

    # 6.持久化存储
    fp = open('./kfc.json','w',encoding='utf-8')
    json.dump(result,fp=fp,ensure_ascii=False)

    print('爬取结束！！！')

四、综合练习

需求： 爬取国家药品监督管理总局中基于中华人民共和国化妆品生产许可证相关数据http://scxk.nmpa.gov.cn:81/xk/

  • 动态加载数据

  • 首页中对应的企业信息数据是通过ajax动态请求到的。

http://scxk.nmpa.gov.cn:81/xk/itownet/portal/dzpz.jsp?id=e6c1aa332b274282b04659a6ea30430a

http://scxk.nmpa.gov.cn/xk/itownet/portal/dzpz.jsp?id=f63f61fe04684c46a016a45eac8754fe

# -*- coding = utf-8 -*-
# @Time: 2021/2/25 9:45
# @Author: Poison
# @File: 爬取爬取国家药品监督管理总局中基于中华人民共和国化妆品生产许可证相关数据.py
# @Software: PyCharm 
import requests
import json

if __name__ == "__main__":
    #  -*-   批量获取不同企业的id值   -*-
    # step1：指定url
    url = 'http://scxk.nmpa.gov.cn:81/xk/itownet/portalAction.do?method=getXkzsList'
    # step2：处理post请求参数
    keyword = input('enter a key:')
    dic_data = {
        'n': 'true',
        'page': '1',
        'pageSize': '100',
        'productName': '广东',
        'conditionType': '2',
        'applyname': '',
        'applysn': ''
    }
    # step3：进行UA伪装
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                      'Chrome/88.0.4324.182 Safari/537.36 '
    }
    # step4：发起请求
    response = requests.post(url=url, data=dic_data, headers=headers)

    # step5：获取响应数据
    res_data = response.json()

    print("企业id爬取结束！！！")
    # step6：遍历企业数据，封装id数组
    id_list = []
    for dic in res_data['list']:
        id_list.append(dic['ID'])

    #   -*-     获取企业详情数据      -*-
    company_detail = []
    
    # step7：指定详情页请求url
    detail_url = 'http://scxk.nmpa.gov.cn:81/xk/itownet/portalAction.do?method=getXkzsById'
    # step8：处理请求参数
    for id in id_list:
        dic_data = {
            'id': id
        }
        detail_data = requests.post(url=detail_url, headers=headers, data=dic_data).json()
        company_detail.append(detail_data)
    # step9：持久化获取的详情数据
    fp = open('./company.json', 'w', encoding='utf-8')
    json.dump(company_detail, fp=fp, ensure_ascii=False)

    print('企业详情爬取结束！！！')

 

爞笑
关注
专栏目录
python爬虫的练手小项目
07-31
【标题】：Python爬虫的练手小项目 在这个标题中，我们关注的是Python爬虫技术的应用实践。Python爬虫是获取网页数据的一种自动化手段，它可以帮助开发者从互联网上抓取大量信息，进行数据分析或者构建自己的数据库...
适合新手小白的几个练习Python爬虫的实战！
python03012的博客
04-03 2130
经常有新手小白在学习完 Python 的基础知识之后，不知道该如何进一步提升编码水平，那么此时找一些友好的网站来练习爬虫可能是一个比较好的方法，因为高级爬虫本身就需要掌握很多知识点，以爬虫作为切入点，既可以掌握巩固 Python 知识，也可能在未来学习接触到更多其他方面的知识，比如分布式，多线程等等，何乐而不为呢！下面我们介绍几个非常简单入门的爬虫项目，相信不会再出现那种直接劝退的现象啦！
Python爬虫项目（附源码）70个Python爬虫练手实例！
BlueSocks152的博客
06-30 3037
今天博主给大家带来了一份大礼，Python爬虫70例！！！以及完整的项目源码！！！
超全的python爬虫练手项目汇总
梓栋DREM
06-03 1万+
很多爬虫项目比如链家，高德地图等，找网页的接口，是自己写的，代码里有注释
python爬虫入门教程(三)：详细练手教程
wang8562的专栏
03-11 911
时隔好久，爬虫教程终于更新了。不好意思啊= = 这篇教程主要讲如何将网络上的图片保存到本地来，以及如何利用接口解析完成动态页面的抓取。 本来是想依然用“妹子图”站点来演示的，结果点击去一看，没想到只过去一年，里面的图片却尺度越来越大了。。。还是算了。 看了一下，还是用“女郎”来演示吧，这也是一个用的比较多的例子。读完本文，你将掌握以下技能： “女郎”爬虫的demo和逻辑 基于对接口的解析完成动态页面的抓取 使用python创建文件夹 将网络上的图片（或文件）保存到本地 基本的反ban措施..
适合新手小白的几个练习Python爬虫的实战
最新发布
Trb201012的博客
04-21 1327
经常有新手小白在学习完 Python 的基础知识之后，不知道该如何进一步提升编码水平，那么此时找一些友好的网站来练习爬虫可能是一个比较好的方法，因为高级爬虫本身就需要掌握很多知识点，以爬虫作为切入点，既可以掌握巩固 Python 知识，也可能在未来学习接触到更多其他方面的知识，比如分布式，多线程等等，何乐而不为呢！下面我们介绍几个非常简单入门的爬虫项目，相信不会再出现那种直接劝退的现象啦！
python爬虫练手学习小项目
11-30
这个"python爬虫练手学习小项目"提供了实践Python爬虫技术的机会，适合初学者或有一定基础的人进一步提升技能。在这个项目中，我们可以学习到如何利用Python语言进行网页数据抓取、解析以及存储。 首先，我们需要...
参考资料-python爬虫练手项目合集.zip
02-13
这个"参考资料-python爬虫练手项目合集.zip"压缩包显然包含了一个集合，旨在帮助初学者或进阶者通过实践来提升Python爬虫技能。在这个文件列表中，我们看到一个名为"python爬虫练手项目合集.pdf"的文档，这很可能是...
Python爬虫练手项目（学习使用）
04-13
这个"Python爬虫练手项目（学习使用）"压缩包很可能是为了帮助初学者掌握爬虫的基本技能和实践方法而设计的。在这个项目中，你可以通过实际操作来提升自己的Python爬虫能力。 首先，我们需要了解Python爬虫的基础...
爬虫练手项目1_爬取百度贴吧
09-21
爬虫练手项目，爬取百度贴吧，并保存为html
python爬虫—练习题（re，request&BeautifulSoup,selenium）
红叶谷 wsp_1138886114的博客
06-09 1万+
一、使用 正则 抓取网页文字信息 案例1：获取51job职位信息（python3.x环境） import re #导入re模块 import xlwt import chardet from urllib import request import random def getHtml(url): ...
适合新手的Python爬虫小程序
TH226的专栏
07-28 1万+
介绍：此程序是使用python做的一个爬虫小程序  爬取了python百度百科中的部分内容，因为这个demo是根据网站中的静态结构爬取的，所以如果百度百科词条的html结构发生变化 需要修改部分内容。词条链接 http://baike.baidu.com/item/Python     逻辑步骤:1.主程序部分，主要初始化程序中需要用到的各个模块分为(1)链接管理模块。  (2)链接下载保存模块
【森气杂谈】Python爬虫小练习
HMXNX的博客
01-07 666
Python爬虫小练习
python爬虫小练习
qq_44862918的博客
04-27 272
使用python爬取斗破苍穹小说的前几章，并将其写入到txt文件中 import requests from bs4 import BeautifulSoup for i in range(10): url = 'http://www.022003.com/2_2447/97317%d.html'%i noval = requests.get(url) soup = B...
python爬虫小练习--爬取小说，图片，视频
champion
04-07 3573
爬取笔趣网的小说，狂神，并保存在本地 import requests from bs4 import BeautifulSoup import time # lxml 只会局部遍历，而Beautiful Soup 是基于HTML DOM的，会载入整个文档，解析整个DOM树，因此时间和内存开销都会大很多，所以性能要低于lxml。 # 爬取笔趣网下的狂神小说, # 一章的内容 ''' if __...
python简单爬虫练习
只会666
08-25 883
开始学爬虫了，记录一下这两天的瞎鼓捣抓取一个网页先从最简单的来，指定一个url，把整个网页代码抓下来，这里就拿csdn的主页实验# -*- coding: UTF-8 -*- from urllib import requesturl = 'http://www.csdn.net/' html = request.urlopen(url) # 注意这里要以utf-8编码方式打开 with open(
matlab figure函数的用法
热门推荐
ChanMon的博客
05-13 25万+
用法1>> figure % 创建一个新的窗口，所有参数采用默认用法2>> figure(s)  % s为参数，s为数据时要大于0，否则报错比如下例：用法3>> figure('PropertyName',propertyvalue,...)如下例：用法4>> h = figure(s) % 返回该窗口的句柄，其中，s是一个整数...
python小练习9（这些简单的题目你都会吗）
MTbaby的博客
09-11 1万+
基本数据类型:1: info = ‘abc’info[2] = ‘d’结果是什么，为什么会报错呢?答: TypeError: ‘str’ object does not support item assignment字符串是不可变数据类型2: 如果要把上面的字符串info里面的c替换成d，要怎么操作呢？答: (1). 转换为 listinfo = 'abc'a = list(info)a[2] =
Python 爬虫小练习
AdigaAdele的博客
06-29 140
# 第一题 import requests a=requests.get("http://www.nkkjxy.org.cn/") b=a.content.decode('gbk') from lxml import etree d = etree.HTML(b) c = d.xpath('//a[@title]') print(c) # 第二题 import requests a=requests.get("http://www.gsxy.cn//index.htm") b=a.content.deco
适合python爬虫新手练手的视频网站
07-27
适合Python爬虫新手练手的视频网站有很多选择。其中一个推荐的网站是小编的Python交流群，里面提供了2020最新的Python入门到高级实战视频教程，还有很多新的Python教程项目可以学习和实践。此外，你还可以在群里与...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值