python爬虫-AJAX数据爬取和HTTPS访问笔记

最新推荐文章于 2022-06-22 21:08:50 发布

骑猪的刀疤

最新推荐文章于 2022-06-22 21:08:50 发布

阅读量181

点赞数

分类专栏： python爬虫文章标签： python

本文链接：https://blog.csdn.net/weixin_37072672/article/details/106875498

版权

python爬虫专栏收录该内容

3 篇文章 0 订阅

订阅专栏

本文介绍了Python爬虫在处理AJAX数据和HTTPS网站时的注意事项，特别是针对HTTPS证书忽略的问题。通过导入特定模块，可以处理不安全的HTTPS连接，尽管现在大多数网站已进行CA认证，使得此类操作变得不常见。

摘要由CSDN通过智能技术生成

https://movie.douban.com/j/search_subjects?type=movie&tag=热门&page_limit=10&page_start=0

对需要爬取的连接进行分析，获得以下需要URL编码的标签
type=movie电影标签
tag=热门电影下的热门板块
page_limil=10可以获取不同数量的信息
page_start=0开始位置


from urllib.parse import urlencode
from urllib.request import urlopen, Request
import simplejson

ua = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36'
# 对怕爬虫进行伪装，也可以设置UA池进行伪装，使服务器更难分辨爬虫
jurl = 'https://movie.douban.com/j/search_subjects'

d = {
    'type': 'movie',
    'tag': '热门',
    'page_limit': '10',
    'page_start': '0'
}

req = Request('{}?{}'.format(jurl, urlencode(d)), headers={
    'User-agent': ua
})

with urlopen(req) as res:
    subjects = simplejson.loads(res.read())
    print(len(subjects['subjects']))
    print(subjects)

HTTPS证书忽略

from urllib.request import Request, urlopen

request = Request('https://www.12306.cn/mormhweb/')
request.add_header(
    "User_agent",
    'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1'
)

with urlopen(request) as res:
    print(res._method)
    print(res.read())

P.S. 课程中出现 ssl.CertificateError 错误，原因是当时12306并未进行CA认证，现在已经修复。

对于不安全的https网站，可以导入ssl模块，忽略证书不安全信息

from urllib.request import Request, urlopen
import ssl

request = Request('https://www.12306.cn/mormhweb/')
request.add_header(
    "User_agent",
    'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1'
)

# 忽略不信任的证书
context = ssl._create_unverified_context()

with urlopen(request, context=context) as res:
    # context参数，实现SSL加密传输。
    print(res._method)
    print(res.read())