爬虫入门01 -- 爬取在线课程数据

一、介绍

该例为使用python进行爬虫,主要是再网易云课堂中搜索“python”后将搜索到的课程内容拿下来并且保存到本地excel文档。
核心用到的包是xlsxwriter, requests
通过request获取课程数据信息,使用json()方法获取课程信息的json格式数据,用xlsxwriter写入excel文档中。
爬取后的数据放在我的github中,可供参考:https://github.com/BiubiuNigel/python_project.git

注: 这个例子仅仅是用于记录学习过程以及遇到的问题,如有错误欢迎指正。

二、遇到的问题

在代码完成后遇到了几个问题:
1、

HTTPSConnectionPool(host=‘xxxxx‘, port=443) 

解决方式:运行爬虫时打开了VPN连接,关闭VPN就可以了

2、

equests.exceptions.InvalidHeader: Invalid return character or leading space in header: user-agent

应该是在复制user-agent的时候多复制了一个空格,检查一下是否多出即可

三、代码

'''
爬网易在线课堂关于python的课程
运用xlsxwrite写到excel文档中
Author: Nigel Chen
Date: 21/01/2022
'''
import requests
import xlsxwriter

def get_json(index):
    '''
    爬取json信息
    :param index: 当前索引,从0开始
    :return: JSON数据
    '''

    url = "https://study.163.com/p/search/studycourse.json"
    #playload信息
    playload = {
   
       "activityId": 0,
        "keyword": "python",
        "orderType": 50,
        "pageIndex": index+ 1,
        "pageSize": 50,
        "priceType": -1,
        "qualityType": 0,
        "relativeOffset": 0,
        "searchTimeType": -1,
        "searchType": 30
    }

    #header 信息
    headers = {
   
        "accept": "application/json",
        "host" : "study.163.com",
        "content-type": "application/json",
        "origin": "https://study.163.com",
        "user-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.45
  • 0
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值