python爬取微博用户信息(二)—— cookie的获取方式以及configs中参数的设置

这一节,主要讲述配置文件configs.py参数的含义,以及cookie的获取方式。

感兴趣的小伙伴可以收藏哦!


另外,关于本代码的效果展示以及教程,点击以下链接即可。

python爬取微博用户信息(一)—— 效果展示

python爬取微博用户信息(三)—— 创建MicroBlog类实例

python爬取微博用户信息(四)—— 爬取用户信息的功能函数

python爬取微博用户信息(五)—— os.sep函数、os.path.split() 、os.path.realpath()、os.path.isdir()、os.makedirs()用法

python爬取微博用户信息(六)—— 完整代码


目录

一、常用参数

二、cookie的获取方式

三、代码


一、常用参数

1、cookie

cookie是客户端与服务器的一个会话机制,比如做地铁时买的车票。

2、user_id

user_id实际上就是我们所说的id,也就是微博首页网址中的那一串数字。例如迪丽热巴,user_id = 1669879400

3、user_url

uset_url这里设置的是:https://weibo.cn/,原因是因为后面爬取的网页网址大部分都是以这个为前缀的。

4、filter

filter取值为0或1

  • 0:所有微博,即原创微博 + 转发微博
  • 1:仅爬取原创微博

5、pic_download

pic_download取值为0或1

  • 0:不下载原始微博图片
  • 1:下载微博原始图片

二、cookie的获取方式

首先,需要声明的是,这个cookie是一个临时的通行证,具有有效期的,一旦过期,就意味着我们要重新获取。下面,我将讲述获取微博cookie的方法。

1、没有cookie或者cookie过期会怎样?

将会显示“cookie错误或已过期,请重新获取cookie!”

因此,我们只能重新获取cookie,来进行爬取用户数据。

2、如何获取cookie?

  •  登录成功后,点击微博,进入自己的主页

  • Fn + F12, 按照以下顺序,就能找到自己的cookie,并将其复制粘贴。

  •  如果没能找到,可以任意点击首页其他部分,例如原创,图片等等,之后再次进行上一步的操作即可

三、代码

configs.py

import argparse

def parse_args():
    parser = argparse.ArgumentParser(description='Crawling of microblog information')

    # cookie
    # parser.add_argument('--cookie', default=your cookie)

    # user
    """
    user_id: the id of user, such as 1669879400(迪丽热巴)
    user_url: the url of user's information
    """
    parser.add_argument('--user_id', default=1669879400)
    parser.add_argument('--user_url', default='https://weibo.cn/')

    # information
    """
    filter: 0 or 1 (0: 原创微博 + 转发微博; 1:原创微博)
    pic_download: 0 or 1 (0: 不下载原始微博图片; 1: 下载微博原始图片)
    """
    parser.add_argument('--filter', default=1)
    parser.add_argument('--pic_download', default=1)

    return parser.parse_args()

参考:

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值