python微博 关键词 爬虫

目录

记一次阿里云盾滑块验证分析并通过

操作环境

数据接口

proxy配置

根据关键词获取userid

根据userid获取信息

数据保存

数据：

---

记一次阿里云盾滑块验证分析并通过

操作环境

• win10 、 mac
• Python3.9

数据接口

• 搜索

https://**********?containerid=100103type%3D{chanenl}%26q%3D{quote(self.words)}&page_type=searchall&page={page}

• user info

https://**********?title=%E5%9F%BA%E6%9C%AC%E8%B5%84%E6%96%99&value={userid}'

proxy配置

使用socks需安装 ：pip install -U ‘requests[socks]’

    def _proxy(self):
        """
        调用
        :return:
        """
        # 判断IP是否过期
        new_time = datetime.datetime.now()
        if self.expire_time and new_time < datetime.datetime.strptime(self.expire_time, "%Y-%m-%d %H:%M:%S"