Python爬虫项目实战--模拟手机登录微博爬取博文转发评论点赞数据

kris-luo

于 2020-09-15 15:13:01 发布

阅读量965

点赞数 1

分类专栏： Python爬虫文章标签： python 正则表达式大数据

本文链接：https://blog.csdn.net/master_gogogo/article/details/108600017

版权

本文介绍了使用Python进行爬虫实战，通过模拟手机登录微博，设置特定User-Agent，抓取博文的转发、评论和点赞数据。重点在于正确设置请求头以避免数据加密，便于数据爬取。

摘要由CSDN通过智能技术生成

Python爬虫实战项目

----爬取博文转评赞数据

import bs4     # 网页解析，获得数据
import re      # 正则表达式，进行文字匹配
import urllib.request,urllib.error    # 指定URL，获取网页数据
import xlwt    # 进行excel操作
from bs4 import BeautifulSoup
import json    # 导入json包
weibo_url = 'https://m.weibo.cn/status/JgOpIfygE?type=like&jumpfrom=weibocom#_rnd1598349641094'
def askURL(url):
    head = {
     # 模拟浏览器头部信息