采集百度百家号动态加载的数据信息

最新推荐文章于 2024-01-29 09:00:00 发布
最新推荐文章于 2024-01-29 09:00:00 发布
阅读量1.3k 收藏 4
点赞数 1
分类专栏： 数据挖掘(爬虫) 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yutu75/article/details/117360527
版权

问题：采集百度百家号 文章、动态、视频 的标题 ，发布时间 ，播放量 ，视频文件
阅读数等

在这里插入图片描述
代码：

# coding = utf-8
import os
import re
import time
import json
from datetime import datetime, timedelta
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.keys import Keys
import requests
from PIL import Image
from PIL import ImageChops
from pathlib import Path
from fake_useragent import UserAgent
# from config import no_access_screenshot_time
from multiprocessing.dummy import Pool  # 线程池
from lxml import etree

# ua = UserAgent()
headers = {
    # "Accept": '*/*',
    # 'Accept-Encoding': 'gzip, deflate',
    # 'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8,ar;q=0.7',
    # 'Connection': 'keep-alive',
    # 'Content-Length': '62',
    # 'Content-Type': 'application/json;charset=UTF-8',
    # 'Host': 'cq.gov.cn',
    # 'Origin': 'http://www.cq.gov.cn',
    # 'Referer': 'http://www.cq.gov.cn/',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.212 Safari/537.36',
}

ctime = ''
import importlib,sys
importlib.reload(sys)



api_url = 'https://mbd.baidu.com/webpage?'

f = open('dynamic.txt', 'w', encoding='utf-8')
f.close()
f = open('article.txt', 'w', encoding='utf-8')
f.close()

f = open('video.txt', 'w', encoding='utf-8')
f.close()


def write_txt_d(content):
    with open('dynamic.txt', 'a+', encoding='utf-8') as f1:
        f1.write(content)
        f1.close()


def write_txt_a(content):
    with open('article.txt', 'a+', encoding='utf-8') as f1:
        f1.write(content)
        f1.close()


def write_txt_v(content):
    with open('video.txt', 'a+', encoding='utf-8') as f1:
        f1.write(content)
        f1.close()




def dynamic():
    """
    动态资源获取
    :return:
    """
    ctime = ''
    while True:
        params = {
            'tab': 'dynamic',
            'num': '10',
            'uk': 'FqzL6WxL7taxiI2tDzr_9A',
            'source': 'pc',
            'ctime': ctime,
            # 'ctime': '16215848239999',
            'type': 'newhome',
            'action': 'dynamic',
            'format': 'jsonp',
            'otherext': 'h5_20210521143926',
            'Tenger-Mhor': '3133358778',
            # 'callback': '__jsonp11622020821123',
        }
        # 自动获取cookie
        session = requests.Session()
        session.get(url=api_url)
        response = session.get(url=api_url, params=params)
        page = response.text
        # print(page)

        a = re.findall(r'"https:\\/\\/mbd.baidu.com\\/newspage\\/data\\/.*?"', page)        # 获取动态全文页面的url
        a = [i.replace('\\', '').replace('"', '') for i in a]                                # 清洗成可访问的动态全文页面的url
        ctime  = re.findall(r'"query":{"ctime":"(.*?)"', page)                              # 获取动态全文页面的url
        if not ctime:
            return
        ctime = ctime[0]
        # print(a,ctime)
        for url_i in a:
            page_z = session.get(url=url_i)
            txt_context = page_z.text
            try:
                txt_context = re.findall(r'"date":.*?"follow', txt_context, re.S)[0]                 # 获取页面有用的数据
            except:
                continue
            print('************************************************************************************')
            # print(txt_context)
            read_num = re.findall(r'readNum":{"count":(.*?)},', txt_context, re.S)[0]  # 获取页面有用的数据
            print("网页地址:", url_i)
            print("阅读量:", read_num)

            time_str = re.findall('"date":"(.*?)",', txt_context)[0] + " " + re.findall('"time":"(.*?)",', txt_context)[0]
            print("动态发布时间:", time_str)
            content_txt = re.findall('"title":"(.*?)"', txt_context)[0]
            content_txt = re.sub(r'\[.*?]', '', content_txt)             # 把表情图片剔除掉
            # content_txt = content_txt.rpl
            print("文章内容:", content_txt.encode('utf-8').decode('unicode-escape'))
            image_url = re.findall('"image_url":"(.*?)"', txt_context)
            image_url = [i.replace('\\', '').replace('"', '') for i in image_url]  # 清洗成可访问的动态全文页面的url
            print("文章图片地址:", image_url)
            # img = 'https://pics0.baidu.com/feed/060828381f30e9241b7c2e5e2fbae00e1f95f7c4.jpeg?token=5ce97d75300ceb50f1856941a7c1c10d'
            praise_num = re.findall(r'"praise_num":(\d+),', txt_context)        # 点赞数
            commentNum = re.findall(r'"commentNum":(\d+),', txt_context)        # 评论数
            print("点赞数:{}，评论数:{}.".format(praise_num[0], commentNum[0]))
            str_content = "网页地址:" + url_i + '\n' + "阅读量:" + read_num + '\n' + "动态发布时间:" + time_str + '\n' + \
                          "文章内容:" + content_txt.encode('utf-8').decode('unicode-escape') + "\n" + "文章图片地址:" + \
                          str(image_url) + '\n' + "点赞数:{}，评论数:{}.".format(praise_num[0], commentNum[0]) + '\n' +\
                            "************************************************************************************" + "\n"
            write_txt_d(str_content)

            # time.sleep(1)

dynamic()


def article():
    """
    文章资源获取
    :return:
    """
    ctime = ''
    time_start = datetime.now()

    while True:
        params = {
            'tab': 'article',
            'num': '10',
            'uk': 'FqzL6WxL7taxiI2tDzr_9A',
            'source': 'pc',
            'ctime': ctime,
            'type': 'newhome',
            'action': 'dynamic',
            'format': 'jsonp',
            'otherext': 'h5_20210521143926',
            'Tenger-Mhor': '3133358778',
            # callback: __jsonp41622099188559
        }
        session = requests.Session()
        session.get(url=api_url)

        response = session.get(url=api_url, params=params)
        page = response.text
        # print(page)

        a = re.findall(r'"url":"(.*?)",', page)  # 获取动态全文页面的url
        a = [i.replace('\\', '').replace('"', '') for i in a]  # 清洗成可访问的动态全文页面的url
        # print(a)
        ctime = re.findall(r'"ctime":(\d+)}', page)  # 获取动态全文页面的url
        # print(ctime)
        if not ctime:
            stop_time = datetime.now()
            print("运行所用时间:{}".format(stop_time-time_start))
            return

        # 获取需要请求的参数
        asyncParams = re.findall(r'"asyncParams":{(.*?)},', page)

        # 定义阅读量的列表
        read_num_list = []

        # 获取阅读量
        for i in asyncParams:

            asyncParams_url = r'https://mbd.baidu.com/webpage?type=homepage&action=interact&format=jsonp&Tenger-Mhor=3133358778&params=[{%s}]&uk=FqzL6WxL7taxiI2tDzr_9A&' % i
            qwq = session.get(url=asyncParams_url).text

            try:
                re_url = re.findall(r'"read_num":(.*?),', qwq)[0]
                read_num_list.append(re_url)
            except:
                print('qwqw')
                asyncParams_url = r'https://mbd.baidu.com/webpage?type=homepage&action=interact&format=jsonp&Tenger-Mhor=3133358778&params=[{%s}]&uk=FqzL6WxL7taxiI2tDzr_9A&' % i
                qwq = session.get(url=asyncParams_url).text
                re_url = re.findall(r'"read_num":(.*?),', qwq)[0]
                read_num_list.append(re_url)
                print("********未获取到重新获取一遍！*********")
                print(asyncParams_url)
                print(qwq)
                print(re_url)
                print(read_num_list)
                print('qwqw')
                # return

        for url_i in a:

            print("阅读量:", read_num_list[a.index(url_i)])
            print("网页地址:", url_i)
            page_z = session.get(url=url_i)
            # page_z = session.get(url=url_i)
            page_text = page_z.text

            # 文章发布时
            try:
                time_str = re.findall('"date":"(.*?)",', page_text)[0] +" "+ re.findall('"time":"(.*?)",', page_text)[0]
            except:
                continue

            print("文章发布时间:", time_str)
            text_title = re.findall(r'leTitle_28fPT">(.*?)<', page_text)[0]

            print("文章标题:", text_title)

            txt_context = re.findall(r'诸暨市禾福健康管理有限公司官方帐号,优质健康领域创作者(.*?)相关文章', page_text)[0]
            text = re.sub(r'<.*?>','',txt_context)
            print("文章内容:", text)

            # 文章图片获取:
            image_url = re.findall('img src="(.*?)"', txt_context)
            print("文章图片地址:", image_url, len(image_url))

            str_content = "网页地址:" + url_i + '\n' + "阅读量:" + read_num_list[a.index(url_i)] + '\n' + "动态发布时间:" + time_str + '\n' + \
                          "文章标题:" + text_title + '\n' + "文章内容:" + text + "\n" + "文章图片地址:" + \
                          str(image_url) + '\n' + "************************************************************************************" + '\n'
            print('************************************************************************************')
            write_txt_a(str_content)



article()

video_api = 'https://mbd.baidu.com/webpage?'
def video():
    ctime = ''
    video_n = 0
    ctime_list = []
    while True:

        params = {
            'tab': 'video',
            'num': '10',
            'uk': 'FqzL6WxL7taxiI2tDzr_9A',
            'source': 'pc',
            'ctime': ctime,
            'type': 'newhome',
            'action': 'dynamic',
            'format': 'jsonp',
            'otherext': 'h5_20210521143926',
            'Tenger-Mhor': '2959007734',
            # callback: __jsonp41622099188559
        }
        session = requests.Session()
        session.get(url=video_api)

        response = session.get(url=api_url, params=params)
        page = response.text
        # print(page)

        a = re.findall(r'"share_url":"(.*?)"', page)  # 获取动态全文页面的url
        a = [i.replace('\\', '').replace('"', '') for i in a]  # 清洗成可访问的动态全文页面的url
        ctime = re.findall(r'"query":{"ctime":(.*?)}', page)  # 获取动态全文页面的url
        ctime_list.append(ctime)
        # print(a,ctime)
        if not ctime:
            return
        if ctime_list.count(ctime) > 1:
            return
        for url_v in a:
            page_z = session.get(url=url_v)
            txt_context = page_z.text
            # print(txt_context)
            print('网页地址:'+url_v)
            video_title = re.findall(r'title">(.*?)<', txt_context)
            print('视频标题:'+video_title[0])

            time_num = re.findall(r'laynums">(.*?)<', txt_context)
            print('播放次数和时间:'+time_num[0])

            video_download = re.findall(r'"url":"(.*?)"', txt_context)
            video_download = [i.replace('\\', '').replace('"', '') for i in video_download]
            print(video_download[-1])
            video_n += 1
            print(video_n)
            bytes_v = session.get(url=video_download[-1]).content

            with open('./video/{}.mp4'.format(video_n), 'wb') as fv:
                fv.write(bytes_v)

            str_content = "网页地址:" + url_v + '\n' + '播放次数和时间:'+time_num[0] + '\n' + \
                          "视频标题:" + video_title[0] + "\n" + "本地视频名称:" + '{}.mp4'.format(video_n) + "\n" + "视频下载地址:" + \
                          video_download[-1] + '\n' + "************************************************************************************" + '\n'
            write_txt_v(str_content)
            print('************************************************************************************')

video()
qtgw_url = 'https://author.baidu.com/home?from=bjh_article&app_id=1536910259501019'

采集后的txt文件:
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

小鹿的
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
R语言使用epiDisplay包的mhor函数执行Cochran-Mantel-Haenszel检验并可视化、检验两个分类变量在调整（控制）第三个变量的情况下是否独立、输入数据为三维列联表
statistics+insight+vista+power
06-10 250
R语言使用epiDisplay包的mhor函数执行Cochran-Mantel-Haenszel检验并可视化、检验两个分类变量在调整（控制）第三个变量的情况下是否独立、输入数据为三维列联表
易语言百度信息采集器
07-19
易语言百度信息采集器源码,百度信息采集器,数据处理
R语言使用table函数计算列联表（三维维频数表）、使用epiDisplay包的mhor函数检验两个分类变量在调整（控制）第三个变量的情况下是否独立（Cochran-Mantel-Haenszel检验
statistics+insight+vista+power
06-07 310
R语言使用table函数计算列联表（三维维频数表）、使用epiDisplay包的mhor函数检验两个分类变量在调整（控制）第三个变量的情况下是否独立（Cochran-Mantel-Haenszel检验）
百家号采集发布者的高阶秘籍，助你成为顶级内容创作者
oGuJing123的博客
09-26 123
作为一名百家号的采集发布者，我在这里要和大家分享一下我的经验。在过去的几年里，我积累了一些经验，希望能够对其他采集发布者有所帮助。1.深入了解百家号平台在开始之前，我们需要对百家号平台有一个全面的了解。这包括了平台的政策规定、内容审核标准以及用户需求等方面。只有真正理解了平台的特点和要求
R语言使用epiDisplay包的mhor函数检验两个分类变量在调整（控制）第三个变量的情况下是否独立、计算优势比、可视化分层病例对照研究图（Cochran-Mantel-Haenszel检验）
statistics+insight+vista+power
06-08 267
R语言使用epiDisplay包的mhor函数检验两个分类变量在调整（控制）第三个变量的情况下是否独立、计算优势比（odds ratio）、可视化分层病例对照研究图（Cochran-Mantel-Haenszel检验）
python scrapy+mongodb爬取百度百家号与新浪新闻
MarrieChen的博客
07-29 1437
此前我爬取了zhihu的相关问答，为了更好地收集信息，原本的打算是爬取百度资讯的内容，但在对页面进行分析后发现，在百度资讯的搜索结果中，百家号的页面格式比较统一，便于爬取；而其他媒体网站的页面格式比较繁杂，并且在百度特定关键词搜索结果中，像腾讯新闻、新浪新闻等比较具有可信度，并且格式较为统一的页面，数量其实非常少，所以从百度资讯的媒体网站爬取数据是不太现实的。此时我发现，新浪具有新闻的检索功能，来源较为广泛，并且新浪作为转载网站，为页面提供了较为统一清晰的格式。所以最终我决定爬取百度百家号+新浪新闻信息。
R语言笔记⑥——网络爬虫
ww0peo的博客
03-01 2206
爬虫 假设有如下页面 下面将新闻的内容提取出来 > url <- 'https://mbd.baidu.com/newspage/data/landingsuper?context=%7B"nid"%3A"news_9194136950339436704"%7D&n_type=0&p_from=1' > web <- read_html(url,enc...
百度图片的动态爬取
zhm123456的专栏
03-14 461
百度图片搜索第一次只能显示前30张图片，向下滚动鼠标可以加载第二页、第三页。。。图片。这样就要在开发工具中查看每天页地址 第一步：分析URL 按关键字百度图片，按F12键打开开发工具，切换到NetWork选项卡XHR（XmlHttpRequest）项, 刷新一下页面： 单击acjson....在headers中可以看到完整的超链接： Request URL:https://image.baidu.com/search/acjson?tn=resultjson_com&logid=1090
Golang爬虫
qq_27490261的博客
10-05 221
目标URL：V女神 package main import ( "errors" "fmt" "io/ioutil" "net/http" "net/url" "os" "path" "regexp" "strings" "github.com/tidwall/gjson" ) func main() { DoWork(nil) } // 处理数据 func Pr...
百度百家号旋转验证码识别代码分享
最新发布
Dxy1239310216的博客
01-29 2146
这个旋转验证码非常有特色，而且有很大的难度。特别是在标记训练图片的时候，非常耗费时间。得塔云。
多动态采集_labview多动态采集数据_labview，PLC_labview_PLC_
10-01
多动态采集数据，labview，能够对PLC进行多组数据的采集
vb串口数据采集及曲线动态显示.docx
12-01
vb串口数据采集及曲线动态显示.docx
工业企业评价数据采集信息表.docx
12-17
工业企业评价数据采集信息表.docx
火车头如何按作者采集百家号
okmad的博客
01-27 1053
进入百家号页面按f12，点击 文章 分类，浏览器自动会抓 到 他百家号的json 的包， 如下图network项目下找到类似webspage?tab=article&number=10…. 复制General-Request URL的结果到地址栏，然后就会出来每篇文章的 id，类似于 https://baijiahao.baidu.com/s?id=169********151" 直接放进火车头里面，就可以采集出来他的标题和内容了，内容页直接采集就可以了，没有任何禁止。可以用Xpath规则。 来源
php百家号爬虫,百家号爆文采集
weixin_39924198的博客
04-09 966
百家号是全球最大中文搜索引擎百度为内容创作者提供的内容发布、内容变现和粉丝管理平台。 百家号的使命：帮助内容创作者“在这里影响世界”。在百家号中，有许多优质文章需要采集。本文采集的字段是标题、发文者、时间、阅读数和正文。大家在实际操作过程中，可根据自身需求更改字段内容。此网站需要注意的是网页应用了ajax技术、系统自动生成的流程图会出现重复数据，需手动调整。采集网站：https://baijia....
python爬取百度新闻采集教程
xiaomaseo的博客
11-16 1517
各位站长朋友大家好，今天小编继续给大家分享一下我们在做SEO文章收录的时候，如何寻找采集目标网站，还有关键词的设置。掌握这两个方法的目的呢是让你批量的能够找到更多的文章，同时可以把文章的标题和文章的内容做二次的伪原创。采集目标的话，这里我们可以去百度新闻源，它是包含海量资讯的新闻服务平台。可以搜索新闻事件、热点话题、人物动态、产品资讯等，快速了解它们的最新进展，基本上是覆盖了各行各业，完全能满足我们的采集需求！ 首先第一点我们来看一下如何寻找采集的网站，就是说哪些网站你能采集或者是说去哪儿找，对吧..
python爬取百度搜索动态网页
artzers的专栏
02-25 5776
简单的网络爬虫无法获取动态网页的真实内容，纯技术分析动态页面又过于复杂。web自动化测试工具selenium可以启动浏览器，模拟人的行为去打开网页并获取正确的动态页面信息，是简单可行的一种动态网络爬取方法
百家号爬虫（获取各领域创作者appid）
weixin_43329319的博客
10-10 2060
百家号爬虫（获取各领域创作者appid） 由于百度的限制，每个领域最多能获取760个id #!/usr/bin/env python3 # -*- coding: utf-8 -*- from urllib.parse import quote from urllib import request from bs4 import BeautifulSoup from urllib import...
浏览器cookie转selenium cookie登录
yutu75的博客
06-23 2024
python使用selenium模拟操作Chrome浏览器,cookie的生成chrome浏览器驱动 http://chromedriver.storage.googleapis.com/index.html 找到对应驱动并下载。我是从浏览器去拿的如图： 结果图:
百度地图如何进行数据采集
06-08
百度地图进行数据采集的方式主要有以下几种： 1. 实地勘测：百度地图会派遣专业的勘测团队，使用各种测量仪器和设备对实地进行勘测，采集各种地理信息数据。比如道路交通信息、建筑信息、地形信息等。 2. 卫星遥感：百度地图使用卫星遥感技术，通过卫星图像采集各种地理信息数据，如地图底图、高程数据等。 3. 气象数据：百度地图会获取气象数据，包括天气信息、空气质量、降雨数据等，以提供更加准确的地图服务。 4. 用户反馈：百度地图还会通过用户反馈的方式进行数据采集，比如用户可以在地图上标注POI（兴趣点）信息、报告道路交通情况等。 通过以上多种方式，百度地图可以获取各种地理信息数据，并对数据进行清洗、加工和整合处理，以提供准确、实时的地图服务。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值