python+selenium+requests 爬虫贴吧回复数点赞数分享数以及其他信息

最新推荐文章于 2024-01-02 21:42:01 发布
置顶 最新推荐文章于 2024-01-02 21:42:01 发布
阅读量1k 收藏 2
点赞数
分类专栏： it技术爬虫 文章标签： python selenium
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32934061/article/details/105077734
版权

python 爬取贴吧帖子的评论数点赞数分享数等信息

web贴吧爬取

贴吧app抓包爬取

贴吧其他途径爬取

首先的我们先运用我们的属性的web来爬取贴吧的帖子，我们进入pc端的某个吧的贴吧，点进去某个帖子开始获取回复数
好了开始上粗略点的python2.7+ selenium代码了

#coding:utf-8
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
chrome_options = Options()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--disable-dev-shm-usage')
chrome_options.add_argument('--disable-gpu')
datas= []

browser = webdriver.Chrome()


## 爬取贴吧阴阳师百闻牌吧

def crawl_tieba(url):
	
	"""
	param: url 需要爬取的贴吧的链接
	return: None
	"""
	browser.get(url)
	## 我们这里只爬取前两页做示范就好了
	num = 1
	while  num <3:
		## 我们找到thread_list存放的位置的id
		thread_list = browser.find_element_by_id("thread_list")
		j_thread_lists = thread_list.find_elements_by_class_name(" j_thread_list")
		for j_thread in j_thread_lists:
			## 
			for i in  j_thread.find_elements_by_class_name("j_th_tit"):
				if i.get_attribute("href"):
					## 这样就把所有的想要的帖子链接都装进一个列表里面
					datas.append(i.get_attribute("href"))
		num +=1


def crawl_thread(url):
	"""
	param: 单个帖子的url
	return: None
	"""
	browser.get(url)
	thread_theme_5 = browser.find_element_by_class_name("thread_theme_5")
	l_reply_num = thread_theme_5.find_element_by_class_name("l_reply_num")
	red = l_reply_num.find_element_by_class_name("red")
	print red.text	

crawl_tieba("https://tieba.baidu.com/f?kw=%E9%98%B4%E9%98%B3%E5%B8%88%E7%99%BE%E9%97%BB%E7%89%8C&ie=utf-8&pn=0")
crawl_thread(datas[0])
browser.close()

到这的话我们是已经获取了阴阳师百闻牌前两页帖子的数量，并且存到的datas当中，获取到第一条帖子的回复数
到这我话我们web目前是不会
我们通过fiddler也没发现什么可用的接口，抓包app也没有，笔者寻找了许久发现还是有别人的路径可用的
接下来我们开始获取帖子的回复数分享数等等其他想要并且公开的数据

笔者找到一个开放出来的api 用postman请求之后得到他会返回三个数据如下图所示的reply，like，recommed
在这里插入图片描述

这样子看起来可能还是有些不够清晰接下来我们看看我们在里面想要的结果在这里插入图片描述
如上图所示的相关字段就是我们想要的字段啦，下面我们用requests来请求接口获取相应的数据

import requests

def replay_share_num(url):
	"""
	param: url为贴吧的单条帖子链接
	return: dictionary
	"""

	## 通过观察所获取的帖子不难发现地址后面都是没有带？等等其他的参数的这样子我们就很好办了
	## 连正则表达式都不要写
	## 我们直接通过rfind("/")
	headers = {
			"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) \
			AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3573.0 Safari/537.36",
			'Connection': 'close',
			}


	thread_id = url[url.rfind("/") +1 :]
	_url = "https://tieba.baidu.com/mo/q/pb/page/m?kz=%s&fr=newshare&r=2&m=11" % thread_id

	## 记得处理一下异常
	try:
		##  请求的我们的加上个请求超时时间，一般的请求都会在1秒完成，特别是像贴吧这些大厂就
		##  更追求用户的体验了，所以我们这里的超时时间最坏的情况下设置5s就ok啦
		req = requests.get(_url, headers=headers, verify=False, timeout=5)
		## 判断一下请求是否成功
		if req.status_code==200 :

			## 返回的是一个json对象
			req_d = req.json()

			## 数据的位置在data---> thread下我们获取一下这个thread
			thread = req_d.get("data",dict()).get("thread",dict())
			if thread:

				## 获取回复数
				reply_num = thread.get("reply_num", 0)
				## 获取分享数
				share_num = thread.get("share_num", 0)
				## 获取点赞数
				agree_num = thread.get("agree", dict()).get("agree_num", 0)
				print reply_num, share_num, agree_num 
				return {"reply_num": reply_num, "share_num": share_num, "agree_num": agree_num}

			return {"error": "获取数据异常了"}

	except Exception as e:
		return {"error": "异常了"}

到这里的话我们想要获取的某个帖子的回复数，点赞数，分享数就获取完成啦

下面贴下完整的代码

#coding:utf-8
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import requests
chrome_options = Options()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--disable-dev-shm-usage')
chrome_options.add_argument('--disable-gpu')
datas= []


browser = webdriver.Chrome()


## 爬取贴吧阴阳师百闻牌吧

def crawl_tieba(url):
	
	"""
	param: url 需要爬取的贴吧的链接
	return: None
	"""
	browser.get(url)
	## 我们这里只爬取前两页做示范就好了
	num = 1
	while  num <3:
		## 我们找到thread_list存放的位置的id
		thread_list = browser.find_element_by_id("thread_list")
		j_thread_lists = thread_list.find_elements_by_class_name(" j_thread_list")
		for j_thread in j_thread_lists:
			## 
			for i in  j_thread.find_elements_by_class_name("j_th_tit"):
				if i.get_attribute("href"):
					## 这样就把所有的想要的帖子链接都装进一个列表里面
					datas.append(i.get_attribute("href"))
		num +=1


def crawl_thread(url):
	"""
	param: 单个帖子的url
	return: None
	"""
	browser.get(url)
	thread_theme_5 = browser.find_element_by_class_name("thread_theme_5")
	l_reply_num = thread_theme_5.find_element_by_class_name("l_reply_num")
	red = l_reply_num.find_element_by_class_name("red")
	print red.text	


def replay_share_num(url):
	"""
	param: url为贴吧的单条帖子链接
	return: dictionary
	"""

	## 通过观察所获取的帖子不难发现地址后面都是没有带？等等其他的参数的这样子我们就很好办了
	## 连正则表达式都不要写
	## 我们直接通过rfind("/")
	headers = {
			"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) \
			AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3573.0 Safari/537.36",
			'Connection': 'close',
			}


	thread_id = url[url.rfind("/") +1 :]
	_url = "https://tieba.baidu.com/mo/q/pb/page/m?kz=%s&fr=newshare&r=2&m=11" % thread_id

	## 记得处理一下异常
	try:
		##  请求的我们的加上个请求超时时间，一般的请求都会在1秒完成，特别是像贴吧这些大厂就
		##  更追求用户的体验了，所以我们这里的超时时间最坏的情况下设置5s就ok啦
		req = requests.get(_url, headers=headers, verify=False, timeout=5)
		## 判断一下请求是否成功
		if req.status_code==200 :

			## 返回的是一个json对象
			req_d = req.json()

			## 数据的位置在data---> thread下我们获取一下这个thread
			thread = req_d.get("data",dict()).get("thread",dict())
			if thread:

				## 获取回复数
				reply_num = thread.get("reply_num", 0)
				## 获取分享数
				share_num = thread.get("share_num", 0)
				## 获取点赞数
				agree_num = thread.get("agree", dict()).get("agree_num", 0)
				print reply_num, share_num, agree_num 
				return {"reply_num": reply_num, "share_num": share_num, "agree_num": agree_num}

			return {"error": "获取数据异常了"}

	except Exception as e:
		return {"error": "异常了"}










crawl_tieba("https://tieba.baidu.com/f?kw=%E9%98%B4%E9%98%B3%E5%B8%88%E7%99%BE%E9%97%BB%E7%89%8C&ie=utf-8&pn=0")
crawl_thread(datas[0])
replay_share_num(datas[0])
browser.close()

备注：笔者主要为python web开发工程师，下集准备爬取下今日头条的文章类的阅读数

qq_32934061
关注
专栏目录
python爬虫爬取贴吧
2201_76125393的博客
10-05 1289
百度贴吧是一个流行的中文在线社区，用户可以在各种话题下发表帖子并参与讨论。本教程将指导您使用Python来爬取百度贴吧首页，并将帖子信息保存到Excel文件中。该脚本旨在爬取指定百度贴吧的前100页内容，并保存每个帖子的信息，包括评论数、标题、链接、内容、作者和时间戳。
python爬贴吧回复内容_Python爬虫_获取贴吧内容
weixin_34563472的博客
02-04 726
对正则表达式要有更加深刻的研究，本程序对百度贴吧使用，但是截取不了表情。如果想把所有页面的内容都获取下来不难，拓展一下即可。# -*- coding:utf-8 -*-import urllibimport urllib2import re#处理页面标签类class Tool:#去除img标签,7位长空格 removeImg = re.compile('| {7}|')#删除超链接标签rem...
python贴吧-Python爬虫——抓取贴吧帖子
q6q6q的专栏
10-28 986
#-*- coding:utf-8 -*-#!/user/bin/pythonimporturllibimporturllib2importre#处理页面标签类classTool:#去除img标签,7位长空格 removeImg = re.compile('| {7}|')#删除超链接标签removeAddr = re.compile('|')#把换行的标签换为 replaceLine = ...
python爬贴吧回复_Python爬虫实践，获取百度贴吧内容
weixin_39962153的博客
11-24 356
经过前期大量的学习与准备，我们重要要开始写第一个真正意义上的爬虫了。本次我们要爬取的网站是：百度贴吧，一个非常适合新人练手的地方，那么让我们开始吧。本次要爬的贴吧是>，西部世界是我一直很喜欢的一部美剧，平时有空也会去看看吧友们都在聊些什么。所以这次选取这个吧来作为实验材料。注意：很多人学Python过程中会遇到各种烦恼问题，没有人解答容易放弃。为此小编建了个Python全栈免费解答.裙 ：一久武其...
python爬贴吧回复内容_python-requests库的使用之爬取贴吧内容并保存在本地
weixin_39570838的博客
02-04 550
以面向对象的程序设计方式，编写爬虫代码爬去‘李毅吧’所有页面的内容，也可以通过改变对象的参数来爬取其它贴吧页面的内容。所用到的库为：requests涉及知识点：python面向对象编程，字符串操作，文件操作，爬虫基本原理程序代码如下：import requestsclass TiebaSpider:def __init__(self, tieba_name):self.tieba_name=tie...
python爬贴吧回复_python爬取贴吧内容实例
weixin_39957461的博客
11-20 355
python爬取贴吧内容实例，这次结合实际例子讲解方法/步骤1打开python开发工具IDLE，新建‘tieba.py’文件，并写代码如下：import urllib.requestimport bs4导入urllib请求包和beautifulsoup处理包2创建发送请求的函数，函数返回网页源码，代码如下：def openWeb(url):sc = urllib.request.urlopen(u...
基于Python +Selenium的爬虫详解
最新发布
周萝卜的博客
01-02 2360
由于requests模块是一个不完全模拟浏览器行为的模块，只能爬取到网页的HTML文档信息，无法解析和执行CSS、JavaScript代码，因此需要我们做人为判断；selenium最初是一个自动化测试工具，而爬虫中使用它主要是为了解决requests无法执行javaScript代码的问题。selenium模块本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器；
Python+selenium 职位信息爬取
05-09
在数据处理和网络爬虫领域，Python拥有众多优秀库，如requests用于HTTP请求，BeautifulSoup或lxml用于HTML解析，以及我们这里提到的selenium库，它主要用于模拟浏览器行为，从而能够抓取JavaScript动态加载的内容。...
python + selenium +pyquery 爬虫 爬取 1688详情图片 阿里巴巴详情图片 与标题 下载图片并进行压缩 仅供学习交流使用 .zip
08-17
5. **图片下载**：对每个找到的图片URL，使用Python的`requests`库下载图片到本地，并保存到特定目录。 6. **图片压缩**：可以使用第三方库如`Pillow`或`imageio`对下载的图片进行压缩，减少文件大小。 7. **数据...
动态网页的信息爬取（Python+Selenium）
qq_55691662的博客
12-14 2692
文章目录一、Selenium1.1 简介1.2 配置环境二、自动填充百度网页的查询关键字并完成自动搜索三、爬取一个动态网页的数据3.1 查看元素3.2 代码四、爬取京东网站上的感兴趣书籍信息4.1 查看元素4.2 代码五、总结六、参考文献 一、Selenium 1.1 简介 Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，类型像我们玩游戏用的按键精灵，可以按指定的命令自动操作，不同是Selenium 可以直接运行在浏览器上，它支持所有主流的浏览器（包括PhantomJS这些无界
python爬虫百度贴吧图片，内容，头像爬取代码及解析
06-19
python爬虫百度贴吧图片，内容，头像爬取代码及解析。网上博客一般只有百度贴吧的内容或者图片爬虫，我主要在此基础上，写了一些图片，头像，内容等信息的爬虫，主要用到beautifulsoup库等简单操作，适用于新手爬虫
Twitter-Bot-Selenium：Twitter-Bot-Selenium模拟一个真实人物的进入并使用不同的关键字执行“赞”，“转发”，“关注”和“取消关注”等操作
02-06
Twitter-Bot-Selenium Twitter-Bot-Selenium模拟一个真实人物的条目，并使用不同的关键字执行“喜欢”，“转发”，“关注”和“取消关注”等动作。
python+selenium百度贴吧自动签到脚本
10-16
linux下python+selenium实现无图形百度贴吧自动签到例程，其中使用firefox火狐浏览器，geckodriver需自行安装。可添加至计划任务定期执行。
python 爬取贴吧信息
BUPT-WT的博客
03-25 583
# -*- coding: utf-8 -*- import urllib.request as urllib2 import json import os from lxml import etree def get_tz_id(tb_name, page_num): tz_id = [] for page in range(1, page_num + 1): ...
python爬虫之批量爬取百度贴吧评论
小小雨伞的博客
09-20 3237
import requests import re from bs4 import BeautifulSoup # 引入BS库 # 实现run方法 # 1.url列表 # 2.遍历,发送请求,获取响应 # 3.保存 class TiebaSpider: def __init__(self, tieba_name): self.tieba_name = tieba_name self.url_temp = "https://tieba.baidu.com/f?k
selenium + xpath + requests贴吧爬虫
cyj5201314的博客
03-21 278
代码运行需要selenium与mongodb环境，爬取母校贴吧10页的帖子内容与图片rul import requests from lxml import etree from selenium import webdriver import re import pymongo class TieBa(object): def __init__(self): sel...
python:点赞功能
weixin_30246221的博客
12-08 430
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd"> <html> <head> <meta charset="UTF-8"> <title&g...
python简单爬虫实例7之使用selenium通过标签抓取贴吧特定内容并保存
任萌新的小生活
02-20 1415
本次使用selenium模拟浏览器，并提取数据。 任务：针对百度贴吧，根据标签定位特定内容，并且提取帖子名称、作者、回复数，并且自动点击下一步 1.selenium的安装与使用：              第一步：在python环境中安装selenium，该过程可以参考我的一个帖子https://blog.csdn.net/RHJlife/article/details/87624520安装...
Java+Selenium爬贴吧
ak01_10的博客
08-06 247
想爬贴吧很多年了，一直拖到现在。前几天心血来潮，决定搞起。 大致思路如下： 启动driver》进入贴吧第一页》通过getPageUrls方法获取所有帖子的url和标题》找到下一页按钮并点击。如此循环，拿到整个贴吧帖子的url。 理想状态就是这样了。 遗憾的是，爬到大概一万个帖子时，再翻页时，显示的是当天的帖子，更古老的帖子都被百度屏蔽了。 public static void searchBa() { String tieba="%E6%9D%8E%E6%AF%85"; String driverP
Python requests + Selenium爬取Office VBA官方文档：导航与内容获取详解
本文档主要介绍了如何利用Python 3.7结合requests和selenium库，针对Microsoft Office VBA API官方文档（）进行自动化爬取的过程。由于作者在编写VBA代码时遇到缺少本地帮助工具的问题，导致在处理文档时不便，因此...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值