爬取在行平台数据（2）——动态页面加载分析

最新推荐文章于 2021-01-03 02:45:50 发布
最新推荐文章于 2021-01-03 02:45:50 发布
阅读量180 收藏 1
点赞数 1
分类专栏： Python网络爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39594496/article/details/90598635
版权

前篇已经获取行家主页的URL。这次工作主要是获取主页上的数据。

看看主页上有啥

选一个行家主页进去看看有什么数据。
在这里插入图片描述
可能需要的东西都用红框标出。除了最上面地址栏中的行家编号，下面用红框标出的内容分别有所在城市、职业简述（文本数据可以考虑做个文本分类）、评分、响应率、约聊人数和行家的照片（照片信息可以获取其性别、年龄区间等，用CNN训练个分类器即可，下次说）。

网页继续往下拉。
在这里插入图片描述
到话题部分了，框住的有话题内容，话题价格（有点高。。。）等。

接着往下拉，看下还有什么。
在这里插入图片描述
评论信息部分，有评论数量、评论内容、行家回复内容。

获取数据

除了评论部分的数据，都可以直接在Element中找到，不详细说明，代码如下。

def get_data(ite_):
	# 利用编号构造主页URL
	url = 'https://www.zaih.com/falcon/mentors/' + ite_
	pattern_1 = re.compile(r'[\s+￥]')
	pattern_2 = re.compile(r'[(](.*)[)]')
	page = urlopen(url)
    bs0bj = BeautifulSoup(page, 'lxml')

    # 下载图片
    hj_image_url = bs0bj.find('div', {'class': 'mentor-info__avatar'})
    image_url = hj_image_url['style']
    url = pattern_2.findall(image_url)
    image_download_url = ite_ + '.png'
    urlretrieve(url[0], image_download_url)

    # 基础信息
    hj_basic = []
    hj_name = bs0bj.find('div', {'class': 'mentor-info__name'}).get_text()
    hj_basic.append(hj_name)
    hj_location = bs0bj.find('div', {'class': 'mentor-info__city'}).get_text()
    hj_basic.append(hj_location)
    hj_job = bs0bj.find('div', {'class': 'mentor-info__title'}).get_text()
    hj_basic.append(hj_job)
    hj_ = bs0bj.findAll('span', {'class': 'content'})
    hj_score = hj_[0].get_text()
    hj_basic.append(hj_score)
    hj_re = hj_[1].get_text()
    hj_basic.append(hj_re)
    hj_num = hj_[2].get_text()
    hj_basic.append(hj_num)
    item_change = [pattern_1.sub('', item) for item in hj_basic]

    # 话题部分
    topic = bs0bj.findAll('li', {'class': 'topic-item'})
    topic_num = len(topic)
    hj_topic = [topic_num]
    for i in range(topic_num):
        word = topic[i].find('div', {'class': 'topic-item__content'}).find('p').get_text()
        hj_topic.append(word)
        price = topic[i].find('span', {'class': 'price'}).get_text()
        price_change = pattern_1.sub('', price)
        hj_topic.append(price_change)

	return item_change, hj_topic

评论部分的问题是爬取评论类数据最常遇到的问题，页面动态加载更多评论。在行的行家主页每次会显示十条评论（用户评论数比上面多了一个呃，这张图比之前那张晚截了几天）。
在这里插入图片描述

F12打开开发者工具，观察Network下Xhr的传输内容，如下：
在这里插入图片描述
如图，可以看到响应数据包括十条评论信息，我们需要comments和replies部分的内容。观察请求头的信息，如下：

在这里插入图片描述
Request Method为GET，Request URL也仅仅需要改变页数page的参数，即可获得相应评论页的评论信息。此外，Response Headers中有评论总数x-total-count，可用于计算总页数。如下图：
在这里插入图片描述

代码如下：

def get_comment(ite_):
	comment = []
    url = 'https://www.zaih.com/falcon/meet_api/v1/mentors/' + ite_ + '/comments?page=1&per_page=10'
    # 评论总数，可在请求头中
    file = urlopen(url).info()['x-total-count']
    file = int(file)
    comment.append(file)
    # 获取每条评论
    # XHR每次会返回10条评论，计算返回的次数
    xhr_page = math.ceil(file / 10)
    comment_url_p1 = 'https://www.zaih.com/falcon/meet_api/v1/mentors/' + ite_ + '/comments?page='
    comment_url_p2 = '&per_page=10'
    for i in range(xhr_page):
        comment_url = comment_url_p1 + str(i+1) + comment_url_p2
        html = requests.get(comment_url).json()
        num_per_page = len(html)
        for j in range(num_per_page):
            hj_com = html[j]['comments']
            hj_com = pattern_1.sub('', hj_com)
            comment.append(hj_com)
            a = html[j]['replies']
            if len(a) != 0:
                x = pattern_1.sub('', a[0]['content'])
                comment.append(x)
            else:
                comment.append('无')

	return comment

代码汇总

from bs4 import BeautifulSoup
from urllib.request import urlopen
import re
import requests
from urllib.request import urlretrieve
import math


def get_data(ite_):
	# 利用编号构造主页URL
	url = 'https://www.zaih.com/falcon/mentors/' + ite_
	pattern_1 = re.compile(r'[\s+￥]')
	pattern_2 = re.compile(r'[(](.*)[)]')
	page = urlopen(url)
    bs0bj = BeautifulSoup(page, 'lxml')

    # 下载图片
    hj_image_url = bs0bj.find('div', {'class': 'mentor-info__avatar'})
    image_url = hj_image_url['style']
    url = pattern_2.findall(image_url)
    image_download_url = ite_ + '.png'
    urlretrieve(url[0], image_download_url)

    # 基础信息
    hj_basic = []
    hj_name = bs0bj.find('div', {'class': 'mentor-info__name'}).get_text()
    hj_basic.append(hj_name)
    hj_location = bs0bj.find('div', {'class': 'mentor-info__city'}).get_text()
    hj_basic.append(hj_location)
    hj_job = bs0bj.find('div', {'class': 'mentor-info__title'}).get_text()
    hj_basic.append(hj_job)
    hj_ = bs0bj.findAll('span', {'class': 'content'})
    hj_score = hj_[0].get_text()
    hj_basic.append(hj_score)
    hj_re = hj_[1].get_text()
    hj_basic.append(hj_re)
    hj_num = hj_[2].get_text()
    hj_basic.append(hj_num)
    item_change = [pattern_1.sub('', item) for item in hj_basic]

    # 话题部分
    topic = bs0bj.findAll('li', {'class': 'topic-item'})
    topic_num = len(topic)
    hj_topic = [topic_num]
    for i in range(topic_num):
        word = topic[i].find('div', {'class': 'topic-item__content'}).find('p').get_text()
        hj_topic.append(word)
        price = topic[i].find('span', {'class': 'price'}).get_text()
        price_change = pattern_1.sub('', price)
        hj_topic.append(price_change)

	return item_change, hj_topic


def get_comment(ite_):
	comment = []
    url = 'https://www.zaih.com/falcon/meet_api/v1/mentors/' + ite_ + '/comments?page=1&per_page=10'
    # 评论总数，可在请求头中
    file = urlopen(url).info()['x-total-count']
    file = int(file)
    comment.append(file)
    # 获取每条评论
    # XHR每次会返回10条评论，计算返回的次数
    xhr_page = math.ceil(file / 10)
    comment_url_p1 = 'https://www.zaih.com/falcon/meet_api/v1/mentors/' + ite_ + '/comments?page='
    comment_url_p2 = '&per_page=10'
    for i in range(xhr_page):
        comment_url = comment_url_p1 + str(i+1) + comment_url_p2
        html = requests.get(comment_url).json()
        num_per_page = len(html)
        for j in range(num_per_page):
            hj_com = html[j]['comments']
            hj_com = pattern_1.sub('', hj_com)
            comment.append(hj_com)
            a = html[j]['replies']
            if len(a) != 0:
                x = pattern_1.sub('', a[0]['content'])
                comment.append(x)
            else:
                comment.append('无')

	return comment


if __name__ == '__main__':
	ite = '2bgdjpas3dh'
	result_basic, result_topic = get_data(ite)
	result_comment = get_comment(ite)
啊_梅&奶茶店
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
WebCollector爬取JS加载的数据
AJAXHu的专栏
02-16 7227
WebCollector爬取JS加载的数据只需要自定义一个Requester即可，下面这个例子可以获取加载完成后的页面（但对于一边滚动一边加载数据的网页，需要修改代码）代码需要依赖WebCollector内核和selenium相关jar包：selenium及相关jar包下载import cn.edu.hfut.dmic.webcollector.net.HttpResponse; import cn
我的Python爬虫笔记（二）——动态加载网页
BlackPenguin的博客
03-23 828
这次爬取京东商品搜索页面的商品相关信息，搜索页面先加载前30个商品的信息，后30个信息是后加载出来的。 比如搜索关键词为“书包”，第2页的url是：https://search.jd.com/Search?keyword=%E4%B9%A6%E5%8C%85&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&wq=%E4%B9%A6...
爬取在行平台数据（1）——动态加载页面分析
没同学的博客
04-26 578
谈及动态加载页面，最先想到的一种情形是这样的——“加载更多”： 面对这种动态加载的页面，要想获得更多的数据，往往需要借助开发者工具进行辅助分析。回归正题，本文依次介绍爬取对象、分析爬取内容。 爬取对象——在行 在行这个平台很多人可能不太熟悉，但是近些年知识付费的井喷式发展很多人应该深有体会，国内从最早的知乎平台，到前些年昙花一现的芬达、得到，每一款产品的运营都是一次新模式的尝试。 与上述专注线上...
EOS侧链BOS,MeetOne侧链新手入门
区块链斜杠青年(爱踢门)
03-02 3680
安装npm 具体参考https://blog.csdn.net/ITleaks/article/details/83651513 安装(install) js4eos npm install js4eos -g 然后就可以使用js4eos执行EOS cleos程序的相似操作 js4eos最新版本已增加较多功能，如你已安装js4eos，也强烈推荐你执行上述命令更新js4eos...
Python数据分析实践：数据拼接-2-new.pdf
06-14
在Python数据分析领域，数据拼接是一项基础且重要的操作，它允许我们将多个数据集组合成一个更大的数据集。在Pandas库中，`concat`函数是完成这一任务的主要工具。本篇将深入探讨如何使用`concat`进行数据拼接，以及...
机器学习和数据分析可能会用到的数据集集合
最新发布
01-09
它通常以表格的形式组织，数据在行和列之间具有固定的关联。结构化数据集可以使用关系型数据库或电子表格等工具进行存储和处理。 非结构化数据集：非结构化数据集是指没有固定模式和格式的数据，通常以文本、图像、...
实例讲解动态加载gridview中的行及其样式
10-26
动态加载行及其样式对于大型数据集尤其有用，因为它允许我们在需要时才加载和渲染行，从而减少了页面初始化时的负担。 总结起来，动态加载Gridview中的行及其样式是通过处理`RowDataBound`事件来完成的，这个过程中...
Excel数据整理与分析认识单元格引用共9页.pdf.zi
11-19
在Excel中，数据整理与分析是一项基础且至关重要的技能，尤其在商业环境中，它能帮助我们从海量数据中提取有价值的信息。单元格引用是Excel中处理和操作数据的核心概念之一，它允许我们在工作表的不同位置之间建立...
智慧旅游大数据云服务平台建设综合解决方案.pptx
04-25
【智慧旅游大数据分析平台建设和运营】是当前旅游业发展的重要趋势，旨在通过先进的信息技术提升旅游行业的管理效率、服务质量以及游客体验。智慧旅游大数据云服务平台的构建是这一过程的关键，它涵盖了旅游产业的多...
原生javascript爬取网页内所有的js文件并且排序
flyingpig2016的博客
10-24 2728
在工作当中需要抓取70000多个网页的内容，并统计出现次数最多的js文件，刚开始的时候觉得可以搞定，但是有几个问题我不得不理清思路，如果你要抓取别人的网页，首先要做几件事： 1.把每个url地址放在一个文件中； 2.用js读取每个url地址； 3.根据每个url地址获取该网页的内容； 4.根据内容正则匹配出所有的<script src=""><script>中的js的文件 5.把得到的文件
Virustotal使用
baidu_38802340的博客
11-08 8843
在使用virustotal对样本文件进行标注的时候发现了一个问题。 由于不知道文件的Hash值，没有办法直接上传hash进行查询，所以我先使用VT的scan API进行hash查询，然后将hash上传，使用VT的report API进行标注。但是有好多文件的标签没办法获取，于是我手动在API接口和网页分别上传了同一个文件，结果发现两处产生的hash值是不一样的，如下图。 API产生的hash： ...
requests 分类多级页面_爬虫（五）爬取豆瓣电视下所有分类的剧集信息
weixin_34795681的博客
01-03 440
工具：python 3.7.3 、Chrome 、PyCharm爬取过程一、安装库：1.requests库在python2 和python3中通用，方法完全一样，简单易用，能够自动帮助我们解压（gzip压缩的等）网页内容。response = requests.get(url, headers=headers)2.json库实现json数据和python内建数据的相互转换json.loads(re...
神器——Chrome开发者工具(一)
gnsydss的专栏
01-04 1889
原文地址 这里我假设你用的是Chrome浏览器，如果恰好你做web开发，或者是比较好奇网页中的一些渲染效果并且喜欢折腾，那么你一定知道Chrome的开发者工具了。其实其他浏览器也有类似工具，比如Firefox下的firebug。本文将会详细讲述如何使用Chrome开发者工具，希望里面有些让你感到惊艳的东西！即使你不用Chrome，那么文中的某些内容也会相当有用。 首先啰嗦一下如何打开开发者工具
nodejs 爬取动态网页
zhang6223284的博客
06-25 1万+
前言 准备工作 创建工程 今日头条爬虫代码 后记 前言 昨天实现了草榴的爬取 nodejs 做一个简单的爬虫爬草榴，今天对代码做了一部分修改，增加了可以指定开始页和结束页，并且给所有文件都单独创建了文件夹。那么问题来了，说好的爬 街拍图片 呢？毕竟爬完草榴的东西并不适合展示，所以，今天又尝试了一下爬今日头条的街拍图片。Talk is cheap，show ...
爬取网页动态内容
Co_zy的博客
10-16 876
这里以这个网站为例 https://knewone.com/ 在上下滚动中可以发现,这个网页底端没有下一页按钮,但是随着向下翻页,会出现新的内容,这是用js生成的,我们打开**F12开发者工具** 选择**Network**,**XHR**可以看到出现的新页面,然后可以用requests,beautifulsoup库进行爬取
nodejs 做一个简单的爬虫
热门推荐
zhang6223284的博客
04-29 8万+
前言 准备工作 创建工程 武大计算机学院新闻爬虫代码 草榴技术讨论区爬虫 后记 前言 （前言是废话可以略过）感觉我写的已经很基础了，就算没有编程经验的人应该也能做出来吧？ 起因是昨天中午在 stromzhang 的知识星球（会不会有广告嫌疑）上看到一个球友分享了这么一篇东西 链接如下： 今日头条街拍，又到养眼的季节 作为一个程序员，到现在还...
爬取JS动态加载的页面
Zerokas的博客
04-14 1万+
参考知乎：https://www.zhihu.com/question/21471960/answer/154098407 爬取网页上的评论：http://music.163.com/#/song?id=86375 请求评论数据的参数：params 和 encSecKey ，同时在Name栏目可以清楚地看到处理该参数的 js 文件为 core.js 美化JS代码后搜索这两个参数 ...
python学习-numpy
01-23
- 多维数组的切片可以同时在行和列上进行，如 `arr3[0:2, 1:3]` 获取第一行和第二行，第二列和第三列的子矩阵。 5. 数组的属性和方法： - `.size` 返回数组元素的总数。 - `.ndim` 返回数组的维度数。 - `.T` ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值