爬取腾讯课堂的课程评论

最新推荐文章于 2023-10-19 08:03:51 发布

星辰之嗨

最新推荐文章于 2023-10-19 08:03:51 发布

阅读量3.3k

点赞数 1

分类专栏： python

本文链接：https://blog.csdn.net/qq_37200689/article/details/84867083

版权

本文讲述了作者为了了解在线教育课程质量，尝试爬取腾讯课堂IT互联网类别下的课程评论。通过解析网页结构，逐步解析学习方向、课程分类和评论，最终成功获取动态加载的评论数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

最近想了解一下在线教育的课程的如何去选择，课程的质量如何？所以试着去爬了一下腾讯课堂，只爬了IT互联网这一项。

通过分析发现要想爬取到评论需要是个步骤：

解析学习方向，如下图所示：

学习方向
通过开发者工具审查元素，发现标签在<dl class="sort-menu sort-menu1 clearfix">下

然后去写解析代码：

·	# _pattern表示解析href的正则表达式
	def get_menu_link(self, url, _pattern):
	        headers = {
	            'user-agent': self.round_header()
	        }
	        start = time.perf_counter()
	        res = self.s.get(url, headers=headers)
	        if res is None:
	            return
	        content = res.text
	        menu_pattern = re.compile(r'<dl class="sort-menu sort-menu1 clearfix">(.*?)</dl>', re.S)
	        menu = re.findall(menu_pattern, content)
	        link_paternt = re.compile(_pattern, re.S | re.M)
	        if len(menu) != 0:
	            links = re.findall(link_paternt, menu[0])
	            end = time.perf_counter()
	            _time = end - start
	            print('{0}解析成功，共耗时：{1:f}s'.format(url, _time))
	            for item in links:
	                item = item.replace('&amp;', '&')
	                link = 'https://ke.qq.com{0}'.format(item)
	                yield link
	        else:
	            end = time.perf_counter()
	            _time = end - start
	            print('{0}解析失败！！！，共耗时：{1:f}s'.format(url, _time))
	            return None

解析学习方向下的分类，如下图所示（发现与第一步相似）：

到这里就要解析课程信息了，全部课程都在<ul class="course-card-list" auto-test="">下，如图所示：

解析代码如下：

	def get_course_list(self, url):
        headers = {
            'user-agent': self.round_header()
        }
        start = time.perf_counter()
        res = self.s.get(url, headers=headers)
        if res is None:
            return
        content = res.text
        course_card_list_pattern = re.compile(r'<ul class="course-card-list.+?">\s+(.+)\s+</ul>', re.S)
        course_card_list = re.findall(course_card_list_pattern, content)
        course_list_pattern = re.compile(r'<li class=