【Python实战】Python采集某大夫文字数据

最新推荐文章于 2024-11-01 09:35:00 发布
最新推荐文章于 2024-11-01 09:35:00 发布
阅读量2k 收藏 28
点赞数 15
文章标签： python 开发语言 http 网络协议 https
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaoganbuaiuk/article/details/137230802
版权
本文介绍了如何使用Python的requests和parsel库从好大夫网站采集问诊数据，包括设置请求头、处理cookies、解析JSON数据以及多页获取。作者通过示例代码展示了获取问诊文字信息的过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

前言

今天，有一位粉丝找到我，希望我出一期关于某大夫数据采集的文章，今天，我们就来采集某大夫的问诊数据。

环境使用

  • python 3.9
  • pycharm

模块使用

  • requests

模块介绍

  • requests

    requests是一个很实用的Python HTTP客户端库，爬虫和测试服务器响应数据时经常会用到，requests是Python语言的第三方的库，专门用于发送HTTP请求，使用起来比urllib简洁很多。

  • parsel

    parsel是一个python的第三方库，相当于css选择器+xpath+re。

parsel由scrapy团队开发，是将scrapy中的parsel独立抽取出来的，可以轻松解析html，xml内容，获取需要的数据。

相比于BeautifulSoup，xpath，parsel效率更高，使用更简单。

  • re

    re模块是python独有的匹配字符串的模块，该模块中提供的很多功能是基于正则表达式实现的，而正则表达式是对字符串进行模糊匹配，提取自己需要的字符串部分，他对所有的语言都通用。

  • os

    os 就是 “operating system” 的缩写，顾名思义，os模块提供的就是各种 Python 程序与操作系统进行交互的接口。通过使用 os 模块，一方面可以方便地与操作系统进行交互，另一方面也可以极大增强代码的可移植性。

  • csv

    它是一种文件格式，一般也被叫做逗号分隔值文件，可以使用 Excel 软件或者文本文档打开 。其中数据字段用半角逗号间隔（也可以使用其它字符），使用 Excel 打开时，逗号会被转换为分隔符。csv 文件是以纯文本形式存储了表格数据，并且在兼容各个操作系统。

模块安装问题:

  • 如果安装python第三方模块:

win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车

在pycharm中点击Terminal(终端) 输入安装命令

  • 安装失败原因:

  • 失败一: pip 不是内部命令

            解决方法: 设置环境变量

  • 失败二: 出现大量报红 (read time out)

            解决方法: 因为是网络链接超时, 需要切换镜像源  

    清华：https://pypi.tuna.tsinghua.edu.cn/simple
    阿里云：https://mirrors.aliyun.com/pypi/simple/
    中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/
    华中理工大学：https://pypi.hustunique.com/
    山东理工大学：https://pypi.sdutlinux.org/
    豆瓣：https://pypi.douban.com/simple/
    例如：pip3 install -i https://pypi.doubanio.com/simple/ 模块名

  • 失败三: cmd里面显示已经安装过了, 或者安装成功了, 但是在pycharm里面还是无法导入

            解决方法: 可能安装了多个python版本 (anaconda 或者 python 安装一个即可) 卸载一个就好，或者你pycharm里面python解释器没有设置好。

代码实现

今天，我们就来采集好大夫的问诊数据。下面，我和大家介绍如何获取数据。

确定网址

首先，我们要确定我们获取的目标网站，然后，确定我们需要的数据是什么。

​编辑

我们滚动页面，我们看到了问诊记录，这时，我们打开开发者工具。打开开发者工具之后，刷新页面，我们滚动网页页面，我们会看到下面的页面，大家在滚动之前，最好清除一下数据包。

这样，我们就抓取到了所有问诊记录的数据包，我们会发现，里面有一段数字不一样，我们猜想是页码，当然，我们通过验证，就是页码，既然我们拿到了地址，就简单多了，我们接下来，开始写代码。

发送请求

我们首先确定我们的目标网址，对我们需要获取的数据。我们先看一下，数据包里面有什么内容，这个，和我们网页显示的一模一样。我们先获取第一页的数据。

import requests


headers = {
    "authority": "zoo.haodf.com",
    "accept": "*/*",
    "accept-language": "zh-CN,zh;q=0.9",
    "cookie": "g=HDF.143.64778d15bc9b3; krandom_a119fcaa84=877492; __bid_n=1887c8ff1502fccdeb4207; FPTOKEN=pQ0+Q1N7Yy9X9wO03KejFmuYIJFJp3G5sBWbXvIwC0W+7v0ggLDEkfeBruyynjo0oXNB9jzCrUOVWeJ9OvBRxFt8rwwdVDZXoc7NdGQtdZpccy0BscX7HYE1NXnwZrSmYlCbcQKBXww+X4DKPXzcCBL0rjvWKiwQMPnLmFxwTxYi/WoosLCoU348LjMiHDlu/6H8j9g5YroiL+NnOGTeuvYCpcXgzL8ILqr03u8djk8n6IhNTw1gchBX5HrpfvByEaH1b2p5B2KbWb7s7gksZjwfvgWFz6DG9mmjoEmm2s0AP4MdTNBlsYfdVhFyo2L5c/520wr9TBlIGKAxuEAMEkxiN9it9anrElqy6f7WOSq7WDumwV1UCYzp/r7LJK1hdR4Hl7JeTGItqZow5EtODw==^|OlnZ9EPt13Wn8Lt1mJ76AvSqwbhaCvCjgnLXiiG3WV0=^|10^|0ebdcc577fb79709972c988c7aaf86f9; Hm_lvt_dfa5478034171cc641b1639b2a5b717d=1687267673,1688477978; Hm_lpvt_dfa5478034171cc641b1639b2a5b717d=1688479957",
    "referer": "https://www.haodf.com/",
    "sec-ch-ua": "^\^Not.A/Brand^^;v=^\^8^^, ^\^Chromium^^;v=^\^114^^, ^\^Google",
    "sec-ch-ua-mobile": "?0",
    "sec-ch-ua-platform": "^\^Windows^^",
    "sec-fetch-dest": "empty",
    "sec-fetch-mode": "no-cors",
    "sec-fetch-site": "same-site",
    "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36",
    "origin": "https://www.haodf.com",
    "Accept": "*/*",
    "Accept-Language": "zh-CN,zh;q=0.9",
    "Connection": "keep-alive",
    "If-None-Match": "4be90d78c1efe46b69558f575162c694",
    "Referer": "https://www.haodf.com/",
    "Sec-Fetch-Dest": "script",
    "Sec-Fetch-Mode": "no-cors",
    "Sec-Fetch-Site": "cross-site",
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36",
    "content-length": "0"
}
cookies = {
    "HMACCOUNT_BFESS": "98346E4F47A1DA39",
    "HMTK": "1",
    "BAIDUID_BFESS": "42362309F92CBA36955515B3BC24C906:SL=0:NR=10:FG=1",
    "ZFY": "QcUe7:AJExloferQMOZmqrXdgnmibYtD6jG4mPN9SkCs:C",
    "BDUSS_BFESS": "hlejJHY35ocUZaZW1LdjRpc3l6bjcwM3JCNjZTcjRLZHNBVExWcU00S1ljTXBrSVFBQUFBJCQAAAAAAAAAAAEAAAA2pSDKwbXE48qxz8LRqQAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAJjjomSY46Jkel",
    "H_PS_PSSID": "36544_38942_38857_38795_38957_38954_39009_38831_38918_38973_38818_38638_26350"
}
url = "https://www.haodf.com/ndoctor/getBingchengList4PC"
params = {
    "spaceId": "2742548",
    "p": "1",
    "isGoodBingcheng": "0"
}
response = requests.get(url, headers=headers, cookies=cookies, params=params)

print(response.text)
print(response)

我们运行这个代码，我们可以看到这样的输出，就说明我们的代码也没有问题，也没有被反爬。

获取数据

我们这个为了方便展示，我们只获取问诊文字信息，关于其他的数据，原理都是一样的。

​编辑

接下来，我们开始写代码，后面都是字典取值，没有什么难度，按部就班的取值就好。我们分析数据分析，一页里面有30个问诊记录。

datas = response.json()['data']['data']

for data in datas:
    print(data)

我们可以看到，这里每一行的数据，就是一个患者的信息，我们接下来获取文字记录，不过，我们会发现有语音消息字样，这里我们就不管了。

datas = response.json()['data']['data']

for data in datas:
    lastPostTime =data['doctorRes4MrInfo']['lastPostTime']
    messageText=data['doctorRes4MrInfo']['messageText']
    print(lastPostTime,messageText)

到这里，我们的代码就完成了，也实现了我们想要的功能。

多页获取

多页获取数据，其实很简单，我们只要改页码数字就可以了，其他的代码都是一样的，这里，我也写保存数据的代码了，感兴趣的可以看我之前的博客。

import requests

for p in range(1, 100):
    headers = {
        "cookie": "g=HDF.143.64778d15bc9b3; krandom_a119fcaa84=877492; __bid_n=1887c8ff1502fccdeb4207; FPTOKEN=pQ0+Q1N7Yy9X9wO03KejFmuYIJFJp3G5sBWbXvIwC0W+7v0ggLDEkfeBruyynjo0oXNB9jzCrUOVWeJ9OvBRxFt8rwwdVDZXoc7NdGQtdZpccy0BscX7HYE1NXnwZrSmYlCbcQKBXww+X4DKPXzcCBL0rjvWKiwQMPnLmFxwTxYi/WoosLCoU348LjMiHDlu/6H8j9g5YroiL+NnOGTeuvYCpcXgzL8ILqr03u8djk8n6IhNTw1gchBX5HrpfvByEaH1b2p5B2KbWb7s7gksZjwfvgWFz6DG9mmjoEmm2s0AP4MdTNBlsYfdVhFyo2L5c/520wr9TBlIGKAxuEAMEkxiN9it9anrElqy6f7WOSq7WDumwV1UCYzp/r7LJK1hdR4Hl7JeTGItqZow5EtODw==^|OlnZ9EPt13Wn8Lt1mJ76AvSqwbhaCvCjgnLXiiG3WV0=^|10^|0ebdcc577fb79709972c988c7aaf86f9; Hm_lvt_dfa5478034171cc641b1639b2a5b717d=1687267673,1688477978; Hm_lpvt_dfa5478034171cc641b1639b2a5b717d=1688479957",
        "referer": "https://www.haodf.com/",
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36",
    }

    url = "https://www.haodf.com/ndoctor/getBingchengList4PC"
    params = {
        "spaceId": "2742548",
        "p": p,
        "isGoodBingcheng": "0"
    }
    response = requests.get(url, headers=headers, params=params)
    datas = response.json()['data']['data']
    for data in datas:
        lastPostTime = data['doctorRes4MrInfo']['lastPostTime']
        messageText = data['doctorRes4MrInfo']['messageText']
        print(lastPostTime, messageText)

简化后的代码如上，大家如果还有什么问题可以在评论区留言。

关于Python学习指南

学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后给大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

包括：Python激活码+安装包、Python web开发，Python爬虫，Python数据分析，人工智能、自动化办公等学习教程。带你从零基础系统性的学好Python！

👉Python所有方向的学习路线👈

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。（全套教程文末领取）

在这里插入图片描述

👉Python学习视频600合集👈

观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

在这里插入图片描述

温馨提示：篇幅有限，已打包文件夹，获取方式在：文末

👉Python70个实战练手案例&源码👈

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

在这里插入图片描述

👉Python大厂面试资料👈

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

在这里插入图片描述

在这里插入图片描述

👉Python副业兼职路线&方法👈

学好 Python 不论是就业还是做副业赚钱都不错，但要学会兼职接单还是要有一个学习规划。

在这里插入图片描述

👉 这份完整版的Python全套学习资料已经上传，朋友们如果需要可以扫描下方CSDN官方认证二维码免费领取【保证100%免费】

​

Python 爬虫实战：于好大夫在线抓取医生评价数据，选择优质医疗服务
u014481728的博客
02-04 2517
requests：用于发送 HTTP 请求，获取网页内容。或 lxml：用于解析 HTML 页面，提取目标数据。pandas：用于数据清洗和分析。matplotlib和seaborn：用于数据可视化。time：用于控制爬取速度，避免对服务器造成压力。通过本项目，我们实现了以下目标：使用 Python 爬虫抓取好大夫在线的医生评价数据。对数据进行清洗和分析，找出评价中的关键词和趋势。根据分析结果推荐优质医疗服务。
爬虫实战带上代码讲解（以爬取好大夫为例）
最新发布
fenfenfen520a的博客
01-19 536
前言：我感觉之前讲的爬虫，太纸面化了，需要给一些实例来帮助理解。毕竟爬虫这项技能，我们经常可能用到，通常用于爬虫数据来训练模型。延续上一篇文章所说将爬虫分为四个主要部分：获取网页源代码解析网页并提取数据实现自动化抓取逻辑保存数据到文件（如execl）第一步：获取网页源代码要获取网页
Python_爬虫_爬取好大夫网站_数据清洗部分
越吃越胖的博客
01-05 8879
1.前言 通过对好大夫网站内容的爬取，我们已经收集到好大夫的相关数据，并将其存入excel表中。之所以先存入excel表中，是因为有很多是非结构化数据，需要进行数据清理后在进行保存，excel中有很多的功能能够帮助进行数据清理，下图是获取的数据示例，一共获得20多万条数据。接下来进行数据清洗工作。 2.数据清洗规则 爬虫爬取的内容为： 姓名_title 医院 科室 医生主页url 患者投票 ...
爬取好大夫网.py
04-19
仅仅只是教学源码，并非专业爬虫 所用到库，requests，bs4，re，json，time，os 代码可运行，可适当根据自身情况调整爬取频率，即 time.sleep() 中的间隔时间
【Python爬虫】之 抓取“微医”上的医生信息
热门推荐
一定要站在自己热爱的生活里闪闪发光
04-27 4万+
1.爬虫设计 本文用Python语言实现网络爬虫抓取特定数据，使用Beautiful Soup进行HTML的解析。Beautiful Soup是一个HTML/XML解析器，主要功能是解析和提取HTML/XML中的数据，提取数据时，类似于正则表达式的功能。Beautiful Soup将整个文档载入，解析整个DOM树，其时空开销都比较大，性能不如lxml。Beautiful Soup为不同的解析器提...
某医疗公司爬取信息
瑞凯
08-17 658
页面全部为JS动态加载，算是练手，因为写的实在太累了，就不封装方法了 ， import re import requests from fake_useragent import UserAgent from lxml import etree import sys # 设置页面 COOKIE = '此处写入登录的COOKIE' ua = UserAgent() # 最初始的访问页面 name...
python爬爬爬之单网页html页面爬取
weixin_33691700的博客
06-23 279
python爬爬爬之单网页html页面爬取 作者:vpoet mail:vpoet_sir@163.com 注:随意copy 不用告诉我 1 #coding:utf-8 2 import urllib2 3 Response=urllib2.urlopen("http://www.baidu.com"); 4 Html=Response.r...
【39问医生】爬取数据
02-01
爬取的数据，已经去重，39问医生问诊的标题，描述已经第一个医生回答
59401机器学习Python实战-数据集.zip.zip
03-02
59401机器学习Python实战-数据集.zip.zip
基于股票大数据分析Python实战
01-10
"基于股票大数据分析Python实战"的主题聚焦于如何利用Python编程语言进行高效的数据采集、处理和分析，以揭示潜在的投资机会。Python因其丰富的库资源和简洁的语法，成为了数据科学家和金融分析师的首选工具。以下...
Python股票数据爬虫采集+分析+可视化项目源码（95分以上期末大作业）
12-11
Python股票数据爬虫采集+分析+可视化项目源码（95分以上期末大作业）.zip主要针对计算机相关专业的正在做课程设计和期末大作业的学生和需要项目实战练习的学习者。包含全部项目源码、该项目可以直接使用、项目都经过...
爬取【医疗问答】数据
12-21
本文章以 丁香 医生为例 主要以 科目分类来进行爬取，每个科目爬取的内容会存储到一个文本文档中，内容是问答式。 代码如下： from bs4 import BeautifulSoup import pandas as pd import json import requests import time import random def get_static_url_content(url): headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, l
python数据可视化大屏源码实战
05-01
"python数据可视化大屏源码实战"这个项目旨在帮助学习者掌握如何利用Python进行大规模数据的可视化呈现，通常用于构建信息丰富的仪表板或者大屏幕展示。通过这个实战项目，你可以深入理解如何将Python的可视化库与...
基于Python的多元化ECommerce数据爬虫实战设计源码
10-02
该项目是一款基于Python的多功能ECommerce数据爬虫实战源码，共计382个文件，涵盖Python、JavaScript、HTML、CSS等多种编程语言。文件类型丰富，包括128个Python脚本文件、75个GIF图像文件、41个Markdown文件、27个...
爬取好大夫网站医生数据
S_S0318的博客
09-14 5368
一、主要过程： 1.爬取医生主页url 2.爬取医生个人信息 二、具体过程 1.爬取医生主页url 观察url链接结构，可以发现同一种病的网址，在不同页面切换时，只有.htm前的数字回变，且页码与链接对应。而对于不同种类的病，如类风湿，改变的也仅是网址种jibing/后的部分。因此，在爬取医生个人主页url时，可以通过设置两个循环来设置读取不同病不同页码。 from requests_html import HTMLSession from lxml import etree import pandas
基于好大夫爬虫的医生大数据展示系统
qalangtao的博客-qalangtao.com
11-01 1703
如果你想要一个兼具技术含量和实际应用价值的毕业设计项目，基于好大夫的医生大数据展示系统绝对是个值得尝试的好项目！快来让自己的技术为医疗领域贡献力量吧。
Python数据分析实战配套源码详细解读
资源摘要信息:"Python数据分析实战源码" 知识点: 1. Python语言在数据分析中的应用 Python是一种广泛应用于数据分析领域的编程语言。由于其简洁直观的语法，以及丰富的数据处理和分析库，Python已成为数据科学领域...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值