【暑期实训】任务记录 2021-7-20

最新推荐文章于 2021-07-29 10:55:16 发布
最新推荐文章于 2021-07-29 10:55:16 发布
阅读量121 收藏
点赞数
分类专栏： 山东大学项目实训
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sjhsjhsjh111/article/details/119206110
版权

山东大学暑假实训医疗知识图谱第四周记录二

目录

1.工作内容

对爬取的数据进行统计整理，去除了无效的药品说明书信息。

2.总结

经统计，从药源网爬取的有效药品说明书共计约9500条，虽然不能利用模板满足数据的动态爬取，但该数据量已经能够满足本项目的基本需要
在这里插入图片描述

xhjhggybz
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
GridWorld扩展任务2迷宫
07-12
在中山大学的暑期实训项目中，GridWorld扩展任务2的核心是设计和实现一个迷宫解决方案。GridWorld是一个Java编程环境，用于教学和学习面向对象编程的概念。在这个任务中，学生需要利用GridWorld的基础知识，创建一个...
【暑期实训】任务记录 2021-7-19
sjhsjhsjh111的博客
07-29 144
山东大学暑假实训医疗知识图谱第四周记录一 目录1.工作内容2.总结 1.工作内容 将药源网中的绝大部分数据爬取了下来。输出到指定文件当中。 2.总结 由于爬虫的效率相对较低，执行代码耗费了挺长的时间，好在代码逻辑没有问题，完成了对药源网中数据的爬取。 最终得到的数据格式如下： ...
【暑期实训】任务记录 2021-7-15
sjhsjhsjh111的博客
07-29 191
山东大学暑假实训医疗知识图谱第三周记录二 目录1.工作内容2.总结 1.工作内容 继续编写爬虫代码，并对编写好的代码进行调试。 2.总结 得到地址后，访问该网址，找到class=”yaopinming”将药品名加到数组中。 之后根据class=”smsli”获取药品说明书中的其余内容，输出到指定文件中，输出完最后一行加入分隔符，继续爬取下一个药品说明书的数据。 在数据爬取过程中，遇到了部分网页地址错误导致的http error,解决方法是遇到相应的错误则跳过该说明书继续爬取下一个说明书的内容。 ...
【暑期实训】任务记录 2021-7-10
sjhsjhsjh111的博客
07-28 106
山东大学暑假实训医疗知识图谱第二周记录一 目录1.工作内容2.总结 1.工作内容 1.查看了更多的药品网站，比较药品说明书种类的多样性，最终确定要爬取的网站。 2.学习并认识了beautifulsoup的具体内容。 2.总结     经历过云计算平台配置失败之后，想着既然不能提高运行效率，就尽量提高药品说明书爬取的质量，开始比较各大医药网站中的药品说明书内容，尽量找到更为详尽，结构更加清晰且数量更加庞大的医药网站。最终确定了爬取“药源网”中的中药和化学药的相关药品说明书。 &n
【暑期实训】任务记录 2021-7-13
sjhsjhsjh111的博客
07-29 128
山东大学暑假实训医疗知识图谱第三周记录一 目录1.工作内容2.总结 1.工作内容 根据对网站的解析开始编写爬虫代码 2.总结     对网站结构进行解析： 该网站中的药品说明书按照首字母分类，共有22个字母，每个字母下有药品说明书的链接，并进行了分页。每个药品说明书链接点进去之后，就是该药品对应药品说明书的具体内容 想到先得到每个字母下所有的全部分页数量，再对每个分页进行字符串拼接，最终得到每个药品说明书对应的地址，之后访问该地址对说明书内容进行爬取。 ...
【暑期实训】任务记录 2021-7-14
sjhsjhsjh111的博客
07-29 98
山东大学暑假实训医疗知识图谱第三周记录二 目录1.工作内容2.总结 1.工作内容 根据之前想好的思路编写爬虫代码 2.总结 网站中共有22个字母分类，通过字符串拼接首先得到第一个字母对应的第一个分页并访问该分页 中药中b分类的第一页的网址就是上面这种格式。 之后根据id=”sms_page”找到该字母分类下共有多少分页，如上面的分类下共有3个分页。 之后开始循环每个分页，提取该分页下的所有药品地址。 通过字符串拼接得到每个药品说明书的具体地址。例如补脑丸的地址如下格式： ...
【暑期实训】任务记录 2021-7-8
sjhsjhsjh111的博客
07-28 105
山东大学暑假实训医疗知识图谱第二周记录二 目录1.工作内容2.总结 1.工作内容 配置山大云计算平台python、beautifulsoup及lxml相关版本。 2.总结 为了解决之前爬虫爬取效率过低的问题，尝试将python代码部署到山大云计算平台上运行，所以先进行了相关环境配置。先将云计算平台现有python2.x版本更新到3.6.但是之后在beautifulsoup环境搭建过程中，出现了由于python版本升级而导致的部分文件不可用的情况，在尝试多方查找进行问题解决的过程中无果，最后放弃了云计算平台的
【暑期实训】任务记录 2021-7-21
sjhsjhsjh111的博客
07-29 158
山东大学暑假实训医疗知识图谱第四周记录三 目录1.工作内容2.总结 1.工作内容 将数据处理成实体识别和关系抽取所需的json格式，供算法同学使用。 2.总结 由于算法需要的数据格式为json格式，故要把爬取到的数据格式更改成json格式 爬取出的数据格式如下： 经处理后数据格式为： ...
【暑期实训】任务记录 2021-7-6
sjhsjhsjh111的博客
07-07 70
山东大学暑假实训医疗知识图谱第二周记录一 目录1.工作内容2.总结 1.工作内容 1.了解了国内现有的药物网站 2.查阅了爬虫相关知识，尝试写了关于药源网药品数据爬取的代码，并验证了其正确性 2.总结 因为可以算是第一次正式接触爬虫，所以先从网上找了相关demo进行学习，配置好了requests、lxml以及beautifulsoup.之后查看了国内现有的药品网站，包括求医问药、药源网等网站，发现药源网中药品分类比较工整，按照首字母排序，所以就尝试爬取药源网的药品说明书数据。 现阶段遇到的问题是，因为我的代
【暑期实训】任务记录 2021-7-2
sjhsjhsjh111的博客
07-06 49
山东大学暑假实训医疗知识图谱第一周记录三 目录1.工作内容2.总结 1.工作内容 查阅了实体抽取，关系抽取等相关算法。观看了相关教学视频。 2.总结 一开始在想能不能简单的自己抽取实体之间的关系，根据实体所在语义。但后来再看药品说明书的具体内容时发现，药品说明书中描述的很复杂且对关系的边界描述的很模糊，只根据句意抽取联系很困难，所以我们根据已经抽取出的实体自己总结出相关的关系。 ...
贪吃蛇暑期实训总结报告.docx
06-22
2. **实训任务**： - 分析实训题目需求 - 理解实训内容 - 编写和调试代码 - 设计用户友好的软件界面 - 完成课程设计报告并准备答辩 3. **开发环境**： - 使用的硬件是一台运行正常的计算机 - 操作系统为...
大学暑期电子实训报告焊接收音机.docx
11-10
本报告为大学电子实训报告，涵盖了实习目的、实习要求、实习任务、实习日志、实习总结等方面的内容，涉及到焊接技术、超外差式收音机的工作原理、电子设备的装配和调试方法等多个方面的知识点，为电子实训和电子工程...
学生暑期社会实践报告PPT模板
07-11
- **工程实训**：记录和展示工程实训期间的学习经历和技术收获。 - **初期项目立项**：用于介绍新项目的背景、目标、计划等。 ### 2. PPT模板的设计要素 - **目录结构**：通常包括多个章节或部分，如“工作报告...
XX暑假物流专业大学生实习报告.doc
09-09
- 学生们通过阅读物流实训上机手册，了解了模拟实训的基本步骤、流程以及各部门的职能范围。 3. **业务流程详解**： - **公司总经理**：负责合同管理、投标报价、订单接受或拒绝、物流设备租赁或购买、运输路线...
聚类算法-一种无监督学习方法.docx
最新发布
08-12
聚类算法是一种无监督学习方法，用于将数据集中的数据点自动分组到不同的类别中，这些类别也称为“簇”或“群”。聚类的目标是让同一簇内的数据点尽可能相似，而不同簇之间的数据点尽可能不相似。聚类算法广泛应用于多种领域，如数据挖掘、模式识别、图像分析、信息检索等。 聚类算法的基本概念 无监督学习：聚类算法不需要事先标记数据点的类别标签，而是根据数据本身的相似性来分组。 相似性度量：聚类算法依赖于某种相似性或距离度量来决定数据点之间的相似程度。常用的度量包括欧氏距离、曼哈顿距离等。 目标函数：大多数聚类算法都会尝试最小化某种目标函数，例如簇内的平方误差和（SSE）。 常见的聚类算法 K-Means K-Means 是一种原型聚类算法，它通过迭代地将数据点分配到最近的质心来形成簇，并重新计算每个簇的质心，直到质心不再显著变化为止。 在 Python 的 scikit-learn 库中，可以通过 KMeans 类实现 K-Means 聚类。 层次聚类 层次聚类构建一个树状图（称为树状图或 dendrogram），显示数据点是如何逐渐合并成簇的。 这种算法可以是凝聚型（自底向上）或分裂型（自顶向下）。
45ft集装箱模型3D图纸 STEP格式.zip
08-12
45ft集装箱模型3D图纸 STEP格式.zip
Spring Boot网吧管理系统.zip
08-12
该系统严格按照需求分析制作相关模块，并利用所学知识尽力完成，但是本人由于学识浅薄，无法真正做到让该程序可以投入市场使用，仅仅简单实现部分功能，希望日后还能改善。 本系统具有以下优点： 该系统具有较高的适用性，选用B/S结构，可以在绝大部分个人平台上使用该系统。 系统将用户权限进行划分，管理员，网管和会员都能看到及操作的信息不一样，三者具备不同的操作权限。 该系统操作界面简单明了，大部分人都可以正常使用。 但也存在以下问题需要改进： 运行时窗口不能被刷新，可以改进。 系统过于简单，显示的信息有限。。 不能添加多个管理员账号，如果可以则将利于发展网吧规模，便于网吧信息集中管理。 不能实时预约接待消息和网吧反馈建议，容易被忽视，不利于管理员服务客户。
微信小程序大作业 新闻小程序
08-12
微信小程序大作业 新闻小程序
Cocos暑期实训：BallsVsBlocks项目详解与关键知识点
在"Cocos暑期实训 - BallsVsBlocks.pptx"的技术文档分享中，这个实训项目旨在引导学生通过实践学习Cocos2d-x游戏开发框架，一个流行的2D游戏开发工具。该项目的核心是制作一个名为"BallsVsBlocks"的游戏，玩家需要...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值