爬虫药品库条款不报错入库过程丢失数据

最新推荐文章于 2024-09-23 09:42:17 发布

Miss Tang

最新推荐文章于 2024-09-23 09:42:17 发布

阅读量169

点赞数

文章标签：爬虫

本文链接：https://blog.csdn.net/weixin_42276508/article/details/88954075

版权

爬虫药品库条款不报错入库过程丢失数据

爬取求医网的所有药品信息：http://ypk.qiuyi.cn/index.html
首先获取三个urls：
通过获取的url来爬取每个科室药品的信息
通过explain_url获取的药品名称和别名，从网址获取的code

import MySQLdb
import requests
from bs4 import BeautifulSoup
from mysqldb import *
db = MySQLdb.connect("localhost", "root", "", "表名", charset='utf8', port=3306)
cursor = db.cursor()
headers={
   
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_3) AppleWebKit/..."
}

sql = """SELECT * FROM urls"""
datas = executesql(sql,[],'query')
for i in datas