python爬虫数据存入mysql

最新推荐文章于 2023-12-25 11:58:42 发布

小糖子先森

最新推荐文章于 2023-12-25 11:58:42 发布

阅读量1.6k

点赞数 2

分类专栏： python 文章标签： python

本文链接：https://blog.csdn.net/tang242424/article/details/115680295

版权

本文分享了一个Python爬虫项目，将爬取的数据成功存入MySQL数据库的经验。重点介绍了如何处理数据库字段与爬取数据的对应，以及如何避免数据重复插入。代码简洁，适合学习交流。

摘要由CSDN通过智能技术生成

最近做了一个爬虫数据并存入数据库的功能，存入数据库的方法也是试了些许网上一些方法，现在把完整功能供大家参考。



import requests
import parsel
import time
from datetime import datetime
import pymysql
import random
import uuid


# 数据库信息
conn = pymysql.connect(host='127.0.0.1', port=3306, user='数据库用户', passwd='数据库密码', db='数据库名', charset='utf8')

#创建游标
cursor = conn.cursor()

requests.packages.urllib3.disable_warnings()
#1.正确的url地址 分析网页
result = []
t1 = time.time()
url = "链接就不给了哈 职业道德 嘿嘿" 
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36'}
#2.发送请求 范数据-》文本数据 图片地址 css js
response = requests.get(url=url,headers=headers, verify=False)
response.encoding = 'gb2312'
html_data = response.text 

# 3.数据解析
selector = parsel.Selector(html_data)
lis = selector.x