python 爬虫，将数据转存入sqlite3数据库并写入文件

最新推荐文章于 2022-10-26 19:35:35 发布

G_AOFAN

最新推荐文章于 2022-10-26 19:35:35 发布

阅读量6.2k

点赞数 1

分类专栏： Python

本文链接：https://blog.csdn.net/G_AOFAN/article/details/84109494

版权

本文介绍使用Python爬虫抓取51job.com网站数据，然后将其存储到SQLite3数据库，并进一步将数据写入文件的方法。

摘要由CSDN通过智能技术生成

python 爬虫，将数据转存入sqlite3数据库并写入文件
51job.com

import re
from urllib import request
import sqlite3
#导入sqlite3库文件

'''
爬取数据使得到的数据存入数据库
'''

url_print=input('请输入您想要搜索的内容：')
page=input('请输入你想要搜索第几页:')


f=open('D:\\python学习文件\python生成读写的文件\\'+url_print+'.txt','w+')
f.write('关键字'+'        '+'地点'+'        '+'薪资min'+'         '+'薪资max'+'\r\n')

#读取哪一页，表示页数
url='https://search.51job.com/list/010000%252C020000%252C030200%252C040000,000000,0000,00,9,99,'+url_print+',2,'+page+'.html'
#print(url)

#请求 
r=request.urlopen(url)

#读取urllib.request返回的数据
htmls=r.read()

#read（）返回的是二进制序列，利用decode（）转换成ht