python 将爬取的数据保存在数据库里

python 将爬取的数据保存在数据库里

import urllib.request
import re
import sqlite3
response = urllib.request.urlopen("https://search.51job.com/list/010000%252C020000%252C030200%252C040000,000000,0000,00,9,99,python,2,1.html")
html = response.read()
html = html.decode("GBK")
lst = re. findall('<span class="t3">(北京|上海|广州|深圳).*</span>\s*<span class="t4">(\d*\.?\d*)-(\d*\.?\d*)(\w)/(.*)</span>',html)
conn = sqlite3.connect(r'D:\\2.db')
cursor = conn.cursor()
cursor.execute('create table IF NOT EXISTS result51job(id integer primary key,key varchar(20),addr varchar(40),momin float,momax float)')
for i  in lst:
    min = float(i[1])
    max = float(i[2])
    if  i[3] == "千":
        min /= 10
        max /= 10
    if  i[4] == "年":
        min /= 12
        max /= 12
    cursor.execute("insert into result51job(key,addr,momin,momax) values ('%s','%s','%f','%f')" % ("Python",i[0],min,max))
conn.commit();
cursor.execute("select * from result51job")
values=cursor.fetchall()
print(values)
cursor.close()
conn.close()
  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值