Python语言-编写一个网络爬虫程序,将文字和图像等信息抓取到sqlite中保存(实时爬取微博热搜数据)

import requests
from bs4 import BeautifulSoup
import sqlite3


def opendb():
    con = sqlite3.connect("D:/realtimehot.db")
    cur = con.execute("""create table if not exists realtimehot(snum text primary key, swords text, slink text)""")
    return cur, con


def adddb(num, words, link):
    hel = opendb()
    hel[1].execute("insert into realtimehot(snum, swords, slink)values(?, ?, ?)", (num, words, link))
    hel[1].commit()
    hel[1].close()


def showalldb():
    hel = opendb()
    cur = hel[1].cursor()
    cur.execute("select * from realtimehot")
    for line in cur:
        print(line)
    cur.close()


    num = i
    words = str(data[i].text)
    link = 'https://s.weibo.com' + str(data[i]['href'])
    adddb(num, words, link)
showalldb()
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值