Python爬虫实战（三）：定时爬取数据存入SqlServer

已于 2022-05-08 20:17:50 修改
阅读量1.1w 收藏 76
点赞数 47
分类专栏： Python爬虫实战100例 文章标签： 爬虫 python
于 2021-12-07 15:31:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yuan2019035055/article/details/121427987
版权

目录

🌹前言

  • 🏆🏆作者介绍：Python领域优质创作者、华为云享专家、阿里云专家博主、2021年CSDN博客新星Top6

  • 🔥🔥本文已收录于Python爬虫实战100例专栏：《Python爬虫实战100例》
  • 📝​📝​此专栏文章是专门针对Python爬虫实战案例从基础爬虫到进阶爬虫，欢迎免费订阅

爬取目标（效果展示）

效果展示：
在这里插入图片描述

爬取的内容是：标题、榜单、热度值、新闻类型、时间戳、url地址等

准备工作

建表：

CREATE TABLE "WB_HotList" (
	"id" INT IDENTITY(1,1) PRIMARY key,
	"batch" NVARCHAR(MAX),
	"daydate" SMALLDATETIME,
	"star_word" NVARCHAR(MAX),
	"title" NVARCHAR(MAX),
	"category" NVARCHAR(MAX),
	"num" NVARCHAR(MAX),
	"subject_querys" NVARCHAR(MAX),
	"flag" NVARCHAR(MAX),
	"icon_desc" NVARCHAR(MAX),
	"raw_hot" NVARCHAR(MAX),
	"mid" NVARCHAR(MAX),
	"emoticon" NVARCHAR(MAX),
	"icon_desc_color" NVARCHAR(MAX),
	"realpos" NVARCHAR(MAX),
	"onboard_time" SMALLDATETIME,
	"topic_flag" NVARCHAR(MAX),
	"ad_info" NVARCHAR(MAX),
	"fun_word" NVARCHAR(MAX),
	"note" NVARCHAR(MAX),
	"rank" NVARCHAR(MAX),
	"url" NVARCHAR(MAX)	
)

为防止，字段给的不够，直接给个MAX！
在这里插入图片描述

代码分析

第一步

发送请求，获取网页信息

提供了数据的接口，所以我们直接访问接口就行，如下图（json格式）：

# 接口地址：https://weibo.com/ajax/statuses/hot_band

在这里插入图片描述

def __init__(self) :
	self.url = "https://weibo.com/ajax/statuses/hot_band"
	self.headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36"}
# 发送请求，获取相应 
def parse_url(self):
	response = requests.get(self.url,headers=self.headers)
	time.sleep(2) # 休息两秒
	
	return response.content.decode()

第二步

解析数据，提取我们所需要的数据

接口中的数据格式化如下（只需提取我们所需要的）：
在这里插入图片描述

for i in range(50):
	ban_list = json_data['data']['band_list'][i]
	batch = f'第{a}批'
	try:
	    star_word = ban_list['star_word']
	except Exception as e:
	    print(e)
	try:
	    title = ban_list['word']
	except Exception as e:
	    print(e)
	try:
	    category = ban_list['category']
	except Exception as e:
	    print(e)
	try:
	    num = ban_list['num']
	except Exception as e:
	    print(e)
	try:
	    subject_querys = ban_list['subject_querys']
	except Exception as e:
	    print(e)
	try:
	    flag = ban_list['flag']
	except Exception as e:
	    print(e)
	try:
	    icon_desc = ban_list['icon_desc']
	except Exception as e:
	    print(e)  
	try:
	    raw_hot = ban_list['raw_hot']
	except Exception as e:
	    print(e)      
	try:
	    mid = ban_list['mid']
	except Exception as e:
	    print(e) 
	try:
	    emoticon = ban_list['emoticon']
	except Exception as e:
	    print(e)
	try:
	    icon_desc_color = ban_list['icon_desc_color']
	except Exception as e:
	    print(e)
	try:
	    realpos = ban_list['realpos']
	except Exception as e:
	    print(e)
	try:
	    onboard_time = ban_list['onboard_time']
	    onboard_time = datetime.datetime.fromtimestamp(onboard_time)
	except Exception as e:
	    print(e)
	try:
	    topic_flag = ban_list['topic_flag']
	except Exception as e:
	    print(e)
	try:
	    ad_info = ban_list['ad_info']
	except Exception as e:
	    print(e)
	try:
	    fun_word = ban_list['fun_word']
	except Exception as e:
	    print(e)   
	try:
	    note = ban_list['note']
	except Exception as e:
	    print(e)      
	try:
	    rank = ban_list['rank'] + 1
	except Exception as e:
	    print(e) 
	try:
	    url = json_data['data']['band_list'][i]['mblog']['text']
	    url = re.findall('href="(.*?)"',url)[0]

第三步

数据库的batch用于判断，每次插入的批次（50个一批），如果爬虫断了，写个方法还能接着上次的批次

如图：
在这里插入图片描述

# 把数据库batch列存入列表并返回（用于判断批次号）
def batch(self):
	conn=pymssql.connect('.', 'sa', 'yuan427', 'test')
	cursor=conn.cursor()
	
	cursor.execute("select batch from WB_HotList") #向数据库发送SQL命令
	rows=cursor.fetchall()
	batchlist=[]
	for list in rows:
	    batchlist.append(list[0]) 
	
	return batchlist

第四步

把数据存入数据库

# 连接数据库服务,创建游标对象
db = pymssql.connect('.', 'sa', 'yuan427', 'test') #服务器名,账户,密码,数据库名
if db:
    print("连接成功!")    
cursor= db.cursor()

try:
	# 插入sql语句
	sql = "insert into test4(batch,daydate,star_word,title,category,num,subject_querys,flag,icon_desc,raw_hot,mid,emoticon,icon_desc_color,realpos,onboard_time, \
	        topic_flag,ad_info,fun_word,note,rank,url) values (%s,getdate(),%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)"
	
	# 执行插入操作
	cursor.execute(sql,(batch,star_word,title,category,num,subject_querys,flag,icon_desc,raw_hot,mid,emoticon,icon_desc_color,realpos,onboard_time,topic_flag,ad_info, \
	            fun_word,note,rank,url))
	db.commit()
	
	print('成功载入......' )
	
	except Exception as e:
	db.rollback()
	print(str(e))
    
# 关闭游标，断开数据库
cursor.close()
db.close()

完整代码

import requests,pymssql,time,json,re,datetime
from threading import Timer

class Spider:
    def __init__(self) :
        self.url = "https://weibo.com/ajax/statuses/hot_band"
        self.headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36"}

    # 发送请求，获取相应 
    def parse_url(self):
        response = requests.get(self.url,headers=self.headers)
        time.sleep(2)
        
        return response.content.decode()

    # 解析数据，入库
    def parse_data(self,data,a):
        json_data = json.loads(data)

        # 连接数据库服务,创建游标对象
        db = pymssql.connect('.', 'sa', 'yuan427', 'test') #服务器名,账户,密码,数据库名   
        cursor= db.cursor()
     
        for i in range(50):
            ban_list = json_data['data']['band_list'][i]
            
            
            batch = f'第{a}批'
            
            try:
                star_word = ban_list['star_word']
            except Exception as e:
                print(e)
            
            
            try:
                title = ban_list['word']
            except Exception as e:
                print(e)

            try:
                category = ban_list['category']
            except Exception as e:
                print(e)
            
            try:
                num = ban_list['num']
            except Exception as e:
                print(e)
        
            try:
                subject_querys = ban_list['subject_querys']
            except Exception as e:
                print(e)

            try:
                flag = ban_list['flag']
            except Exception as e:
                print(e)

            try:
                icon_desc = ban_list['icon_desc']
            except Exception as e:
                print(e)  

            try:
                raw_hot = ban_list['raw_hot']
            except Exception as e:
                print(e)      
            
            try:
                mid = ban_list['mid']
            except Exception as e:
                print(e) 
            
            try:
                emoticon = ban_list['emoticon']
            except Exception as e:
                print(e)
            
            try:
                icon_desc_color = ban_list['icon_desc_color']
            except Exception as e:
                print(e)
            
            try:
                realpos = ban_list['realpos']
            except Exception as e:
                print(e)
            
            try:
                onboard_time = ban_list['onboard_time']
                onboard_time = datetime.datetime.fromtimestamp(onboard_time)
            except Exception as e:
                print(e)
            
            try:
                topic_flag = ban_list['topic_flag']
            except Exception as e:
                print(e)
            
            try:
                ad_info = ban_list['ad_info']
            except Exception as e:
                print(e)
            
            try:
                fun_word = ban_list['fun_word']
            except Exception as e:
                print(e)   
            
            try:
                note = ban_list['note']
            except Exception as e:
                print(e)      
        
            try:
                rank = ban_list['rank'] + 1
            except Exception as e:
                print(e) 
            
            try:
                url = json_data['data']['band_list'][i]['mblog']['text']
                url = re.findall('href="(.*?)"',url)[0]
            except Exception as e:
                print(e)
           
            try:
                # 插入sql语句
                sql = "insert into test4(batch,daydate,star_word,title,category,num,subject_querys,flag,icon_desc,raw_hot,mid,emoticon,icon_desc_color,realpos,onboard_time, \
                        topic_flag,ad_info,fun_word,note,rank,url) values (%s,getdate(),%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)"

                # 执行插入操作
                cursor.execute(sql,(batch,star_word,title,category,num,subject_querys,flag,icon_desc,raw_hot,mid,emoticon,icon_desc_color,realpos,onboard_time,topic_flag,ad_info, \
                            fun_word,note,rank,url))
                db.commit()

                print('成功载入......' )
            
            except Exception as e:
                db.rollback()
                print(str(e))
            
        # 关闭游标，断开数据库
        cursor.close()
        db.close()
         
    # 把数据库batch列存入列表并返回（用于判断批次号）
    def batch(self):
        conn=pymssql.connect('.', 'sa', 'yuan427', 'test')

        cursor=conn.cursor()

        cursor.execute("select batch from WB_HotList") #向数据库发送SQL命令

        rows=cursor.fetchall()
        batchlist=[]
        for list in rows:
            batchlist.append(list[0]) 

        return batchlist    
             
    # 实现主要逻辑 
    def run(self, a):
        
        # 根据数据库批次号给定a的值
        batchlist = self.batch()
        if len(batchlist) != 0:
            batch = batchlist[len(batchlist) -1]
            a = re.findall('第(.*?)批',batch)
            a = int(a[0]) + 1

        data = self.parse_url()

        self.parse_data(data,a)
        a +=1
        # 定时调用
        t = Timer(1800, self.run, (a, )) # 1800表示1800秒，半小时调用一次
        t.start()

    
if __name__ == "__main__": 
    spider = Spider()
    spider.run(1)

启动

因为需要一直运行，所以就在 cmd 挂着

运行成功后，去数据库看看：

在这里插入图片描述

O了O了！！！
在这里插入图片描述

有讲的不对的地方，希望各位大佬指正！！！，如果有不明白的地方评论区留言回复！兄弟们来个点赞有空就更新爬虫实战！！！
在这里插入图片描述

袁袁袁袁满
关注
  • 47
    点赞
  • 踩
  • 76
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 69
    评论
专栏目录
2023.6.6 python爬虫小项目 定时自动爬取
m0_56366541的博客
06-06 826
注意：如果您的 Python 脚本需要特定的库或依赖项，请确保它们安装在将运行计划任务的环境中。确保您的计算机已打开，并且在计划的时间未处于睡眠或休眠模式，以使脚本成功运行。在任务计划程序窗口中，单击右侧窗格中的“创建基本任务”或“创建任务”。要每天在Windows系统上自动执行Python代码，您可以使用Windows中的任务计划程序功能。在“添加参数”字段中，指定要执行的 Python 脚本的路径。打开任务计划程序：按 Windows 键，键入“任务计划程序”，然后从搜索结果中选择任务计划程序应用。
Python3实现的爬虫爬取数据并存入mysql数据库操作示例
12-23
本文实例讲述了Python3实现的爬虫爬取数据并存入mysql数据库操作。分享给大家供大家参考，具体如下： 爬一个电脑客户端的订单。罗总推荐，抓包工具用的是HttpAnalyzerStdV7，与chrome自带的F12类似。客户端有接单大厅，罗列所有订单的简要信息。当单子被接了，就不存在了。我要做的是新出订单就爬取记录到我的数据库zyc里。 设置每10s爬一次。 抓包工具页面如图： 首先是爬虫，先找到数据存储的页面，再用正则爬出。 # -*- coding:utf-8 -*- import re import requests import pymysql #Python3的mysql模块
在Python爬虫中，如何实现定时任务？
2301_80354401的博客
06-13 1029
在Python中实现定时任务，特别是在编写爬虫程序时，可以利用schedule库来简化任务的调度。schedule是一个轻量级的任务调度库，允许你以人类可读的格式安排任务，例如按照一定的时间间隔、特定的日期和时间执行任务。
Python爬虫数据入库
不会编程的猫星人
07-08 4587
Python爬虫数据导入数据库详细代码教程
Python导入Excel文件到Sqlserver数据库
weixin_48913629的博客
09-15 901
Python导入Excel文件到Sqlserver数据库
Python爬虫实战（一）：翻页爬取数据存入SqlServer
热门推荐
努力让自己发光，对的人才能迎着光而来
11-15 5万+
python爬虫实战基础
pythonscrapy爬虫_浅析python实现scrapy定时执行爬虫
weixin_39864571的博客
11-24 158
项目需要程序能够放在超算中心定时运行，于是针对scrapy写了一个定时爬虫的程序main.py ，直接放在scrapy的存储代码的目录中就能设定时间定时多次执行。最简单的方法：直接使用Timer类import timeimport oswhile True:os.system("scrapy crawl News")time.sleep(86400) #每隔一天运行一次 24*60*60=8640...
python 爬虫项目实战：批量爬取B站小视频 源码
04-30
本实战案例涉及使用Python编写一个爬虫程序，用于批量爬取B站（哔哩哔哩）上的小视频。这个案例将使用到requests库来发送HTTP请求，以及BeautifulSoup库来解析网页内容。 适用人群 Python开发者：希望提高网络爬虫...
python 爬虫实战案例：爬取网易云音乐评价 源码
04-30
本实战案例将展示如何使用Python编写一个简单的网络爬虫，用于爬取网易云音乐上的歌曲评价。案例将涉及发送HTTP请求、解析网页内容以及数据提取的基本技术。 适用人群 编程初学者：希望通过实际项目学习网络爬虫的...
Python爬虫将数据存入SQL Server
01-20
Python爬取常用电话号码并将数据存入数据库 今天我又学到一个新知识，就是将爬取到的数据存入数据库，刚开始学，弄了好久，希望这个小知识能帮助到更多的初学者！！！ 首先啦，我们要找到常用电话号码的网址，然后用...
python作业：爬虫爬取京东评论
最新发布
07-07
Python作业：爬虫爬取京东评论；Python作业：爬虫爬取京东评论；Python作业：爬虫爬取京东评论；Python作业：爬虫爬取京东评论；Python作业：爬虫爬取京东评论；Python作业：爬虫爬取京东评论；Python作业：爬虫爬取...
Python爬虫案例2：爬取前程无忧网站数据
10-27
在本Python爬虫案例中，我们将探讨如何使用Python来爬取前程无忧网站的数据。前程无忧（51Job）是中国领先的招聘网站之一，提供大量的职位信息，这为我们提供了丰富的数据源来学习和实践网络爬虫技术。 首先，我们...
Python_爬虫数据存入数据库(超详细过程
m0_65592409的博客
06-17 1万+
目录一、新建项目二、程序的编写三、数据的爬取1.在cmd窗口输入scrapy startproject [项目名称] 创建爬虫项目接着创建爬虫文件，scrapy genspider [爬虫名字] [爬虫域名]打开pycharm项目，就可以看到生成的cblog.py文件1.在项目下新建main.py，写入以下代码，方便后续项目调试main.py 2.编写爬虫程序kblog.py 3.在items.py文件中创建items函数与爬取数据对应items.py 4.在数据库中新建数据表MyArticle
python如何定时读取数据库的数据，并更新到类变量中
weixin_49096826的博客
03-09 2974
最近有一个功能方面的需求，要定时读取数据库的数据，并且读取到的数据，要存入到类变量中去，这个问题卡了我一天，现解决如下： 1、类变量真的是个好东西，可以作为全局变量，跨类使用 class Var: var1=18 # 自己随意设置 var2=115 然后，大家可以在其它类的任何地方使用Var.var1或者Var.var2，引用这个变量 2、那么如何定时读取数据库的数据到类变量中去，并且让类变量定时更新呢 from threading import Timer class Var: var1=18 #
python定时取数据库数据_Python3.x：定时获取页面数据存入数据库
weixin_39996798的博客
11-29 463
#间隔五分钟采集一次数据入库importpymysqlimporturllib.requestfrom bs4 importBeautifulSoupimportthreadingimporttime#数据入库处理defdoDataWlpc(jjdm, jjmc, dwjz, dwjzrq):r_code=0print('基金信息：' + jjdm + ',' + jjmc + ',' + dwj...
python爬虫存储数据4种方式
m0_50488257的博客
07-10 6149
##注意：爬取的数据以字典的形式放入了self.data属性中[{},{},{}]如需直接使用需要把数据类型转换为列表，把self.data换成自己的数据存储变量名。mongodb数据库没有表的概念，数据的写入相对较为简单一点。爬取的数据以字典的形式放入了self.data属性中。爬取的数据以字典的形式放入了self.data属性中。爬取的数据还是存放在类的self.data属性中。爬取的数据还是存放在类的self.data属性中。2.数据写入excell文件。2.数据写入excell文件。
python自动抓取网管软件的数据_python实现scrapy爬虫每天定时抓取数据的示例代码...
weixin_39555320的博客
02-04 653
1. 前言。1.1. 需求背景。每天抓取的是同一份商品的数据，用来做趋势分析。要求每天都需要抓一份，也仅限抓取一份数据。但是整个爬取数据的过程在时间上并不确定，受本地网络，代理速度，抓取数据量有关，一般情况下在20小时左右，极少情况下会超过24小时。1.2. 实现功能。通过以下三步，保证爬虫能自动隔天抓取数据：每天凌晨00：01启动监控脚本，监控爬虫的运行状态，一旦爬虫进入空闲状态，启动爬虫。一旦...
python进行爬虫+数据处理+导入Mysql
qq_44196259的博客
09-06 4974
python 进行网络爬虫爬取文本数据，然后处理数据，导入Mysql并保存为本地CSV文件
python 爬虫 实现增量去重和定时爬取实例
python基础编程开发教程
03-25 3002
今天小编就为大家分享一篇python 爬虫 实现增量去重和定时爬取实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧 前言： 在爬虫过程中，我们可能需要重复的爬取同一个网站，为了避免重复的数据存入我们的数据库中 通过实现增量去重 去解决这一问题 本文还针对了那些需要实时更新的网站 增加了一个定时爬取的功能； 本文作者同开源中国（殊途同归_）； 解决思路： 1.获取目标url 2....
评论 69
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

袁袁袁袁满

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值