Python爬虫实战（三）：定时爬取数据存入SqlServer

已于 2022-05-08 20:17:50 修改
阅读量1.1w 收藏 76
点赞数 47
分类专栏： Python爬虫实战100例 文章标签： 爬虫 python
于 2021-12-07 15:31:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yuan2019035055/article/details/121427987
版权

目录

🌹前言

  • 🏆🏆作者介绍：Python领域优质创作者、华为云享专家、阿里云专家博主、2021年CSDN博客新星Top6

  • 🔥🔥本文已收录于Python爬虫实战100例专栏：《Python爬虫实战100例》
  • 📝​📝​此专栏文章是专门针对Python爬虫实战案例从基础爬虫到进阶爬虫，欢迎免费订阅

爬取目标（效果展示）

效果展示：
在这里插入图片描述

爬取的内容是：标题、榜单、热度值、新闻类型、时间戳、url地址等

准备工作

建表：

CREATE TABLE "WB_HotList" (
	"id" INT IDENTITY(1,1) PRIMARY key,
	"batch" NVARCHAR(MAX),
	"daydate" SMALLDATETIME,
	"star_word" NVARCHAR(MAX),
	"title" NVARCHAR(MAX),
	"category" NVARCHAR(MAX),
	"num" NVARCHAR(MAX),
	"subject_querys" NVARCHAR(MAX),
	"flag" NVARCHAR(MAX),
	"icon_desc" NVARCHAR(MAX),
	"raw_hot" NVARCHAR(MAX),
	"mid" NVARCHAR(MAX),
	"emoticon" NVARCHAR(MAX),
	"icon_desc_color" NVARCHAR(MAX),
	"realpos" NVARCHAR(MAX),
	"onboard_time" SMALLDATETIME,
	"topic_flag" NVARCHAR(MAX),
	"ad_info" NVARCHAR(MAX),
	"fun_word" NVARCHAR(MAX),
	"note" NVARCHAR(MAX),
	"rank" NVARCHAR(MAX),
	"url" NVARCHAR(MAX)	
)

为防止，字段给的不够，直接给个MAX！
在这里插入图片描述

代码分析

第一步

发送请求，获取网页信息

提供了数据的接口，所以我们直接访问接口就行，如下图（json格式）：

# 接口地址：https://weibo.com/ajax/statuses/hot_band

在这里插入图片描述

def __init__(self) :
	self.url = "https://weibo.com/ajax/statuses/hot_band"
	self.headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36"}
# 发送请求，获取相应 
def parse_url(self):
	response = requests.get(self.url,headers=self.headers)
	time.sleep(2) # 休息两秒
	
	return response.content.decode()

第二步

解析数据，提取我们所需要的数据

接口中的数据格式化如下（只需提取我们所需要的）：
在这里插入图片描述

for i in range(50):
	ban_list = json_data['data']['band_list'][i]
	batch = f'第{a}批'
	try:
	    star_word = ban_list['star_word']
	except Exception as e:
	    print(e)
	try:
	    title = ban_list['word']
	except Exception as e:
	    print(e)
	try:
	    category = ban_list['category']
	except Exception as e:
	    print(e)
	try:
	    num = ban_list['num']
	except Exception as e:
	    print(e)
	try:
	    subject_querys = ban_list['subject_querys']
	except Exception as e:
	    print(e)
	try:
	    flag = ban_list['flag']
	except Exception as e:
	    print(e)
	try:
	    icon_desc = ban_list['icon_desc']
	except Exception as e:
	    print(e)  
	try:
	    raw_hot = ban_list['raw_hot']
	except Exception as e:
	    print(e)      
	try:
	    mid = ban_list['mid']
	except Exception as e:
	    print(e) 
	try:
	    emoticon = ban_list['emoticon']
	except Exception as e:
	    print(e)
	try:
	    icon_desc_color = ban_list['icon_desc_color']
	except Exception as e:
	    print(e)
	try:
	    realpos = ban_list['realpos']
	except Exception as e:
	    print(e)
	try:
	    onboard_time = ban_list['onboard_time']
	    onboard_time = datetime.datetime.fromtimestamp(onboard_time)
	except Exception as e:
	    print(e)
	try:
	    topic_flag = ban_list['topic_flag']
	except Exception as e:
	    print(e)
	try:
	    ad_info = ban_list['ad_info']
	except Exception as e:
	    print(e)
	try:
	    fun_word = ban_list['fun_word']
	except Exception as e:
	    print(e)   
	try:
	    note = ban_list['note']
	except Exception as e:
	    print(e)      
	try:
	    rank = ban_list['rank'] + 1
	except Exception as e:
	    print(e) 
	try:
	    url = json_data['data']['band_list'][i]['mblog']['text']
	    url = re.findall('href="(.*?)"',url)[0]

第三步

数据库的batch用于判断，每次插入的批次（50个一批），如果爬虫断了，写个方法还能接着上次的批次

如图：
在这里插入图片描述

# 把数据库batch列存入列表并返回（用于判断批次号）
def batch(self):
	conn=pymssql.connect('.', 'sa', 'yuan427', 'test')
	cursor=conn.cursor()
	
	cursor.execute("select batch from WB_HotList") #向数据库发送SQL命令
	rows=cursor.fetchall()
	batchlist=[]
	for list in rows:
	    batchlist.append(list[0]) 
	
	return batchlist

第四步

把数据存入数据库

# 连接数据库服务,创建游标对象
db = pymssql.connect('.', 'sa', 'yuan427', 'test') #服务器名,账户,密码,数据库名
if db:
    print("连接成功!")    
cursor= db.cursor()

try:
	# 插入sql语句
	sql = "insert into test4(batch,daydate,star_word,title,category,num,subject_querys,flag,icon_desc,raw_hot,mid,emoticon,icon_desc_color,realpos,onboard_time, \
	        topic_flag,ad_info,fun_word,note,rank,url) values (%s,getdate(),%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)"
	
	# 执行插入操作
	cursor.execute(sql,(batch,star_word,title,category,num,subject_querys,flag,icon_desc,raw_hot,mid,emoticon,icon_desc_color,realpos,onboard_time,topic_flag,ad_info, \
	            fun_word,note,rank,url))
	db.commit()
	
	print('成功载入......' )
	
	except Exception as e:
	db.rollback()
	print(str(e))
    
# 关闭游标，断开数据库
cursor.close()
db.close()

完整代码

import requests,pymssql,time,json,re,datetime
from threading import Timer

class Spider:
    def __init__(self) :
        self.url = "https://weibo.com/ajax/statuses/hot_band"
        self.headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36"}

    # 发送请求，获取相应 
    def parse_url(self):
        response = requests.get(self.url,headers=self.headers)
        time.sleep(2)
        
        return response.content.decode()

    # 解析数据，入库
    def parse_data(self,data,a):
        json_data = json.loads(data)

        # 连接数据库服务,创建游标对象
        db = pymssql.connect('.', 'sa', 'yuan427', 'test') #服务器名,账户,密码,数据库名   
        cursor= db.cursor()
     
        for i in range(50):
            ban_list = json_data['data']['band_list'][i]
            
            
            batch = f'第{a}批'
            
            try:
                star_word = ban_list['star_word']
            except Exception as e:
                print(e)
            
            
            try:
                title = ban_list['word']
            except Exception as e:
                print(e)

            try:
                category = ban_list['category']
            except Exception as e:
                print(e)
            
            try:
                num = ban_list['num']
            except Exception as e:
                print(e)
        
            try:
                subject_querys = ban_list['subject_querys']
            except Exception as e:
                print(e)

            try:
                flag = ban_list['flag']
            except Exception as e:
                print(e)

            try:
                icon_desc = ban_list['icon_desc']
            except Exception as e:
                print(e)  

            try:
                raw_hot = ban_list['raw_hot']
            except Exception as e:
                print(e)      
            
            try:
                mid = ban_list['mid']
            except Exception as e:
                print(e) 
            
            try:
                emoticon = ban_list['emoticon']
            except Exception as e:
                print(e)
            
            try:
                icon_desc_color = ban_list['icon_desc_color']
            except Exception as e:
                print(e)
            
            try:
                realpos = ban_list['realpos']
            except Exception as e:
                print(e)
            
            try:
                onboard_time = ban_list['onboard_time']
                onboard_time = datetime.datetime.fromtimestamp(onboard_time)
            except Exception as e:
                print(e)
            
            try:
                topic_flag = ban_list['topic_flag']
            except Exception as e:
                print(e)
            
            try:
                ad_info = ban_list['ad_info']
            except Exception as e:
                print(e)
            
            try:
                fun_word = ban_list['fun_word']
            except Exception as e:
                print(e)   
            
            try:
                note = ban_list['note']
            except Exception as e:
                print(e)      
        
            try:
                rank = ban_list['rank'] + 1
            except Exception as e:
                print(e) 
            
            try:
                url = json_data['data']['band_list'][i]['mblog']['text']
                url = re.findall('href="(.*?)"',url)[0]
            except Exception as e:
                print(e)
           
            try:
                # 插入sql语句
                sql = "insert into test4(batch,daydate,star_word,title,category,num,subject_querys,flag,icon_desc,raw_hot,mid,emoticon,icon_desc_color,realpos,onboard_time, \
                        topic_flag,ad_info,fun_word,note,rank,url) values (%s,getdate(),%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)"

                # 执行插入操作
                cursor.execute(sql,(batch,star_word,title,category,num,subject_querys,flag,icon_desc,raw_hot,mid,emoticon,icon_desc_color,realpos,onboard_time,topic_flag,ad_info, \
                            fun_word,note,rank,url))
                db.commit()

                print('成功载入......' )
            
            except Exception as e:
                db.rollback()
                print(str(e))
            
        # 关闭游标，断开数据库
        cursor.close()
        db.close()
         
    # 把数据库batch列存入列表并返回（用于判断批次号）
    def batch(self):
        conn=pymssql.connect('.', 'sa', 'yuan427', 'test')

        cursor=conn.cursor()

        cursor.execute("select batch from WB_HotList") #向数据库发送SQL命令

        rows=cursor.fetchall()
        batchlist=[]
        for list in rows:
            batchlist.append(list[0]) 

        return batchlist    
             
    # 实现主要逻辑 
    def run(self, a):
        
        # 根据数据库批次号给定a的值
        batchlist = self.batch()
        if len(batchlist) != 0:
            batch = batchlist[len(batchlist) -1]
            a = re.findall('第(.*?)批',batch)
            a = int(a[0]) + 1

        data = self.parse_url()

        self.parse_data(data,a)
        a +=1
        # 定时调用
        t = Timer(1800, self.run, (a, )) # 1800表示1800秒，半小时调用一次
        t.start()

    
if __name__ == "__main__": 
    spider = Spider()
    spider.run(1)

启动

因为需要一直运行，所以就在 cmd 挂着

运行成功后，去数据库看看：

在这里插入图片描述

O了O了！！！
在这里插入图片描述

有讲的不对的地方，希望各位大佬指正！！！，如果有不明白的地方评论区留言回复！兄弟们来个点赞有空就更新爬虫实战！！！
在这里插入图片描述

袁袁袁袁满
关注
  • 47
    点赞
  • 踩
  • 76
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 69
    评论
专栏目录
2023.6.6 python爬虫小项目 定时自动爬取
m0_56366541的博客
06-06 826
注意：如果您的 Python 脚本需要特定的库或依赖项，请确保它们安装在将运行计划任务的环境中。确保您的计算机已打开，并且在计划的时间未处于睡眠或休眠模式，以使脚本成功运行。在任务计划程序窗口中，单击右侧窗格中的“创建基本任务”或“创建任务”。要每天在Windows系统上自动执行Python代码，您可以使用Windows中的任务计划程序功能。在“添加参数”字段中，指定要执行的 Python 脚本的路径。打开任务计划程序：按 Windows 键，键入“任务计划程序”，然后从搜索结果中选择任务计划程序应用。
Python导入Excel文件到Sqlserver数据库
weixin_48913629的博客
09-15 899
Python导入Excel文件到Sqlserver数据库
在Python爬虫中，如何实现定时任务？
2301_80354401的博客
06-13 1027
在Python中实现定时任务，特别是在编写爬虫程序时，可以利用schedule库来简化任务的调度。schedule是一个轻量级的任务调度库，允许你以人类可读的格式安排任务，例如按照一定的时间间隔、特定的日期和时间执行任务。
pythonscrapy爬虫_浅析python实现scrapy定时执行爬虫
weixin_39864571的博客
11-24 158
项目需要程序能够放在超算中心定时运行，于是针对scrapy写了一个定时爬虫的程序main.py ，直接放在scrapy的存储代码的目录中就能设定时间定时多次执行。最简单的方法：直接使用Timer类import timeimport oswhile True:os.system("scrapy crawl News")time.sleep(86400) #每隔一天运行一次 24*60*60=8640...
Python_爬虫数据存入数据库(超详细过程
热门推荐
m0_65592409的博客
06-17 1万+
目录一、新建项目二、程序的编写三、数据的爬取1.在cmd窗口输入scrapy startproject [项目名称] 创建爬虫项目接着创建爬虫文件，scrapy genspider [爬虫名字] [爬虫域名]打开pycharm项目，就可以看到生成的cblog.py文件1.在项目下新建main.py，写入以下代码，方便后续项目调试main.py 2.编写爬虫程序kblog.py 3.在items.py文件中创建items函数与爬取数据对应items.py 4.在数据库中新建数据表MyArticle
python自动抓取网管软件的数据_python实现scrapy爬虫每天定时抓取数据的示例代码...
weixin_39555320的博客
02-04 653
1. 前言。1.1. 需求背景。每天抓取的是同一份商品的数据，用来做趋势分析。要求每天都需要抓一份，也仅限抓取一份数据。但是整个爬取数据的过程在时间上并不确定，受本地网络，代理速度，抓取数据量有关，一般情况下在20小时左右，极少情况下会超过24小时。1.2. 实现功能。通过以下三步，保证爬虫能自动隔天抓取数据：每天凌晨00：01启动监控脚本，监控爬虫的运行状态，一旦爬虫进入空闲状态，启动爬虫。一旦...
Python爬虫实战（一）：翻页爬取数据存入SqlServer
2401_83703951的博客
04-08 811
体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！**
python 爬虫项目实战：批量爬取B站小视频 源码
04-30
本实战案例涉及使用Python编写一个爬虫程序，用于批量爬取B站（哔哩哔哩）上的小视频。这个案例将使用到requests库来发送HTTP请求，以及BeautifulSoup库来解析网页内容。 适用人群 Python开发者：希望提高网络爬虫...
python 爬虫实战案例：爬取网易云音乐评价 源码
04-30
本实战案例将展示如何使用Python编写一个简单的网络爬虫，用于爬取网易云音乐上的歌曲评价。案例将涉及发送HTTP请求、解析网页内容以及数据提取的基本技术。 适用人群 编程初学者：希望通过实际项目学习网络爬虫的...
Python爬虫将数据存入SQL Server
01-20
Python爬取常用电话号码并将数据存入数据库 今天我又学到一个新知识，就是将爬取到的数据存入数据库，刚开始学，弄了好久，希望这个小知识能帮助到更多的初学者！！！ 首先啦，我们要找到常用电话号码的网址，然后用...
python作业：爬虫爬取京东评论
最新发布
07-07
Python作业：爬虫爬取京东评论；Python作业：爬虫爬取京东评论；Python作业：爬虫爬取京东评论；Python作业：爬虫爬取京东评论；Python作业：爬虫爬取京东评论；Python作业：爬虫爬取京东评论；Python作业：爬虫爬取...
python 每天如何定时启动爬虫任务(实现方法分享)
12-23
python2.7环境下运行 安装相关模块 想要每天定时启动，最好是把程序放在linux服务器上运行，毕竟linux可以不用关机，即定时任务一直存活； #coding:utf8 import datetime import time def doSth(): # 把爬虫程序放在这个类里 print(u'这个程序要开始疯狂的运转啦') # 一般网站都是1:00点更新数据，所以每天凌晨一点启动 def main(h=1,m=0): while True: now = datetime.datetime.now() # print(now.hour, now.minute) if
定时爬虫（续）
12-20
在上一篇博客中提到了两种定时的方法： 1、使用time.sleep直接做延时处理。 缺点：存在时间的偏移，即运行爬虫所用的时间； 2、使用crontab来定时。 比较好的方法。可以设置日志，随时查看是否出现问题。 上一篇博客地址：定时爬虫1 这一次主要对上次的第二种方法做一个补充，以及介绍一些其他的方法。 crontab定时 在上一次中采用了写sh文件，在定时任务中定时调用脚本文件的方式。 其实，这里也是可以直接在定时任务中执行爬虫，而不需要通过脚本二次调用。 需要之一的一点是：这里必需有一步切换目录的命令，即切换到爬虫的目录下。 * * * * * cd project && envs/en
Python-定时爬取指定城市天气(一)-发送给关心的微信好友
11-26
定时拉取指定城市天气并发送给指定好友，资源讲解地址：https://www.cnblogs.com/swarmbees/p/10023491.html
Python爬虫进阶之多线程爬取数据并保存到数据库
12-21
今天刚看完崔大佬的《python3网络爬虫开发实战》，顿时觉得自己有行了，准备用appium登录QQ爬取列表中好友信息，接踵而来的是一步一步的坑，前期配置无数出错，安装之后连接也是好多错误，把这些错误解决之后，找APP...
python定时简单爬取网页新闻存入数据库并发送邮件
Andyren0126的博客
11-22 6709
本人小白一枚，简单记录下学校作业项目，代码十分简单，主要是对各个库的理解，希望能给别的初学者一点启发。O(∩_∩)O python定时简单爬取网页新闻存入数据库并发送邮件一、项目要求二、项目分析三、代码分析1、导入需要的库：2、获取html文件：3、解析html提取数据：4、存入数据库5、发送邮件6、主函数7、定时执行四、完整代码 一、项目要求 1、程序可以从北京工业大学首页上爬取新闻内容：http://www.bjut.edu.cn 2、程序可以将爬取下来的数据写入本地MySQL数据库中。 3、程序可以
定时爬虫任务：使用Scrapyd定期爬取新闻网站数据
2201_76125393的博客
08-09 488
本文将介绍如何使用Scrapyd框架创建定时爬虫任务，以每天定时爬取新闻网站的最新新闻数据。本文介绍了如何利用Scrapyd框架创建定时爬虫任务，实现每天定时爬取新闻网站的最新数据。通过配置Scrapyd的定时任务功能，您可以轻松管理和部署定时爬虫任务，自动收集更新的新闻信息，提高数据收集效率。它提供了一个基于HTTP的API，使您可以通过HTTP请求来控制爬虫的运行，包括启动、停止和查看爬虫运行状态等。为了实现定时爬虫任务，我们将使用Scrapyd提供的定时任务功能。
python定时爬虫三种方法_python定时爬虫三种方法
weixin_33717595的博客
02-10 867
import timefrom scrapy import cmdlinedef doSth():# 把爬虫程序放在这个类里 zhilian_spider 是爬虫的namecmdline.execute('scrapy crawl zhilian_spider'.split())# 想几点更新,定时到几点def time_ti(h=17, m=54):while True:now = dateti...
scrapy实现定时爬取
青衫折扇的博客
05-29 1142
我们在项目根目录建一个main.py文件 import time from scrapy import cmdline if __name__ == '__main__': while Ture: print("爬虫启动................") cmdline.execute("scrapy crawl spider".split()) print("爬虫结束...........
Python网络爬虫实战指南：掌握爬取技巧与案例
"《用Python写网络爬虫》是一本由澳大利亚作者Richard Lawson撰写并由李斌翻译的实用指南，由人民邮电出版社于2016年9月出版。这本书深入浅出地介绍了如何使用Python编程语言进行网络爬虫开发，旨在帮助读者快速理解...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 69
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

袁袁袁袁满

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值