爬取数据保存至mysql数据库

最新推荐文章于 2024-04-22 11:23:15 发布
最新推荐文章于 2024-04-22 11:23:15 发布
阅读量6k 收藏 13
点赞数 1
分类专栏： requests mysql数据库 文章标签： 保存数据到mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39928840/article/details/81196961
版权

做爬虫，免不了将抓取下来的数据保存到数据库，但是如何保存到数据库呢，下面我通过我工作中抓取的一个网站来展示，代码有点多，但是逻辑很简单，此例是将view Details的链接保存在了mysql中，先看看网站是什么样子：
这里写图片描述
下边这个图是页码
这里写图片描述
网站是这个样子，我在代码中有个判断，就是判断链接是否有三个，分别执行不同操作，就是根据图中标记来的
此次请求是get请求，不需要传参，只需要重新拼接url进行翻页即可
以下是代码全图：
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述

其中有注释的才是需要注意的地方，代码这么多，着重看吧！

习风的博客
关注
  • 1
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
将python中爬取的数据保存到数据库中
zhh_1998的博客
04-09 4928
要用python关联爬取数据，保存到数据库中 分两步，第一步就是爬取数据，第二步才是保存到数据库 爬取数据 需要的头文件有： # -*- coding:UTF-8 -*- import pymysql as mdb import pymysql.cursors import requests from bs4 import BeautifulSoup import bs4 解...
将爬取的数据保存到mysql中
weixin_30709809的博客
10-18 933
为了把数据保存到mysql费了很多周折，早上再来折腾，终于折腾好了 安装数据库 1、pip install pymysql(根据版本来装) 2、创建数据 打开终端 键入mysql -u root -p 回车输入密码 create database scrapy (我新建的数据库名称为scrapy) 3、创建表 use scrapy; ...
Python爬虫(selenium)从网站获取信息并存入数据库(mysql)
最新发布
2301_77016331的博客
04-22 3192
为了更直观的查看数据库里面各种信息，建议安装这个软件，连接也很简单，点新建连接，就会弹出如下页面，连接名随意，其他都不用改，密码就是你安装mysql时设置的密码，我的就是123456，之后的连接数据库等的password也都是这个。然后，如果没有数据库需要先创建一个数据库，具体方法有很多，可以直接用navicat premium，直接右键连接，再点新建数据库，便创建好了，也可以用代码连接并创建数据库。爬取一个网站的前提是了解这个网站的内容，以及网页布局，最后确定自己需要爬取的内容等。
python3 爬取数据并保存到MySQL
weixin_44439675的博客
03-24 993
一、效果示意： 1.输出： 2.爬取效果： 3.表结构： 二、核心代码： 1、引入： import requests from bs4 import BeautifulSoup import time import pymysql 2、爬取数据方法： # 爬取数据 def get_information(page=0): url = 'https://bbs.hupu.com/bxj-postdate-' + str(page+1) headers={ "user-age
Python爬取读书网的图片链接和书名并保存在数据库中
qq_62254095的博客
10-31 1542
这个爬虫项目应该可以适用于挺多场景的，不是特别多， 跟着写一下也没啥坏处。如果有代码的需求的话，日后会把项目的代码地址给出。因为自己学爬虫没多久，记录一下梳理下思路，也可以为以后有需要的时候做参考。
python爬取数据保存为MySQl格式
zhanghl150426的博客
08-24 355
#encoding:'utf-8' import urllib.request from bs4 import BeautifulSoup import os import time import pymysql import xlwt def getDatas():     # url="https://movie.douban.com/top250"     url="file:///E:/...
Python爬取数据并写入MySQL数据库的实例
09-09
总结来说，这个实例演示了如何使用Python结合BeautifulSoup和Requests库进行网页数据爬取，以及如何利用MySQLdb库将这些数据存入MySQL数据库。通过这种方式，我们可以自动化地收集和存储大量网络数据，为数据分析或...
python爬取招聘数据保存到mysql数据库
07-20
爬取X网中关于指定条件的所有社会招聘信息，搜索条件为北京地区，Python关键字的就业岗位,并将信息存储到MySql数据库中。
python 爬取古诗文存入mysql数据库的方法
12-23
使用正则提取数据，请求库requests,看代码，在存入数据库时，报错ERROR 1054 (42S22): Unknown column ‘title’ in ‘field list’。原来是我写sql 有问题，sql = “insert into poem(title,author,content,create_...
利用python3爬虫爬取全国天气数据并保存入Mysql数据库
08-07
利用python3爬虫爬取全国天气数据并保存入Mysql数据库 具体可见博客 https://blog.csdn.net/u013523775/article/details/79313803
基于scrapy+mysql爬取博客信息并保存到数据库中
01-14
本次实验实现了：使用Scrapy框架爬取博客专栏的目录信息并保存到MySQL数据库中，实验主要涉及到Python的爬虫技术以及MySQL的基本操作，需要有一定的基础。 实验框架 - Scrapy 实验需求 - Scrapy：Scrapy是一个基于...
爬取图片，并且保存mysql
05-15
爬取图片，并且保存mysql,，selenium,多进程爬取网站的图片信息，保存至mysql
将爬取网页存入mysql数据库_爬虫--爬取网页信息存储到Mysql数据库
weixin_32563411的博客
01-19 680
有两种方法进行处理特殊内容的存储：第一种：使用 repr 函数repr() 函数将对象转化为供解释器读取的形式。import jsonimport requestsimport pymysqlclass mysql_conn(object):# 魔术方法 ，初始化 ， 构造函数def __init__(self):self.db = pymysql.connect(host='127.0.0.1'...
JAVA 爬取指定网站的数据并存入MySQL数据库中 maven +httpclient+jsoup+mysql
wl20222022的博客
12-07 1950
            最近在做一个小项目，因为要用的数据爬取，所以研究了好多天，分享一下自己的方法 目录结构： 自己创建maven工程，导入相关依赖：pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi=...
爬虫-菜谱信息爬取（保存至数据库）
Tpintell的博客
03-27 1877
爬取网站信息，进行数据清洗，保存至数据库，进行简单的词云分析
python3 scrapy爬虫进行爬取数据存入MySQL数据库
丑小鸭
05-29 7481
 在python3.x 一般使用 pymysql 这个库进行连接 MySQL数据库【但是注意：这个库只是一个python3  与 mysql间的连接工具，仍需要电脑上安装 mysql server 然后才能用】。安装 PyMySQL可以使用 pip install pymysql 进行直接安装。使用以下代码进行测试：结果为：下面介绍使用 Scrapy 爬虫框架进行爬取数据，然后存入 mysql 数...
爬取数据并写入MySQL数据库
continue_v的博客
06-12 1991
爬取疫情数据 - 写入MySQL
一篇文章让你轻松学会python爬取的数据保存到MySQL中,有案例哦
qq_63713328的博客
08-17 5955
一篇文章让你轻松学会python爬取的数据保存到MySQL中,有案例哦,还有pymysql详细用法解析
将爬取的数据存储到数据库
想不出一个好的标题，就用这个吧
07-20 6560
之前都是将数据存到了文档中或者excel中（排版很不好，稍后研究一下），今天尝试一下对数据库的操作…… 先上代码吧： class Mysql_Exe(): def _getconn(self): try: self.conn=pymysql.connect(host='127.0.0.1',user='root',passwd='123456'...
spring boot Mybatis 怎么保存爬取的数据到mysql数据库
04-02
要将爬取的数据保存到MySQL数据库中，可以按照以下步骤进行操作： 1. 添加MyBatis依赖 在pom.xml文件中添加MyBatis的依赖： ``` <groupId>org.mybatis.spring.boot <artifactId>mybatis-spring-boot-starter ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值