沃保网爬虫（二）-爬虫数据保存MySQL--建表

已于 2022-05-09 20:06:59 修改
阅读量811 收藏 2
点赞数
分类专栏： 爬虫 数据库 文章标签： python 数据库 mysql pymysql 爬虫
于 2018-05-04 00:04:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41666747/article/details/80188822
版权
本文详细介绍了如何将沃保网爬虫获取的代理人数据保存到MySQL数据库，包括连接数据库、创建数据库、创建表结构，并演示了使用Python的pymysql库操作MySQL保存字典类型爬虫数据的方法。
摘要由CSDN通过智能技术生成

在这里插入图片描述

 

沃保网爬的每一个代理人数据，最后以字典形式保存

{"name":***,"num":***,"city":***.......}这样的键值对结构，具体通过desc  表名；可以查看表结构，我们建好表结构后，就可以通过按照字典的键值对保存在表对应的字段中，红框标出的是表结构的字段名称，下面我会讲如何建立这个结构的表

照顾不懂MySQL数据库的同学，我会从连接数据库，创建数据库，创建表详细的讲

1、连接数据库

打开终端，输入命令mysql -uroot -pmysql，-u后面跟用户名，-p后面跟密码

show databases；显示所有数据库，表明连接成功

最低0.47元/天 解锁文章
沃保网爬虫（九）--requests爬虫升级为scrapy爬虫
python爬虫人工智能大数据
05-13 586
1、requests爬虫升级为scrapy爬虫：2、start_requests:构造requests对象，包含请求url、请求方式、请求参数3、判断页码，构造下一页请求参数，主要是构造页面，请求下一页数据4、请求详情页资格证号，并返回5、返回资格证号，并yield返回6、数据的处理，pipline，item_key是redis中的集合名词7、加密字段在redis集合中的保存形式显示所有key :...
沃保网爬虫（五）--利用pandas 2行代码保存csv文件
python爬虫人工智能大数据
05-09 6940
python语言在数据分析有很多优势，特别方便，当然离不开很多优秀的库，本文讲述pandas方便的保存数据为csv文件，你可以不会用这个库，但是我今天讲的方法大家记忆下，很好用，再没有基础也能学会，后期教程这些都会更深入讲的1、我构造了一个cont_list，结构为列表嵌套字典，字典是每一个样本，类似于我们爬虫爬下来的数据的结构2、利用pd.DataFrame方法先将数据转换成一个二维结构数据，如...
爬虫执行创建mysql表语句_MySQL建表语句.sql
weixin_32742673的博客
02-07 153
CREATE DATABASE douban_book;USE douban_book;CREATE TABLE `book` (`id` bigint(20) unsigned NOT NULL,# id由豆瓣提供`isbn13` char(13) DEFAULT NULL COMMENT 'ISBN13',`title` varchar(100) NOT NULL COMMENT '书名',`...
沃保网爬虫（三）--保存mongdb数据库
python爬虫人工智能大数据
05-05 265
MongoDB数据库保存，我们主要讲一些常用命令数据库连接请看博客另外的文章已经写了，在此不再多讲常用命令如下：1、创建数据库和集合（表）：2、查看命令3、代码书写：该篇文章不明白的留言，系列爬虫文章源码已经上传知识星球（左侧为知识星球，右侧二维码为微信公众号） ...
将爬虫爬到的数据存入MySQL数据库
热门推荐
weixin_44166997的博客
05-09 1万+
将从一个网站上爬到的数据存入MySQL数据库 先要在数据库中建立相对于的table（表），然后将爬到的数据存入表中就可以了，如下是用类实现的某电影网站爬到的电影数据存入数据库的过程 import requests import csv from lxml import etree import pymysql class ConnMysql(object): def __init__(s...
mysql中建立爬虫_爬虫（九十八）mysql详解一
weixin_35146121的博客
01-18 199
这次介绍mysql以及在python中如何用pymysql操作数据库, 以及在mysql中存储过程, 触发器以及事务的实现, 对应到pymysql中应该如何操作.**首先我们在cmd窗口中展示常见的sql命令: **连接数据库mysql -u root -p显示数据库show databases;创建数据库, 设置默认编码为utf-8以及默认的排序方式createdatabasepymysql_...
东莞保险网(我保网) v1.0.rar
07-05
【标题】"东莞保险网(我保网) v1.0.rar" 提供的是一个早期版本的我保网源代码，这是一款与保险行业相关的在线服务平台。"v1.0"表示这是该软件的第一个正式版本，通常包含了基本的功能和框架。 【描述】描述中提到，...
专题讲座资料（2021-2022年）泛华国际合作协议范本课件资料.doc
10-13
- 懒掌柜是甲方提供的互联网展业工具，对乙方进行考核，得分标准包括车险、寿险、PY、保网和E互助业务。 - 有效懒掌柜指的是年度考核得分不少于10分的代理人，合格懒掌柜则要求得分不少于100分。 6. **甲方支持**...
深圳市保网电子商务投资建议.ppt
最新发布
11-23
深圳市保网电子商务投资建议 深圳市保网电子商务有限公司是一家专注于互联网电子商务的公司，主要业务集中在保险领域，致力于打造全球最大的网上保险市场和社区。成立于2004年6月2日，注册于深圳市福田区新华保险...
爬虫项目③（mysql数据库的构建）
往事随风
04-28 770
Web编程第一个实验项目③ （mysql数据库的构建） 前言：在第一个实验项目②中，我们已经完成了对中国新闻网、新浪网、网易、中证网、东方财富网等多个网站的爬虫设计,下面将这些爬取出来的数据导入到数据库中 MySQL的安装和配置 在官网https://dev.mysql.com/downloads/mysql/上下载MySQL Community Server...
python爬取综合信息需要的数据库表以及天气配置表
qq_48663998的博客
06-19 286
python爬取综合信息需要的数据库表已经天气配置表 天气表 SET NAMES utf8mb4; SET FOREIGN_KEY_CHECKS = 0; – Table structure for weather DROP TABLE IF EXISTS weather; CREATE TABLE weather ( weather_id int(0) NOT NULL AUTO_INCREMENT COMMENT ‘id’, province varchar(255) CHARACTER SET
爬虫使用mysql创建新数据库并进行增删改查操作
Gzigithub的博客
10-24 654
 前言：        本文参考：Python3使用mysql创建新数据库并进行增删改查操作https://blog.csdn.net/Anwel/article/details/79919646   该文章描述了爬虫爬取数据后存入数据库自动建库建表，有不足之处还望大家提出 import re import time from functools import reduce from i...
手把手Java爬虫教学 - 8. 项目2 - 数据库表设计 & 爬虫代码实现
胖子胖子大胖子的博客
07-04 762
我们这里需要设计两张表，一个是期刊表，还有一个是文章表；首先是期刊表的字段：发行年份、第几期、请求地址、记录日期；然后是文章表的字段：文章code、期刊id、文章类型、请求地址、文章标题、作者、内容、记录日期； 二、爬虫代码实现 爬虫代码实现和之前的爬博客代码类似，所以我会省略很多代码，详细代码可以去我的 Git 仓库拉取。我们博客爬取是每 20 分钟爬取一次，但是这个文章却不用，它每半个月才会去更新一次~，这里我是让他每天凌晨 2 点更新一次。@Scheduled(cron = "0 0 2 * *
爬虫之存入数据库的（建表以存储）方面的优化
weixin_43145520的博客
06-24 580
1：数据库建立联合索引（便于爬虫数据存入数据库的时候根据多字段进行去重，并且加快爬虫速度） ALTER TABLE t_gov_stats_year_public_management /*表名*/ ADD INDEX classify_name_date/*索引名*/ (classify_id,NAME,DATE1) /*需要联合建索引的字段*/ ; ...
python爬取数据库信息_Python3爬虫学习之MySQL数据库存储爬取的信息详解
weixin_39841825的博客
12-04 2207
本文实例讲述了Python3爬虫学习之MySQL数据库存储爬取的信息。分享给大家供大家参考，具体如下：数据库存储爬取的信息(MySQL)爬取到的数据为了更好地进行分析利用，而之前将爬取得数据存放在txt文件中后期处理起来会比较麻烦，很不方便，如果数据量比较大的情况下，查找更加麻烦，所以我们通常会把爬取的数据存储到数据库中便于后期分析利用。这里，数据库选择MySQL，采用pymysql 这个第三方库...
Redis的安装与基础命令
m0_46684016的博客
12-03 175
Redis安装教程 1.下载 解压与编译 yum install gcc 安装前先安装gcc依赖 1）个人习惯 cd /usr/local #进入这个目录 mkdir redis #创建redis文件夹 ll #可以看到刚创建的redis文件夹 cd redis 2）进入刚创建的redis文件夹后执行命令 wget -c 你复制的链接 # 如 wget -c http://download.redis.io/releases/redis-6.0.9.tar.gz
爬虫基本原理与实战---1、爬虫实战概述
大发的博客
04-13 2493
一、开发前准备 1、开发环境准备 基础准备(win10) 参考：python2与python3共存安装 参考： pycharm安装及永久激活 参考： mysql及navicat安装与使用及navicat破解 参考：安装cmder替代cmd 推荐 虚拟环境搭建 进入到想要存放虚拟环境的目录下，安装virtualenvwrapper： pip in...
#14 Python爬虫的进阶之路---数据库介绍
lrzbupt的博客
05-14 234
SQL语法 两个部分：数据定义语言（DDL）和数据操作语言（DML） 前者用于创建或删除表格，定义索引，规定链接，施加约束 后者用于增删改查 SQL语法对大小写不敏感 primary key 关键词DISTINCT 加在 SELECT之后，用于合并重复值 有条件查找用到where子句 还可以使用and与or以及括号进行合并查找 排序则需要用到ORDER BY语句，默认按照ASC升序，可以改为...
第三章 Scrapy爬虫实战（1）：爬取structurae.net结构列表
lettmefly的博客
12-23 276
转载请注明作者和出处：https://blog.csdn.net/lettmefly 运行平台：Windows Python版本：Python 3.7 IDE：Pycharm 目录 1. 引言 2. 要点 3. scrapy项目编写 3.1 创建项目structurae 3.2 scrapy shell 分析网站 3.3 编写items.py 3.4 编写structure....
深圳市保网电子商务项目投资建议展示：投资概要、行业地位、收益预测与风险对策。
深圳市保网电子商务投资建议PPT文档是一份针对保网电子商务项目的投融资建议文件，由中国风险投资研究院的投融资项目经理岳光华负责。在该建议中，岳光华承诺并声明将在整个投融资过程中尽力尽责对企业进行尽职调查...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值