insert into select from 大量数据_数据采集与融合第四次作业 - 冰凉小手

最新推荐文章于 2021-11-29 13:46:31 发布
最新推荐文章于 2021-11-29 13:46:31 发布
阅读量313 收藏
点赞数
文章标签： insert into select from 大量数据 insert into 多条数据

作业①:

代码

items

# Define here the models for your scraped items
#
# See documentation in:
# https://docs.scrapy.org/en/latest/topics/items.html

import scrapy


class ScrapysqlItem():
    # define the fields for your item here like:
    # name = ()
    # define the fields for your item here like:
    pass

class BookItem():
    title = ()
    author = ()
    date = ()
    publisher = ()
    detail = ()
    price = ()

pipeline

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html


# useful for handling different item types with a single interface
from itemadapter import ItemAdapter
import pymysql

class BookPipeline:
    def process_item(self, item, spider):
        try:
            print(item["title"])
            print(item["author"])
            print(item["publisher"])
            print(item["date"])
            print(item["price"])
            print(item["detail"])
            print()
            if self.opened:
                (
                    "insert into books (bTitle,bAuthor,bPublisher,bDate,bPrice,bDetail) values( % s, % s, % s, % s, % s, % s)",
                    (item["title"], item["author"], item["publisher"], item["date"], item["price"], item["detail"]))
                # 编写插入数据的sql
                 += 1
        except Exception as err:
            print(err)
        return item

    def open_spider(self, spider):
        print("opened")
        try:
            self.con = (host="", port=3306, user="root", passwd="383186", db="book_db", charset="utf8")
            # 创建连接
            self.cursor = self.con.cursor()
            # 创建游标对象
            ("delete from books")
            self.opened = True
             = 0
        except Exception as err:
            print(err)
            self.opened = False

    def close_spider(self, spider):
        if self.opened:
            self.con.commit()
            ()
            self.opened = False
            print("closed")
            print("总共爬取", , "本书籍")

爬虫

import scrapy
from ..items import BookItem
# from bs4 import BeautifulSoup
from bs4 import UnicodeDammit

class MySpider():
    name = "mySpider"
    key = 'python'
    source_url = ''

    def start_requests(self):
        url = self.source_url + "?key=" + self.key
        yield scrapy.Request(url=url,callback=)

    def parse(self, response):
        try:
            dammit = UnicodeDammit(, ["utf-8", "gbk"])
            data = dammit.unicode_markup
            selector = scrapy.Selector(text=data)
            lis = ("//li['@ddt-pit'][starts-with(@class,'line')]")
            for li in lis:
                title = ("./a[position()=1]/@title").extract_first()
                price = ("./p[@class='price']/span[@class='search_now_price']/text()").extract_first()
                author = ("./p[@class='search_book_author']/span[position()=1]/a/@title").extract_first()
                date = ("./p[@class='search_book_author']/span[position()=last()- 1]/text()").extract_first()
                publisher = ("./p[@class='search_book_author']/span[position()=last()]/a/@title ").extract_first()
                detail = ("./p[@class='detail']/text()").extract_first()
                # detail有时没有，结果None
                item = BookItem()
                item["title"] = () if title else ""
                item["author"] = () if author else ""
                item["date"] = ()[1:] if date else ""
                item["publisher"] = () if publisher else ""
                item["price"] = () if price else ""
                item["detail"] = () if detail else ""
                yield item
            # print(item["title"])
            # 最后一页时link为None
            link = ("//div[@class='paging']/ul[@name='Fy']/li[@class='next'] / a / @ href").extract_first()
            if link:
                url = (link)
                yield scrapy.Request(url=url, callback=)
        except Exception as err:
            print(err)

settings和run

ITEM_PIPELINES = {
   '': 300,
}

from scrapy import cmdline
cmdline.execute("scrapy crawl mySpider -s LOG_ENABLED=False".split())

结果

d6637ff171dcaa3c354c5258e4473fab.png

c8d20926f0828715151723e85df82f26.png

作业②

代码

items

# Define here the models for your scraped items
#
# See documentation in:
# https://docs.scrapy.org/en/latest/topics/items.html

import scrapy

#
# class EaststockItem():
#     # define the fields for your item here like:
#     # name = ()
#     pass

import scrapy

class EaststockItem():
    data = ()
    f12 = ()
    f14 = ()
    f2 = ()
    f3 = ()
    f4 = ()
    f5 = ()
    f6 = ()
    f7 = ()
    f15 = ()
    f16 = ()
    f17 = ()
    f18 = ()

pipeline

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html


# useful for handling different item types with a single interface
from itemadapter import ItemAdapter


# class EaststockPipeline:
#     def process_item(self, item, spider):
#         return item
import pymysql

class EaststockPipeline:
    def process_item(self, item, spider):
        try:
            print(item["f12"])
            print(item["f14"])
            print(item["f2"])
            print(item["f3"])
            print(item["f4"])
            print(item["f5"])
            print(item["f6"])
            print(item["f7"])
            print(item["f15"])
            print(item["f16"])
            print(item["f17"])
            print(item["f18"])
            print()
            # print(type(item["f12"]))
            # print(type(item["f14"]))
            # print(type(item["f2"]))
            # print(type(item["f3"]))
            # print(type(item["f4"]))
            # print(type(item["f5"]))
            # print(type(item["f6"]))
            # print(type(item["f7"]))
            # print(type(item["f15"]))
            # print(type(item["f16"]))
            # print(type(item["f17"]))
            # print(type(item["f18"]))
            if self.opened:
                (
                    "insert into eastmoney (e1,e2,e3,e4,e5,e6,e7,e8,e9,e10,e11,e12) values( % s, % s, % s, % s, % s, % s,% s, % s, % s, % s, % s, % s)",
                    (item["f12"],item["f14"],item["f2"],item["f3"],item["f4"],item["f5"],item["f6"],item["f7"],item["f15"],item["f16"],item["f17"],item["f18"]))
                # 编写插入数据的sql
                 += 1
        except Exception as err:
            print(err)
        return item

    def open_spider(self, spider):
        print("opened")
        try:
            self.con = (host="", port=3306, user="root", passwd="383186", db="stock_db", charset="utf8")
            # 创建连接
            self.cursor = self.con.cursor()
            # 创建游标对象
            ("delete from eastmoney")
            self.opened = True
             = 0
        except Exception as err:
            print(err)
            self.opened = False

    def close_spider(self, spider):
        if self.opened:
            self.con.commit()
            ()
            self.opened = False
            print("closed")
            print("总共爬取", , "条股票信息")

爬虫

import scrapy
import re
import urllib.request
from bs4 import UnicodeDammit
from bs4 import BeautifulSoup
from ..items import EaststockItem

class StockSpider():
    name = 'stock'
    page = 1
    # allowed_domains = ['']
    start_urls = ['']

    def parse(self, response):
        while  <= 100:
            url = ""%()
            headers = {
                "User-Agent": "Mozilla/ (Windows NT 10.0; WOW64) AppleWebKit/ (KHTML, like Gecko) ""Chrome/70.0.3538.25 Safari/ Core/1.70.3775.400 QQBrowser/10.6.4209.400"}
            req = (url, headers=headers)
            data = (req)
            data = ()
            dammit = UnicodeDammit(data, ["utf-8", "gbk"])
            data = dammit.unicode_markup
            soup = BeautifulSoup(data, '')
            data = (r'"diff":\[(.*?)]', )
            datas = data[0].strip("{").strip("}").split('},{')  # 去掉头尾的"{"和"}"，再通过"},{"切片
            for i in range(len(datas)):
                item = EaststockItem()
                line = datas[i].replace('"', "").split(",")  # 去掉双引号并通过","切片
                item["f12"] = line[6][4:]
                item["f14"] = line[7][4:]
                item["f2"] = line[0][3:]
                item["f3"] = line[1][3:]
                item["f4"] = line[2][3:]
                item["f5"] = line[3][3:]
                item["f6"] = line[4][3:]
                item["f7"] = line[5][3:]
                item["f15"] = line[8][4:]
                item["f16"] = line[9][4:]
                item["f17"] = line[10][4:]
                item["f18"] = line[11][4:]
                yield item
             += 1

settings和run

ITEM_PIPELINES = {
   '': 300,
}

from scrapy import cmdline
cmdline.execute("scrapy crawl stock -s LOG_ENABLED=false".split())

运行结果

d65a7865abad92af965dccb57b961857.pnge70ba9924ba4cacf2023c9de625deaf1.png

作业③

代码

items

# Define here the models for your scraped items
#
# See documentation in:
# https://docs.scrapy.org/en/latest/topics/items.html

import scrapy


class BankItem():
    # define the fields for your item here like:
    # name = ()
    Currency = ()
    TSP = ()
    CSP = ()
    TBP = ()
    CBP = ()
    bTime = ()

pipeline

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html


# useful for handling different item types with a single interface
from itemadapter import ItemAdapter
import pymysql

class BankPipeline:
    def open_spider(self, spider):
        print('opened')
        try:
            self.con = (host='localhost',port=3306,user='root',passwd='383186',db='bank_db',charset='utf8',autocommit =True)
            self.cursor = self.con.cursor()
            ('delete from foreignexchange')
            self.opened = True
             = 0
        except Exception as err:
            print(err)
            self.opened = False

    def close_spider(self, spider):
        if self.opened:
            ()
            self.opened = False
        print('closed')
        print('总共爬取', , '种外汇')

    def process_item(self, item, spider):
        try:
            print(type(item["Currency"]))
            print(type(item["TSP"]))
            print(type(item["CSP"]))
            print(type(item["TBP"]))
            print(type(item["CBP"]))
            print(type(item["bTime"]))
            print()
            if self.opened:
                ("insert into foreignexchange (bCurrency,bTSP,bCSP,bTBP,bCBP,bTime) value (%s,%s,%s,%s,%s,%s)",(item['Currency'],item['TSP'],item['CSP'],item['TBP'],item['CBP'],item['bTime']))
                 += 1
        except Exception as err:
            print(err)
        return item

settings和run

ITEM_PIPELINES = {
   '': 300,
}

from scrapy import cmdline
cmdline.execute("scrapy crawl bank -s LOG_ENABLED=False".split())

爬虫

import scrapy
from ..items import BankItem
from scrapy.selector import Selector

class BankSpider():
    name = 'bank'
    start_urls = ['']

    def parse(self, response):
        try:
            data = .decode()
            selector = Selector(text=data)
            table = ("//table[@class='data']/tr")
            for t in table[1:]:
                currency = ("./td[position()=1]/text()").extract_first()
                tsp = ("./td[position()=4]/text()").extract_first()
                csp = ("./td[position()=5]/text()").extract_first()
                tbp = ("./td[position()=6]/text()").extract_first()
                cbp = ("./td[position()=7]/text()").extract_first()
                time = ("./td[position()=8]/text()").extract_first()
                item = BankItem()
                item["Currency"] = () if currency else ""
                item["TSP"] = () if tsp else ""
                item["CSP"] = () if csp else ""
                item["TBP"] = () if tbp else ""
                item["CBP"] = () if cbp else ""
                item["bTime"] = () if time else ""
                yield item
        except Exception as err:
            print(err)

数据库创建

498ff1fe9dc7d1d96c197e90c332132f.png

结果

ca60e2f671acf79aadbf1857e107949d.pngcc1be8490baca723dc7001f14f94f302.png

问题与解决(心得体会)

(1)程序执行时报错(1054, Unknown column bDetail in field list)

  • 该列名在数据表中不存在，也就是SQL语句中的列名写错了。
  • 数据表中的列名多了一个空格，解决办法就是将空格去掉就可以了。(我是这一种)
  • 该列属于后面加上去的，选择全部列可以，单独获取报错，解决办法就是将数据表中的该列重新命名，然后保存。

(2)错误代码(1064，...)SQL语法错误

  • 错误可能有很多( 我的错误：("insert into eastmoney ...)中列用“，”分隔，而不是空格)

(3)Python连接mysql,插入数据时不报错，但是没有插入进去

  • 在 connect() 中加上参数 autocommit 并且给它赋值 True 这样就能自动检查是否真的入库了
    con=(host=host_db,user=user_db,passwd=pwssword,db=name_db,port=port_db,charset='utf8',cursorclass=,autocommit =True)

(4)(1045,“Access denied for user 'root' @'localhost' (using password: YES)")

(5)text数据类型定义

327cc051424b5b8c1352f99df8b8d582.png

  • 不能只使用text()，括号需要加数字
  • TINYTEXT: 256 bytes
  • TEXT: 65,535 bytes => ~64kb
  • MEDIUMTEXT: 16,777,215 bytes => ~16MB
  • LONGTEXT: 4,294,967,295 bytes => ~4GB
  • MySQL Workbench里只有TINYTEXT和TEXT(),可用TEXT()自定义大小

posted @

2020-11-03 21:43  冰凉小手

  阅读(

6

)  评论(

) 

编辑  收藏
weixin_39963255
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
mysql insert into select from 大量数据_数据库相关知识
weixin_39980234的博客
12-03 1474
数据库软件有很多很多，主要有:关系型数据库：MySQL、oracle、db2、access、sql server非关系型数据库：redis、mongodb、memcache关系型：数据之间彼此有关系或者约束（男生表和前女友表）存储数据的表现形式通常是以表格存储非关系型：存储数据通常都以k，v键值对的形式关系型数据库主要帮我们存储数据，是真正存储数据的，非关系型数据库主要是帮我们做一个缓存，减轻我们...
insert into select from 大量数据_【PL/SQL】Insert 单条多条插入语句
weixin_39771614的博客
11-29 3151
看完这章你会学习到以下内容：一般Insert语句使用多表Insert （无条件）语句使用多表Insert（有条件）语句使用一般语法使用： insert into 【User.table】[@db_link](column1, column2, column3, ... ...) Values(express1, express2, ... ..)更经常用法：无条件的Insert al...
使用insert插入大量数据的总结
weixin_33747129的博客
06-13 2625
这篇论坛文章根据笔者的个人经验着重介绍了使用insert插入大量数据的常用技巧，更多内容请参考下文： 使用insert插入大量数据的个人经验总结在很多时候，我们会需要对一个表进行插入大量的数据，并且希望在尽可能短的时间内完成该工作，这里，和大家分享下我平时在做大量数据insert的一些经验。 前提：在做insert数据之前，如果是非生产环境，请将表的索引和约束去掉，待inse...
数据库查询速度优化之解决技巧
Java之间
12-06 444
点击上方“Java之间”，选择“置顶或者星标”你关注的就是我关心的！来源：https://icocos.github.io/2019/03/11/数据库查询速度优化之解决技巧/上一篇：终...
Mysql插入百万条数据记录
qq_39149099的博客
11-29 1328
场景：测试百万条数据条件下，前端查询效率是否满足性能需求。 准备条件：通过mysql语法可知，使用insert into table(col1,col2,col3) values (value1,value2,value3),(value1,value2,value3);可以一次性批量插入多条数据，利用此特性，我们可以通过python脚本拼接sql语句，实现一次输入多条数据，此处1百万条数据我分为10次插入，每次拼接10万条数据，脚本包含三部分：数据库连接，insert语句拼接及脚本执行，代码如下：
数据库插入数据之select into from与insert into select区别详解
09-10
在数据库操作中，数据插入是常见的任务之一，而`SELECT INTO FROM`和`INSERT INTO SELECT`是两种不同的插入数据的方法，虽然它们看似相似，但在实际使用中有着本质的区别。了解这些差异对于数据库管理员和开发人员来...
insert大量数据经验之谈
12-14
INSERT INTO tab1 SELECT * FROM tab2; COMMIT; ``` 这种操作适用于百万至千万级别的数据，可以在一小时内完成。然而，这种方法会导致归档日志（ARCH）快速生成，因此需要密切关注归档空间并及时备份，防止磁盘空间...
解析MySQL中INSERT INTO SELECT的使用
09-10
MySQL中的`INSERT INTO SELECT`语句是一种非常实用的数据库操作，它允许你从一个或多个数据源中选择数据，并将其插入到另一个表中。这种操作在数据迁移、数据整合或者生成汇总报告时非常常见。下面将详细介绍`INSERT...
INSERT INTO SELECT语句与SELECT INTO FROM语句的一些区别
09-11
在SQL语言中，INSERT INTO SELECT语句和SELECT INTO FROM语句是两种常见的数据导入和转换方法，它们在处理数据迁移和复制时起着关键作用。接下来我们将深入探讨这两种语句的区别和应用场景。 1. INSERT INTO SELECT...
解决Hibernate JPA中insert插入数据后自动执行select last_insert_id()
09-10
在使用Hibernate JPA进行数据操作时，我们可能会遇到一个特定的情况，即在执行完插入（insert）操作后，系统会自动执行一个`select last_insert_id()`的查询来获取刚刚生成的自增主键值。这个问题在Spring MVC集成...
mssql insert into 和insert into select性能比较
12-15
根据提供的描述，一次插入1190条数据时，使用 `INSERT INTO...VALUES` 需要大约510毫秒，而使用 `INSERT INTO...SELECT` 只需约16毫秒，这表明在处理大量数据时，`INSERT INTO...SELECT` 的性能显著优于 `INSERT ...
select into 和 insert into select 两种表复制语句
01-19
第一句：SELECT * INTO [ToTable] FROM [FromTable] 第二句：INSERT INTO [ToTable] ([fild_One],[fild_Two]) SELECT [fild_One], 8 FROM [FromTable] 以上两句都是将 [FromTable] 的数据插入到 [ToTable]，但两句...
insert select与select into 的用法使用说明
12-15
insert into(列名) select 列名 from 表名 where 条件 –不创建表，只复制表数据 select 列名 into 表名（这个表名是不存在的） from 表名 where 条件，–创建一张新表，只复制选择的列名字段数据 Insert是T-sql中...
insert into select和select into的使用和区别介绍
09-10
在SQL语言中，`INSERT INTO SELECT` 和 `SELECT INTO` 都是用来进行数据迁移或复制的语句，但它们在具体使用和功能上有所差异。接下来我们将深入探讨这两种语句的用法和区别。 首先，`INSERT INTO SELECT` 语句用于...
【Transact-SQL】使用 INSERT INTO – VALUES 插入数据
12-14
新建了基本表之后，表里没有数据，只能看到表头（属性名）~ 添加数据，可以采用我们以前学习的方法：右键点击表，选择“编辑前200行”。 下面使用SQL添加数据。 1. 给Student表添加一行数据（两种方法中，插入数据的...
使用insert into select from批量增加数据
热门推荐
求生记
03-30 1万+
Insert是T-sql中常用语句，Insert INTO table(field1,field2,...) values(value1,value2,...)这种形式的在应用程序开发中必不可少。但我们在开发、测试过程中，经常会遇到需要表复制的情况，如将一个table1的数据的部分字段复制到table2中，或者将整个table1复制到table2中，这时候我们就要使用SELECT INTO 和 I...
百万级数据插入方法效率对比
prospertu的专栏
03-23 5982
第1种：insert into效率比较慢，但是insert into select会优于其他的先select后插入的 第2种 表值参数批量插入，这个是针对SQL2008以上版本的，速度更快些 使用事务和SqlBulkCopy批量插入数据 SqlBulkCopy是.NET Framework 2.0新增的类，位于命名空间System.Data.SqlClient下，主要提供把其他数据源的...
mysql insert into select大量数据插入比较慢_谈谈 MySQL 锁机制
weixin_39747975的博客
11-29 1877
为什么要学习锁机制锁是计算机协调多个进程或线程并发访问某一资源的机制。因为数据也是一种供许多用户共享的资源，如何保证数据并发访问的一致性、有效性是所有数据库必须解决的一个问题，锁冲突也是影响数据库并发访问性能的一个重要因素，所以进一步学习 MySQL，就需要去了解它的锁机制。本文主要记录学习了 MyISAM 和 InnoDB 这两个存储引擎，而且更加关注的是 InnoDB(因为经常用?)...
Oracle的批量插入操作
bisal的专栏
11-03 4328
MySQL中支持一条SQL语句执行批量插入，Oracle中支持的形式有些不同，但是殊途同归，用的就是insert all into语法。创建测试表，SQL>createtabl...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值