写一个脚本,自动把txt文件导入mysql数据库,并进行日期格式化,且解决0000-00-00问题

写在开头:
其实,我已经很难用脑子记住什么了,所以写在这里,以免自己忘记。

下面这个是
in_xxx_MMClaims_GeneralInfo.sql的内容
这个脚本负责把一个数据文件导入数据库,并且实现
(1)日期格式从 m/dd/yyy 导入到 yyyy/mm/dd
(2)对于数据文件中为空的,经过步骤(1)被变成0000-00-00,要还原成null

执行方法
mysql -h localhost -upmis -p666666 < E:\test\in_xxx_MMClaims_GeneralInfo.sql

use xxx_2020
load data local infile “e:\test\MMClaims_GeneralInfo_20191126_1.txt”
into table mmclaims_generalinfo
fields terminated by’|’
enclosed by ‘"’
(Operation,Mining Claim Key,Claim Name,Mining Claim ID,List of Owners,
Claim Status,Claim Status as Reported,Agency Claim ID,Claim Type,Claim Type as Reported,Commodities,
@Application Date,@Date Granted,@Expiry Date,@Source As Of Date,
Source,Claim Area,Country Name,SNL Global Region)

set
Application Date=str_to_date(@Application Date,’%m/%d/%Y’),
Date Granted=str_to_date(@Date Granted,’%m/%d/%Y’),
Expiry Date=str_to_date(@Expiry Date,’%m/%d/%Y’),
Source As Of Date=str_to_date(@Source As Of Date,’%m/%d/%Y’);

update mmclaims_generalinfo
SET
Application Date = NULL where CAST(Application Date AS CHAR(20)) = ‘0000-00-00’;
update mmclaims_generalinfo
SET
Date Granted = NULL where CAST(Date Granted AS CHAR(20)) = ‘0000-00-00’;
update mmclaims_generalinfo
SET
Expiry Date = NULL where CAST(Expiry Date AS CHAR(20)) = ‘0000-00-00’;
update mmclaims_generalinfo
SET
Source As Of Date = NULL where CAST(Source As Of Date AS CHAR(20)) = ‘0000-00-00’;

注意:csdn的显示略去了一些符号,你看到所有的红颜色的词组都是由~键下面的那个单引号括住的。

### 回答1: 好的,我可以回答这个问题。要编一个可以自动化调用接口、拉取数据并自动MySQL 数据库的 Python 脚本,您需要使用 Python 的 requests 库来发送 HTTP 请求,使用 json 库来解析返回的 JSON 数据,使用 pymysql 库来连接 MySQL 数据库并执行 SQL 语句。具体实现的步骤可以参考以下流程: 1. 导入需要的库:requests、json、pymysql。 2. 定义接口地址和参数,使用 requests 库发送 HTTP 请求,获取返回的 JSON 数据。 3. 解析 JSON 数据,获取需要的字段值。 4. 使用 pymysql 库连接 MySQL 数据库,执行 SQL 语句将数据数据库。 5. 关闭数据库连接。 以上是一个简单的流程,具体实现还需要根据您的具体需求进行调整。希望对您有所帮助! ### 回答2: 当然可以!下面是一个示例的Python脚本,它可以自动化调用接口拉取数据并将数据自动入到MySQL数据库中。 首先,你需要确保已经安装了`requests`和`pymysql`库。如果没有安装,可以使用以下命令进行安装: ``` pip install requests pip install pymysql ``` 接下来是Python脚本的代码,你可以将其保存为一个.py文件并运行: ```python import requests import pymysql # 接口地址 url = 'http://api.example.com/data' # 数据库连接信息 db_host = 'localhost' db_user = 'root' db_password = 'password' db_name = 'mydatabase' # 请求接口获取数据 response = requests.get(url) data = response.json() # 连接数据库 conn = pymysql.connect(host=db_host, user=db_user, password=db_password, database=db_name) cursor = conn.cursor() # 清空原有数据 truncate_query = 'TRUNCATE TABLE mytable' cursor.execute(truncate_query) # 插入新数据 insert_query = 'INSERT INTO mytable (column1, column2, column3) VALUES (%s, %s, %s)' for entry in data: values = (entry['column1'], entry['column2'], entry['column3']) cursor.execute(insert_query, values) # 提交更改并关闭连接 conn.commit() conn.close() print('数据已成功拉取和数据库!') ``` 在这个示例代码中,我们首先指定了要调用的接口地址url。然后我们设置了MySQL数据库的连接信息:主机地址(host)、用户名(user)、密码(password)和数据库名(database)。 接下来,我们使用`requests`库向指定的接口地址发送一个GET请求,并使用`.json()`方法将响应数据解析为JSON格式。 然后,我们连接到MySQL数据库,创建一个游标对象,用于执行SQL语句。我们假设将数据入名为`mytable`的表,表中有三个列`column1`、`column2`和`column3`。我们首先使用`TRUNCATE TABLE`语句清空原有数据,然后使用`INSERT INTO`语句将每个数据条目插入到表中。 最后,我们使用`commit()`方法提交更改,并关闭数据库连接。之后,我们打印一条成功的消息。 当你运行脚本时,它将自动调用接口获取数据,并将数据入到指定的MySQL数据库中。 请注意,这只是一个示例脚本,你可能需要根据实际情况进行一些自定义修改,例如接口地址、数据库连接信息和表结构。 ### 回答3: 自动化调取接口拉取数据并自动MySQL数据库的Python脚本可以按照以下步骤完成: 首先,引入相关的Python库,如requests用于发送HTTP请求、json用于处理API返回的数据、pymysql用于连接MySQL数据库。 接下来,定义一个函数或类来完成数据拉取和入的功能。在函数或类中,通过requests库发送HTTP请求到目标接口,获取返回的数据。可以使用GET或POST方法,根据接口的需求传递对应的参数。通过json库将返回的数据转换为Python可处理的格式。 然后,使用pymysql库连接到MySQL数据库,并创建数据库连接对象和游标对象。通过游标对象执行SQL语句,创建数据表或插入数据。可以使用sqlalchemy等ORM库简化数据库操作。 在函数或类中,可能需要编循环或递归的逻辑,以便实现对接口的多次调用。可以根据接口返回的数据进行判断,是否还需要继续拉取数据。 最后,从脚本的主函数中调用定义的函数或类,执行自动化调取接口拉取数据并MySQL数据库的功能。 需要注意的是,在编脚本时,要考虑异常处理和错误日志记录。例如,在接口调用失败时,可以记录错误信息并重试一定次数或采取其他处理方式。 总之,通过以上步骤,可以编一个自动化调取接口拉取数据并自动MySQL数据库的Python脚本,实现数据的自动化处理和存储。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

欧色

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值