使用Mysql工具进行数据清洗

数据资源

https://gitee.com/pingfanrenbiji/resource/blob/master/%E9%87%91%E8%9E%8D%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90/%E7%AC%AC%E4%B8%80%E7%AB%A0/database1/transaction_info.csv

将csv导入数据库

一路continue

有一份追加数据

https://gitee.com/pingfanrenbiji/resource/blob/master/%E9%87%91%E8%9E%8D%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90/%E7%AC%AC%E4%B8%80%E7%AB%A0/database1/insert.csv

insert.csv数据字段和transaction_info.csv数据字段一致

将insert.csv里面的数据追加到transaction_info表中

同样的导入方式 导入insert.csv

数据清洗

删除重复数据

分析：
先分组、再计数、再筛选、再去重

select Transaction_index from transaction_info GROUP BY Transaction_index  HAVING count(Transaction_index)>1;
delete from transaction_info where Transaction_index='2009-01-02_0039';

修改null值为0

# 更新的逻辑是 先查找 再更新
update transaction_info set Amount=0,Last_Amount=0 where Amount is null;
update transaction_info set Amount=0,Last_Amount=0 where Last_Amount is null;

修正异常值

# 查询国家的异常值 对国家进行分组 然后统计个数 
select Country,count(Country) from transaction_info GROUP BY Country;
# 从而可以找到异常值
Country in (1,2,3)
select * from transaction_info where Country in (1,2,3);
# 获取城市为Houston的国家信息 查看该城市属于哪个国家
SELECT DISTINCT Country FROM transaction_info WHERE City = 'Houston';
# 将异常值更新为正常的国家名称
UPDATE transaction_info SET Country = 'United States' WHERE City = 'Houston' AND Country = '3';

熟练使用mysql常用句式

• 数据

https://gitee.com/pingfanrenbiji/resource/tree/master/%E9%87%91%E8%9E%8D%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90/%E7%AC%AC%E4%B8%80%E7%AB%A0/database2

• 案例

需求:

1、购买了产品1的用户数据 标是查询用户信息 所以用户表是基础表
2、Trans_Account_age(交易日期距离注册日期的自然月间隔)、days_since_last_login(交易距离上次登录的天数)
3、分组 在agegroup字段准确分组Trans_Account_age数据，以 “0~1”表示0至1（包含1）， “1~12”表示1至12（包含12）， “12+”表示12以上

SQL:

SELECT U.* ,T.*
, TimeStampDiff (MONTH, U.Account_Created, T.Transaction_date) AS Trans_Account_age #交易日期距离注册日期的自然月间隔
, TimeStampDiff (DAY, T.Last_login, T.Transaction_date) AS days_since_last_login #交易距离上次登录的天数
, CASE 
 WHEN TimeStampDiff (MONTH, U.Account_Created, T.Transaction_date) IN (0,1) THEN '0~1'
 WHEN TimeStampDiff (MONTH, U.Account_Created, T.Transaction_date) > 1 AND TimeStampDiff (MONTH, U.Account_Created, T.Transaction_date) <= 12 THEN '1~12'
 WHEN TimeStampDiff (MONTH, U.Account_Created, T.Transaction_date) > 12 THEN '12+'
 ELSE ''
 END AS agegroup
FROM user_info AS U
LEFT JOIN transaction_info AS T ON T.ID = U.ID
WHERE T.Product = 'Product1'
;