天气数据处理

1.site_code 取前五位

(因为是先用文件名作为site_code,然后从文件名中截取前五位即为site_code)

(图上错了,图上取得是6位,但是懒得在找一遍截图了)

2.存储过程+游标对数据进行处理

(1)缺失数据(-9999)置为一个大概值

(2)将10比例的数据除以10,例如温度220→22

(好家伙,处理了一下午)

3.删除列

游标更新的时候忘了sky和wind_direction了,这两列问题不大,直接删了

4.SQL语句

(1)截取

update site_weather set site_code=left(site_code,5)

(2)创建索引

create index index_id on site_weather(id desc)

(3)存储过程

drop procedure processData;
/*创建存储过程,使用游标处理site_weather中的数据*/
create procedure processData() begin
/*声明临时变量，用于更改*/
    declare result_code integer default 1; #定义返回结果并赋初值0
    declare s int default 0;               #标志变量 
    declare resultId bigint default 0;                                                         
    declare air int default 0;
    declare dew int default 0;
    declare sea int default 0;
    declare windDirection int default 0;
    declare windSpeed int default 0;
    declare sky int default 0;
    declare one int default 0;
    declare six    int default 0;    

/*声明游标*/
    declare processCursor cursor for select 
    id,air_temperature,dew_point_temperature,sea_level_pressure,wind_direction,wind_speed,sky_coverage,one_hour_duration,six_hour_duration
    from site_weather;

/*定义HANDLER*/
    declare continue handler for sqlexception set result_code=0; #在执行过程中出任何异常设置result_code为0
    declare continue handler for not found set s=1;              #声明当游标遍历完后将标志变量置成某个值

/*打开游标*/
    open processCursor;        

/*将游标中的值赋值给变量，注意：变量名不要和返回的列名同名，变量顺序要和sql结果列的顺序一致*/
fetch processCursor into  resultId,air,dew,sea,windDirection,windSpeed,sky,one,six;
    -- 当s不等于1，也就是未遍历完时，会一直循环
    while s<>1 do
        -- 执行业务逻辑
          /*
             *处理air_temperature为缺失数据时(-9999)
             *这里由于之前更新操作失误,因此-1000的值也是无效的,需要重新更新
          */
           if air=-9999 or  air=-1000 then
                 set air=200;
                 end if;
            /*
             *处理dew_point_temperature为缺失数据时(-9999)
            */
            if dew=-9999 or dew=-1000 then
                 set dew=200;
                 end if;
            /*
             *处理sea_level_pressure为缺失数据时(-9999)
            */
            if sea=-9999 or sea=-1000 then
                 set sea=10000;
                 end if;
            /*
             *处理wind_direction为缺失数据时(-9999)
            */
            if windDirection=-9999 or windDirection=-1000 then
                 set windDirection=180;
                 end if;
            /*
             *处理wind_speed为缺失数据时(-9999)
            */
            if windSpeed=-9999 or windSpeed=-1000 then
                 set windSpeed=40;
                 end if;
            /*
             *处理sky_coverage为缺失数据时(-9999)
            */
            if sky=-9999 or sky=-1000 then
                 set sky=5;
                 end if;
            /*
             *处理one_hour_duration为缺失数据时(-9999)
            */
            if one=-9999 or one=-1000 then
                 set one=0;
                 end if;
            /*
             *处理six_hour_duration为缺失数据时(-9999)
            */
            if six=-9999 or six=-1000 then
                 set six=0;
                 end if;
            
            /*
             *转换为现实数据(前面都只是在判断以及赋值,这里才是真正的更新语句)
            */
            update site_weather
            set air_temperature=air/10,dew_point_temperature=dew/10,
            sea_level_pressure=sea/10,wind_speed=windSpeed/10,
                one_hour_duration=one/10,six_hour_duration=six/10
            where id=resultId;
            
        -- 将游标中的值再赋值给变量，供下次循环使用
        fetch processCursor
        into  resultId,air,dew,sea,windDirection,windSpeed,sky,one,six;
        -- 当s等于1时表明遍历以完成，退出循环
    end while;
    
/*--关闭游标*/
close processCursor;

end

call processData();

(4)删除列

/*sky_coverage和wind_direction忘了更新了,就直接删掉了*/
alter table site_weather drop column sky_coverage;
alter table site_weather drop column wind_direction;