42.Spark大型电商项目-用户访问session分析-session随机抽取之本地测试

目录

修改表结构

table session_aggr_stat

session_random_extract

session_detail

top10_category

top10_category_session

spark1.x Iterable和2.x iterator

---

本篇文章将记录用户访问session分析-session随机抽取之本地测试。

本地测试问题很多，下面就记录一下。

修改表结构

table session_aggr_stat

//删除主键
alter table session_aggr_stat drop primary key;
//设置索引
alter table session_aggr_stat add index idx_task_id (task_id);
//设置字段默认类型
alter table session_aggr_stat change  task_id task_id int(11) NULL;

 

session_random_extract

//删除主键
mysql> alter table session_random_extract drop primary key;
//设置索引
mysql> alter table session_random_extract add index idx_task_id (task_id);
//设置task_id默认为空
mysql> alter table session_random_extract change  task_id task_id int(11) NULL;

session_detail

//删除主键
mysql> alter table session_detail drop primary key;
//添加索引
mysql> alter table session_detail add index idx_task_id  (task_id);
mysql> alter table session_detail add index idx_session_id  (session_id);
//设置task_id默认为空
mysql> alter table session_detail change  task_id task_id int(11) NULL;

 

top10_category

//删除主键
mysql> alter table top10_category drop primary key;
//设置索引
mysql> alter table top10_category add index idx_task_id  (task_id);
//设置task_id默认为空
mysql> alter table top10_category change  task_id task_id int(11) NULL;

top10_category_session

//删除主键
mysql> alter table top10_category_session drop primary key;
//设置索引
mysql> alter table top10_category_session add index idx_task_id  (task_id);
//设置task_id默认为空
mysql> alter table top10_category_session change  task_id task_id int(11) NULL;

spark1.x Iterable和2.x iterator

spark 1.x中的Iterable对象变成了spark2.x中的Iterator对象

相应的,对于返回值为list的RDD,  spark2.x中要返回list.iterator()