- 博客(3)
- 收藏
- 关注
原创 sql json map array struct
get_json_object(string,'$.fileds')string:转换的string对象,$.fileds 获取json中的字段值data ={ "info1": { "lat": 30.11248, "lng": 20.4835 }, "info2": { "default_recom": 1, "invalid_text": { "color": 0, ...
2020-06-04 20:21:54 202
原创 性能优化
性能调优包含 :开发调优、资源调优、数据倾斜调优、shuffle调优几个部分参考文档:https://tech.meituan.com/2016/04/29/spark-tuning-basic.htmldriver: 任务管理者,向集群申请资源,分配任务,合并数据(不是实际任务的运行之地)executor:分布在多个节点上,实际任务的运行之地,executor-core:每个executor中的线程数,提高task的并发程度executor-num:在集群中申请...
2020-05-13 20:56:02 100
原创 环境变量
1、配置python环境变量PYTHONPATH =/Users/xiaoguorui/Documents/tools/spark-2.2.0-224-bin/pythonSPARK_HOME=/Users/xiaoguorui/Documents/tools/spark-2.2.0-224-bin2、配置sprak_lib
2020-05-06 19:47:52 213
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人