- 博客(3)
- 收藏
- 关注
RSS订阅原创 sql json map array struct
get_json_object(string,'$.fileds')string：转换的string对象，$.fileds 获取json中的字段值data ={ "info1": { "lat": 30.11248, "lng": 20.4835 }, "info2": { "default_recom": 1, "invalid_text": { "color": 0, ...
2020-06-04 20:21:54
201
原创 性能优化
性能调优包含 ：开发调优、资源调优、数据倾斜调优、shuffle调优几个部分参考文档：https://tech.meituan.com/2016/04/29/spark-tuning-basic.htmldriver： 任务管理者，向集群申请资源，分配任务，合并数据（不是实际任务的运行之地）executor：分布在多个节点上，实际任务的运行之地，executor-core：每个executor中的线程数，提高task的并发程度executor-num：在集群中申请...
2020-05-13 20:56:02
100
原创 环境变量
1、配置python环境变量PYTHONPATH =/Users/xiaoguorui/Documents/tools/spark-2.2.0-224-bin/pythonSPARK_HOME=/Users/xiaoguorui/Documents/tools/spark-2.2.0-224-bin2、配置sprak_lib
2020-05-06 19:47:52
213
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人