大数据
PoseidonDing
纵有疾风起,人生不言弃。
展开
-
Spark参数配置
spark-sql --master yarn --num-executors 4 --executor-memory 4G --executor-cores 2 --driver-memory 5G --conf spark.kryoserializer.buffer.max=512m -f /usr/local/test.sql原创 2017-07-08 16:14:52 · 409 阅读 · 0 评论 -
hive函数的使用
在近期的工作中在处理数据时要对一个字段做一些转换,组合使用了几个Hive函数,在此做一个记录。 业务需求:SALES_DT_WID时间格式为201707,string类型的,根据这个时间得到上一年同期时间201607的销售额,算出上一年同期时间即可; HQL: select SALES_AMT_WITH_TAX from BIGDATA_DW.W_KA_POS_SALES_F a wh原创 2017-07-08 16:28:41 · 591 阅读 · 0 评论