2020年03月_码者人生

12月 11月 10月 09月 07月 06月 05月 04月 03月 02月

原创 spark submit脚本中向main方法传递参数,如果参数中包含空格该如何处理

spark是一个非常好用的大数据分布式计算框架。套话不多说，直接进入正题。spark的开发和测试中经常会使用spark submit脚本将编写好的spark应用（比如java和scala编写并打包好的jar包）提交给spark集群进行处理。为了方便调试，经常需要向main方法传递参数，但是目前很多博文介绍的大多都是关于spark-submit参数调优方面的。那么如何在spark submit脚本中...

2020-03-24 09:09:56 1683

原创 Spark submit 找不到配置文件的异常信息 java.lang.NullPointerException

Spark submit 找不到配置文件的异常信息java.lang.NullPointerException at java.util.Properties$LineReader.readLine(Properties.java:434) at java.util.Properties.load0(Properties.java:353) at java.util.Propertie...

2020-03-23 09:49:35 807

原创 Spark写入 ES 异常 Use 'org.elasticsearch.spark.sql' package instead

Exception in thread "main" org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 1.0 failed 1 times, most recent failure: Lost task 0.0 in stage 1.0 (TID 1, localhost, exe...

2020-03-21 21:41:02 711

原创 java-spark 合并两个row的column

List<Row> tmpList = new ArrayList<Row>() { { add(row1); add(row2); }};Seq<Row> tmpSeq =JavaConverters.asScalaIteratorConverter(tmpList.iterator()).asScala(...

2020-03-20 16:36:33 1804

vipread.com_安全防御体系演进与零信任最佳实践之SDP.共享版.pdf

安全防御体系演进与零信任最佳实践之SDP

2021-02-25

CVE-2019-5736-PoC验证环境需要的文件docker18.03，go1.9

CVE-2019-5736验证环境需要的文件 docker18.03 docker-ce-18.03.1.ce-1.el7.centos.x86_64.rpm docker-ce-19.03.9-3.el7.x86_64.rpm docker-ce-cli-19.03.9-3.el7.x86_64.rpm docker-ce-selinux-17.03.2.ce-1.el7.centos.noarch.rpm container-selinux-2.9-4.el7.noarch.rpm go1.9

2020-10-20

springboot+websocket

websocket的demo，前后端demo都在这个项目有，感兴趣的可以看看

2019-09-06

springcloud-code-generator20190819.rar

业务代码生成器，基于springcloud-feign模式下的代码生成器分为 service层 service实现层 dao接口层 dao实现层

2019-08-19

广告概念.docx

这里是从网上找得关于互联网公司中广告主、广告、广告平台相关的一些概念，方便快速熟悉广告平台内容包括DSP,DMP等内容 CPM(Cost per Mille)计费,即按照千次展示计费,这里的“mille”是拉丁文“千次”的意思。（偏向品牌广告）对于品牌广告,由于效果和目的有时不便于直接衡量,可以考虑按照CPM的方式计费。这种方式,是供给方与需求方约定好千次展示的计费标准,至于这些展示是否能够带来相应的收益,由需求方来估计和控制其中的风险。对于品牌广告,由于目标是较长时期内的利益,很难通过对短期数据进行分析的方式直接计算点击价值,而点击率也因为对于用户接触的核心要求变得不是唯一重要的因素。在这种情况下,由需求方自行根据其市场策略与预算控制单位流量的价格并按CPM方式计费,是比较合理的交易模式。 CPC(Cost per Click)计费,即按点击计费。这种方式最早产生于搜索广告,并很多为大多数效果广告网络所普遍采用。（偏向效果广告） CPC计费方式最有利于发挥供给方和需求方的长处，因而在市场上被广泛接受。这种方式是把点击率的估计交给供给方(或者中间市场),而把点击价值的估计交给需求方,而需求方通过出价的方式向市场通知自己的估价。供给方的通过其收集的大量用户数据,可以根准确地估计点击率;而转化效果是广告商站内的行为,当然他们自己的数据分析体系更能够准确地对其作出评估。 CPS(Cost per Sale)/CPA(Cost per Action)/ROI计费,即按照销售订单数、转化行为数或投入产出比来计费,而这些都是按照转化付费的一些变种。（偏向效果广告）这是一种极端的情况,即需求方只按照最后的转化收益来结算,从而极大程度上规避了风险。在这种计费方式下,供给方或中间市场除了估计点击率,还要对点击价值作出估计,才能合理地决定流量分配。这一方式存在两个很明显的问题: 一是转化行为并非供给方能够控制,因此也无法进行准确的估计和优化。只有那些转化流程和用户体验相似的广告商组成的广告网络,按转化付费才比较合理,典型的例子比如淘宝直通车; 二是存在广告主故意降低转化率,以低成本赚取大量品牌曝光的可能。因此,我们认为这种方式只适合于一些垂直广告网络(Vertical Network)。 CPT(Cost per Time)计费,这是针对大品牌广告主特定的广告活动,将某个广告位以独占式方式交给某广告主,并按独占的时间段收取费用的方式。 CPT还有一种变形,即轮播式CPT,它是将某一广告位的流量按照某一cookie接触到的次数划分成多轮,在其中的若干轮独占式售卖给某广告主,这同样是中国市场很常见的一种售卖方式。 CPT这样独占式的售卖虽然有一些额外的品牌效果和橱窗效应产生,但是非常不利于受众定向和程序交易的发展,因而长期看来比例会有下降的趋势。综合起来看,可以认为对于效果广告,CPC计费方式最有利于发挥供给方和需求方的长处, 因而在市场上被广泛接受。而对于品牌广告,由于效果和目的有时不便于直接衡量,可以考虑按照CPM的方式计费。而CPS的计费方式,只在一些特定的环境下才比较合理。 https://blog.csdn.net/bigheadyushan/article/details/77513525

2019-05-10