大数据
天明cc
spark开发熟练
展开
-
keamns 聚类在快递业务中的分析
最近报了一个AI学习班,说只要8.8元,所以就交了钱进去了,后面发现原来这只是试听课的钱,吐血。不过 的确,试听课的效果 还行,就是他们写的代码太low,可能专门做AI的人,只要智商、算法过得去就好,对于代码功底不需要那么强。而我也停了这些课,就用学到的知识 给 快递的数据做了一个简单的分析,用于 记录 自己的成长。流程1:获取数据,因为自己在快递公司上班,因此 获取了 最近3个月...原创 2020-03-16 13:59:28 · 831 阅读 · 2 评论 -
Nifi 自定义控件,数据插入 使用 merge into 方式
可以看到 这个 PutDatabaseRecordMerge是 没有版本号的,是我自己开发的控件。因为系统提供的这个PutDatabaseRecord 只有insert、update、delete之类的处理,没有 merge into 这个方式的处理。因此就只能自己开发这个控件了。写篇文章记录下 遇到的问题<!-- 必须要有这个,不然 这个控件就不会有 注...原创 2020-02-27 20:33:17 · 845 阅读 · 1 评论 -
spark问题----cannot assign instance
User class threw exception: org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 7.0 failed 4 times, most recent failure: Lost task 0.3 in stage 7.0 (TID 14, sq-spark-...原创 2020-02-02 10:15:27 · 1763 阅读 · 0 评论