大数据
Keifei
Keep it simple stupid
展开
-
关于cdh中应用python语言写自定义函数遇到的奇葩问题
这是基于我的一次优化,原始脚本不是我写的。 啥也不说了,先上代码(因为是生产环境,没办法粘贴出来,只能截图): 车险信息,大体的意思就是根据一张保单的险别和保额,再按照配置表,看看符不符合条件。 应用的hql: 其中branchcode是二级机构,相当于省份。policyno就是保单号。 现在有这样一个问题,我以全国数据为单位加工的时候,报错了。我注意到了报错的机构是辽宁,我又单独跑了辽宁机构的数据,同样报错,同时又排除了辽宁的数据就不报错,这样我锁定了不是资源问题,是辽宁机构的数据有问题原创 2020-07-12 15:32:57 · 192 阅读 · 0 评论 -
从文章中检索出关系型数据信息算法
我承认我超级喜欢胡思乱想... 今天我又有了新的想法,是关于从文章中提取出关系型信息的算法,我不知道现在是否已经存在了类似的算法,目前我还没有想到这种算法的用途,但是我觉得这很困难,但是又可行,所以我就决定还是把它记下来吧。 文章呢,没出校门的时候我接触过小说,议论文,记叙文,说明文等等。就拿小说来举例子,一部小说提到的任务,故事情节,随着时间的行进,故事情节的发展,这些可不可以通过一种算法来...原创 2019-03-25 16:40:59 · 201 阅读 · 0 评论