用户画像－撸一部分代码啊

1、聚类

算相似人群的时候会根据人的特征进行聚类或者相似度计算，scala kmeans代码如下所示:

2 、HashLSH计算

三、信用评分模型构建

四、一些创建hive 表以及写入数据的sql（主要掌握hive的一些窗口函数，如case..when , row number, collect_set.....）

简单的写几个如下所示：

以及每个维度画像标签有一个表或者多个表，最终需要把不同维度的表合成一个宽表，如下所示：

五、hive数据写入到ES

ES与其它库的区别:

     几十亿用户下, 根据不同维度查询 达到秒级  ——> hbase-实时查询但是聚合没法做的  es

     在线计算  －－> ES  查询速度快，稳定性  每天数据更新

     hive、spark sql、impala、presto －－延迟比较大

    ES不适合做关联－主要是方便查询,检索 es     很消耗内存

    关联适合离线 hive      更多占用硬盘数据相比内存便宜很多