![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
架构
dingyufei615
从事某医疗互联网大数据研发岗,编程语言主要Java/Scala,熟悉主流大数据计算引擎Spark及Hadoop生态圈及常用开源组件kafka,zookeeper等,熟悉ELK技术栈,Hbase,Hive,Delta等数据存储层框架,主要负责我司用户画像,内容画像相关业务的研发,参与画像数据治理及监控预警等系统的研发工作。
展开
-
maven-resources-plugin和maven-assembly-plugin插件使用介绍
利用maven-resources-plugin和maven-assembly-plugin插件能够按照bin、conf、lib文件进行打包首先通过Maven插件实现按照不同环境,生成配置文件 为了应对环境切换,在配置文件conf.yaml中使用Maven属性,在项目打包过程制定是按照id为dev的profile进行构建,还是以id为test的profile进行构建。其中conf.yaml和...原创 2020-03-24 19:05:57 · 1741 阅读 · 0 评论 -
Apache的log4j和log4j2的文件配置及使用说明
日志是应用软件中不可缺少的部分,Apache的开源项目log4j是一个功能强大的日志组件,提供方便的日志记录。apache下载log4j:https://logging.apache.org/log4j/2.x/download.html一、导入log4j的包:1)下载jar包放到lib中。2)maven下载依赖: <depe...原创 2020-03-05 22:50:38 · 3006 阅读 · 0 评论 -
建立用户画像的一些思考
引用一段话:用户画像将产品设计的焦点放在目标用户的动机和行为上,从而避免产品设计人员草率地代表用户。产品设计人员经常不自觉的把自己当作用户代表,根据自己的需求设计产品,导致无法抓住实际用户的需求。往往对产品做了很多功能的升级,用户却觉得体验变差了。在大数据领域,用户画像的作用远不止于此。用户的行为数据无法直接用于数据分析和模型训练,我们也无法从用户的行为日志中直接获取有用的信息。而将用...原创 2020-01-16 17:58:59 · 383 阅读 · 0 评论 -
FastDFS 分布式文件系统
文件系统概述分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连。计算机通过文件系统管理、存储数据,而信息爆炸时代中人们可以获取的数据成指数倍的增长,单纯通过增加硬盘个数来扩展计算机文件系统的存储容量的方式,在容量大小、容量增长速度、数据备份、数据安全等方面的表现...原创 2019-07-15 20:48:28 · 536 阅读 · 0 评论 -
FastDHT简介及安装配置
1.简介:由于FastDFS本身不能对重复上传的文件进行去重,而FastDHT可以做到去重。FastDHT是一个高性能的分布式哈希系统,它是基于键值对存储的,而且它需要依赖于Berkeley DB作为数据存储的媒介,同时需要依赖于libfastcommon。2.安装及配置: 1.下载FastDHT,下载地址:https://github.com/happyfish100F...原创 2019-08-02 20:53:45 · 885 阅读 · 1 评论