数据分析
心明媚的很干净
星环科技架构师,大数据高级工程师,高级大数据讲师,目前再进行大数据相关环境,spark 相关的研究工作,对TDH商业hadoop版本有较深入的研究。
展开
-
R 国内CRAN 镜像仓库
下面列出国内的CRAN镜像,供大家选择:1、http://mirrors.opencas.cn/cran/ 中国科学院大学(Chinese Academy of Sciences, Beijing)2、https://mirrors.tuna.tsinghua.edu.cn/CRAN/ 清华大学(TUNA Team, Tsinghua University)3、http://mirrors...原创 2018-11-12 17:39:49 · 6839 阅读 · 1 评论 -
基于内容的推荐算法
1 基于物品的推荐算法 给用户推荐之前喜欢的物品相似的物品 用户行为信息表代表 某个用户对某个物品产生 某个行为用户物品行为关联表 根据基础信息转换数据 形成评分矩阵 根据评分矩阵计算物品与物品的相似度该图演示了计算物品1 与 物品2 的相似度 得到推荐列表后和之前...原创 2018-11-12 17:42:03 · 280 阅读 · 0 评论 -
基于用户的推荐算法
算法思想:给用户推荐和他兴趣相似的其他用户喜欢的物品 用户行为列表 根据用户与用户的相似度 两两计算 将已有物品相关关联的推荐列表 归零。得到最终的推荐列表 ...原创 2018-11-12 17:55:41 · 619 阅读 · 0 评论 -
基于星环TDH数据仓库典型总和场景数据流转设计
典型综合场景数据流转设计综合场景一 T+1数据加工图 4 T+1方式数据流转 T+1是数据仓库领域最为常见的数据集成模式,T+1模式下数据仓库会在每天固定时间点采集当天或者前一天交易系统数据。根据数据类型,结构化数据来源一般为RDB,需要将这些数据通过ETL工具全量或者增量导入到tdh的hdfs中,最后根据实际业务需求通过inceptor将数据写入到对应的表中:①...原创 2018-11-12 18:13:39 · 3112 阅读 · 0 评论 -
后台下载 TDH-Client 方法
在使用 星环 TDH 大数据平台过程中,我们必会用到TDH-Client ,其中集成了很多平台组件的客户端。该Client 可以通过manager下载,但是比较麻烦,我们也可以通过后台获取Cookies 的方式下载该客户端。步骤如下:1 获取TDH Manager 的cookies 文件2 根据cookies文件下载 TDH VERSION < 5.2 wg...原创 2019-01-18 11:38:32 · 1463 阅读 · 0 评论 -
TDH 常见运维命令(部分)
通过一条命令来搜集所有节点下regionServer的Exception日志:cat /etc/hosts | grep 172.16 | awk '{print $1}' | xargs -i ssh {} " grep Exception -R /var/log/hyperbase1/*log" 截图如下。日志较多截不完,就直接取消了 查找InceptorS...原创 2019-01-18 11:49:57 · 6292 阅读 · 0 评论