大数据
文章平均质量分 61
Mr_不想起床
努力工作,环游世界!
展开
-
MPP(大规模并行处理)简介
1、 什么是MPP?MPP (Massively Parallel Processing),即大规模并行处理,在数据库非共享集群中,每个节点都有独立的磁盘存储系统和内存系统,业务数据根据数据库模型和应用特点划分到各个节点上,每台数据节点通过专用网络或者商业通用网络互相连接,彼此协同计算,作为整体提供数据库服务。非共享数据库集群有完全的可伸缩性、高可用、高性能、优秀的性价比、资源共享等优势。简单来说...原创 2018-06-07 15:35:56 · 130718 阅读 · 12 评论 -
今日头条推荐算法详解
源 | AI研习社 编辑 | 昱良内容较长点击阅读原文即可下载今日头条资深算法架构师曹欢欢:本次分享将主要介绍今日头条推荐系统概览以及内容分析、用户标签、评估分析,内容安全等原理。一、系统概览推荐系统,如果用形式化的方式去描述实际...转载 2018-06-14 18:03:54 · 4790 阅读 · 0 评论 -
Hive大表JOIN优化
转载自:http://www.aboutyun.com/forum.php?mod=viewthread&tid=13077业务背景 用户轨迹工程的性能瓶颈一直是etract_track_info,其中耗时大户主要在于trackinfo与pm_info进行左关联的环节,trackinfo与pm_info两张表均为GB级别,左关联代码块如下: [SQL] 纯文本查看 复制代码 fr...转载 2018-08-29 09:06:25 · 6197 阅读 · 2 评论 -
HDFS和FastDFS 上下载效率对比测试
测试环境测试使用的FastDFS服务器,HDFS服务器均在vmware虚拟机中搭建,HDFS的服务器直接由FastDFS服务器克隆而来,所以除了一个安装了hadoop,一个安装了FastDFS,其他环境完全一致。HDFS配置...转载 2018-09-08 12:58:43 · 1138 阅读 · 0 评论 -
HBase工具类HBaseUtils
参考https://blog.csdn.net/Godlike77/article/details/80913252修改数据库连接类import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.T...原创 2018-12-04 08:59:36 · 3272 阅读 · 2 评论 -
CentOS下Redis的安装教程
转自:https://www.cnblogs.com/renzhicai/p/7773080.html 并添加了部分安装过程中遇到的问题解决办法CentOS下Redis的安装前言安装Redis需要知道自己需要哪个版本,有针对性的安装,比如如果需要redis GEO这个地理集合的特性,那么redis版本就不能低于3.2版本,由于这个特性是3.2版本才有的。另外需要注意的是,Redis约...转载 2018-12-06 20:27:37 · 254 阅读 · 0 评论