大数据
文章平均质量分 51
PandaWuu
你的付出,时光不会辜负。
展开
-
初学MapReduce
推荐系统: offline层:对海量数据离线计算。 MapReduce spark Nearline层:利用流式处理对海量数据进行实时加工 storm online 层:负责在线计算处理,相对简单的逻辑运算。WebPy。 一致性hash算法:为了解决因特网中的热点HostPot问题 最基本的海量数据思想:分而治之思想: 按数据量划分。传统的hash:...原创 2018-07-23 15:11:27 · 206 阅读 · 0 评论 -
CentOS7安装Redis并且设置开机启动
1. 首先下载redis源码,并使用tar进行解压缩 wget http://download.redis.io/releases/redis-4.0.8.tar.gz tar xvzf redis-4.0.8.tar.gz 2.使用gcc进行编译 make 编译后的可执行文件在redis-4.0.8/src目录下 3.使用root权限创建redis文件目录,并复制redis-...原创 2018-07-24 11:46:57 · 291 阅读 · 0 评论 -
hadoop yarn日志报错以及如何启动聚合日志
我们在hadoop集群一般需要在工作台查看日志,但是工作台查看日志一般会出现以下情况: 上面的原因是由于yarn的日志监控功能默认是处于关闭状态的,需要我们进行开启,开启步骤如下: 一、在yarn-site.xml文件中添加日志监控支持 该配置中添加下面的配置: <!-- 开启日志聚合 --> <property> ...原创 2018-08-14 20:36:30 · 1702 阅读 · 0 评论