Hadoop
caizhongda
这个作者很懒,什么都没留下…
展开
-
保证分布式系统数据一致性
问题的起源在电商等业务中,系统一般由多个独立的服务组成,如何解决分布式调用时候数据的一致性?具体业务场景如下,比如一个业务操作,如果同时调用服务 A、B、C,需要满足要么同时成功;要么同时失败。A、B、C 可能是多个不同部门开发、部署在不同服务器上的远程服务。在分布式系统来说,如果不想牺牲一致性,CAP 理论告诉我们只能放弃可用性,这显然不能接受。为了便于讨论问题,先简单介绍下数据一致...原创 2020-03-10 12:21:21 · 261 阅读 · 0 评论 -
kerberos安装配置
安装步骤: 1.下载krb5-1.9 http://web.mit.edu/kerberos/dist/krb5/1.9/krb5-1.9-signed.tar 2.解压 tar -xvf krb5-1.9.signed.tar 生成krb5-1.9.tar.gz 和krb5-1.9.tar.gz.asc 继续解压tar zxvf krb5-1.9.tar.gz原创 2012-09-05 18:20:11 · 5651 阅读 · 0 评论 -
Hadoop 的HA高可集群用性
一、 Hadoop 的高可用性1. 概论本指南提供了一个HDFS 的高可用性(HA )功能的概述,以及如何配置和管理HDFS 高可用性(HA) 集群。本文档假定读者具有对HDFS 集群的组件和节点类型具有一定理解。有关详情,请参阅Apache 的HDFS 的架构指南。http://hadoop.apache.org/common/docs/current/hdfs_design.htm原创 2012-09-05 17:25:54 · 16572 阅读 · 0 评论 -
CDH4 高可用集群指南
一、 Hadoop 的高可用性1. 概论本指南提供了一个HDFS 的高可用性(HA )功能的概述,以及如何配置和管理HDFS 高可用性(HA) 集群。本文档假定读者具有对HDFS 集群的组件和节点类型具有一定理解。有关详情,请参阅Apache 的HDFS 的架构指南。http://hadoop.apache.org/common/docs/current/hdfs_design.h原创 2012-09-05 17:20:52 · 4624 阅读 · 0 评论 -
Hadoop0.23.0初探2---HDFS Federation部署
Hadoop的目录文件结构:.|-- LICENSE.txt|-- NOTICE.txt|-- README.txt|-- bin|-- conf|-- etc|-- export_hadoop.sh|-- hadoop-0.23.0-gridmix.jar|-- hadoop-0.23.0-streaming.jar|-- hadoop-mapredu原创 2012-08-30 12:58:34 · 1271 阅读 · 0 评论 -
Hadoop0.23.0初探3---HDFS NN,SNN,BN和HA
前言保证HDFS高可用是Hadoop被推广以来很多技术人员一直关心的问题,通过搜索引擎搜索也可以得到很多的方案。恰逢HDFS Federation出炉,本文将一些涉及到有关NameNode、SecondaryNameNode、BackupNode的含义与区别,以及HDFS HA框架做一个总结。除此之外,文章的最后,将介绍Hadoop-0.23.0如何配置NameNode、SecondaryNa原创 2012-08-30 13:04:51 · 1633 阅读 · 0 评论 -
Hadoop0.23.0初探1---前因后果
最近Hadoop社区最火热的事情莫过于Hortonworks公布了Hadoop最新版本(0.23.0),它标志着Hadoop新时代的到来。本文作为系列文章的第一篇,将结合Hadoop-0.20.*的特点,以及Hadoop核心理念,分析Hadoop新版本的特征。1、Hadoop 0.20.*的局限性HDFS单NameNode的不足 1)扩展性问题。可以随着数据量进行原创 2012-08-30 12:31:23 · 1386 阅读 · 0 评论 -
Hadoop权限管理
1. 介绍本文介绍的Hadoop权限管理包括以下几个模块:(1) 用户分组管理。用于按组为单位组织管理,某个用户只能向固定分组中提交作业,只能使用固定分组中配置的资源;同时可以限制每个用户提交的作业数,使用的资源量等(2) 作业管理。包括作业提交权限控制,作业运行状态查看权限控制等。如:可限定可提交作业的用户;可限定可查看作业运行状态的用户;可限定普通用户只能修改自己作业的原创 2012-04-17 09:57:04 · 3398 阅读 · 0 评论 -
3 推荐数据的呈现
这章主要讲述: 。Mahout如何展现推荐器的数据。DataModel 的实现及其用法 。没有评分数据 Recommendations的质量主要是由数据的数量和质量决定的。“无用输出,无用输入” 在这里是最真实的。同样,推荐器算法都是集中数据,运行的性能主要受数据的数量和展现的影响。这一章介绍Mahout的一些关键class,和访问推荐器相关的数据。3.1原创 2012-01-11 16:01:50 · 1102 阅读 · 0 评论 -
3.2 内存中的DataModel
3.2 内存中的DataModel这是个抽象概念,在Mahout中,recommender的输入数据是DataModel。DataModel的实现为各种推荐器算法需要的数据提供了有效的使用。例如,一个DataModel可以在输入数据中,提供一个包括所有user IDs的列表,或提供与一个item相关联的所有分值,或者提供一个为一系列item IDs打分的所有用户的列表。我们将会集中研究一些hi原创 2012-01-11 18:13:17 · 945 阅读 · 0 评论 -
2.4 推荐器评估的精度和调用
我们也可以得到一个关于recommender问题的更宽广的看法:对生产recommendations我们不用必须估计首选项值。没必要总是对用户提供估计的首选项值。在很多情况下,我们所想要的是一个recommendations的从最好到最差的排序列表。事实上,在有些情况下,我们不是很关心列表的精确排序:一组有点好的recommendations是好的。用更一般的看法,我们也可以把经典原创 2011-12-23 14:45:54 · 1321 阅读 · 0 评论 -
2.6 推荐器介绍-小结
在这章里,我们介绍了推荐引擎的概念。通过一个少量输入,创建一个简单的Mahout recommender,通过一个简单的计算来运行并解释了这个结果。原创 2011-12-23 14:54:32 · 722 阅读 · 0 评论 -
2.5 评估 GroupLens数据集
用这些在进行中的工具,我们将可能不仅讨论速度,也讨论我们创造和修改的推荐引擎的质量。虽然大量真实数据的例子仍然要过几章才能讲到,我们将花一些时间在一个小型数据集合上去快速评估性能。2.5.1 提取推荐器输入数据 GroupLens (http://grouplens.org/)是一个研究项目,它提供几个不同型号的数据集合,每一个都来自于真实的用户对电影的评分。这是几个有效的大型原创 2011-12-23 14:52:32 · 3322 阅读 · 0 评论 -
2.3 推荐器的评估
差值的平均值这是一个推荐引擎的工作,用来解释下面的问题:“对用户来说,怎么的推荐数据才是最好的”。在搞清楚这个的答案之前,我们首先应该解决这个问题。一个好的推荐数据精度指的是什么?我们需要知道产出一个怎么样的推荐器来产生他们?本节的下面部分将会探讨对一个推荐器的考核。因为它是一个工具,当我们开始思考特殊的推荐系统时,它将会是很有用的。最优秀的推荐器,能够感知你的心灵。它以某种方式知道你可能原创 2011-12-23 14:34:14 · 1310 阅读 · 1 评论 -
2.2 运行第一个推荐引擎
Mahout包含一个推荐引擎的几种类型,事实上包含传统的基于用户(user-based),基于项目(item-based)推荐算法,也包括基于“slope-one”技术的实现(这一个新的有效的方法)。你将根据实验,基于单机版的(SVD)初步实现。在下面的章节里,我们将会在Mahout的背景下和一些现实生活中的例子,来回顾上面的观察结果。我们将会考虑如何代表数据,如何进行有效的推荐算法,原创 2011-10-19 19:09:27 · 1088 阅读 · 0 评论 -
2 推荐器
2 推荐器 本章的主要内容:* 在Mahout中推荐器Recommender是什么样的* 运行第一个推荐器Recommender* 评估推荐引擎的准确和质量* 用GroupLens网站的真实的数据来评估推荐器每天我们都会有对周围的东西有一些看法和观点,这些东西可能是我们喜欢的,不喜欢的,还有莫不关心的东西 ,这些通常发生在不知不觉中。原创 2011-10-18 21:21:41 · 686 阅读 · 0 评论 -
1.3 驾驭Mahout和Hadoop,处理数据
1.3 驾驭Mahout和Hadoop,处理数据1.4 Mahout的安装原创 2011-10-18 21:06:33 · 761 阅读 · 0 评论 -
1. Mahout 若只如初见
1. Mahout 若只如初见本章组要内容有: * Mahout 是什么,她从哪里来 * 真实世界中的 推荐引擎、聚集、分类 的花容月貌 * 安顿好我们的大象夫 Mahout原创 2011-10-18 20:28:34 · 556 阅读 · 0 评论 -
Mahout in action 目录
1. 初识Mahout对应英文版:1. Meet Apache Mahout Part 1 Recommendations2. Introducing recommenders3. Representing da原创 2011-10-18 20:22:26 · 649 阅读 · 0 评论