hadoop生态圈
文章平均质量分 94
hadoop生态圈
老朱.
业余时间喜欢写点技术博客,读点无用之书。想阅读我更多原创的非技术类文章,可以关注我的公众号 老朱的读书随想
展开
-
基于zookeeper实现领导选举和分布式锁
上一篇博客讨论了基于zookeeper的分布式队列的机制,这个机制除了可以做分布式队列以外,稍加修改,还可以做更多的事情,例如接下来要讨论的领导选举和分布式锁的功能等。领导选举领导选举的应用场景可以理解为:多个节点同时想干一件事(都想当老大),但最终只有一个节点被授权(老大只可能有一个)例如:一主多从模式下,如果主节点挂掉了,那么所有的从节点都要竞选成为主节点,但只有一个节点可以成为主...原创 2018-07-15 18:18:39 · 1174 阅读 · 0 评论 -
基于zookeeper的分布式队列
本篇博客讨论如何基于zookeeper来设计一个分布式队列。分布式队列一般需要考虑两点: - 任务如何进入队列 - 如何保证每个任务只能被一个消费者消费首先,zookeeper本身就提供了对队列的支持,不过官方文档对这个的描述非常简单 Distributed queues are a common data structure. To implement a distr...原创 2018-07-12 23:13:37 · 2248 阅读 · 0 评论 -
zookeeper入门
zookeeper是一个比较常用的中间件,常用来保证分布式服务之间的一致性。zookeeper的一些概念先介绍几个概念吧。znodeznode就是zookeeper node,是zookeeper保存数据的基本单元,所有的数据都保存在某个znode中。znode的存储结构就有些类似unix操作系统的文件系统,所有的znode地址都必须以/开头,允许嵌套,例如:我有一个应用程原创 2018-01-29 18:06:39 · 292 阅读 · 0 评论 -
cdh集成sentry
安装sentry服务在cloudera manager web页面上选中集群下的action按钮,然后点击add service,在列表中选择sentry服务,并按照向导操作即可。sentry的运行需要使用mysql,在安装cdh的那篇文章中的步骤已经包含了创建sentry服务的步骤,所以,直接就有一个sentry数据库,直接使用即可,用户名和密码是sentry/sentry_password。...原创 2019-05-08 10:39:18 · 1765 阅读 · 0 评论 -
cdh集群集成kerberos
为什么需要kerberoscdh集群搭建好以后,你可能已经成功地入坑了,因为后面还有很多问题,例如,数据安全的问题等。当你的cdh集群搭建好以后,你会发现他是没有任何权限控制的,所有人只要能够访问到你的ip和端口,就能使用你的服务。并且,你的hdfs中的数据更是毫无安全可言,只需要在一个客户端电脑上的hadoop fs命令前面加上sudo -u hdfs,就能够拥有最高权限因为谁都可以是hdf...原创 2018-06-27 13:15:24 · 1396 阅读 · 0 评论 -
安装cdh集群 基于ubuntu server16.4
安装过程概述先来认识几个组件cloudera-manager-servercloudera-manager-agentcloudera-manager-daemonscloudera-manager-installercloudera-manager-server只运行在主节点上,会启动一个站点,用户可以通过浏览器访问该站点来做很多事,比如:向集群中添加机器,下载大数据服务的...原创 2018-06-27 13:13:26 · 2038 阅读 · 0 评论 -
hive快速上手
本篇博客和大家一起在本地搭建一个hive环境,并进行一些简单的hive操作。加入了启动hiveserver2并使用beeline客户端连接的步骤,去掉了直接使用hive cli的部分。hive允许以类似SQL的语法来操作hadoop中的数据,简单来讲,hive的default数据库对应hadoop的/user/hive/warehouse目录,这个根目录下的每个文件夹分别对应hive的数据...原创 2017-12-01 10:48:36 · 950 阅读 · 0 评论 -
hadoop fs api
hadoop的环境搭建好之后,本篇博客来使用一下hadoop提供的分布式文件系统(hdfs)的java api。 我做了一个简单的例子,包含文件的读取、写入、删除、创建文件夹、读取文件列表等基本操作。最后会贴出来maven依赖和完整的java代码。连接到hdfs只需要通过一个hdfs的uri,即可连接到hdfs。如果连接失败的话,检查一下你的hdfs是否成功启动,以及是不是9000端原创 2017-09-12 07:49:29 · 1052 阅读 · 0 评论 -
hadoop环境搭建
本篇博客会记录下我第一次折腾hadoop的过程。作为一个初学者,我最初按照hadoop官网上的教程来搭建环境,中间出现了些问题,各种stackoverflow,最终成功搭建了一个hadoop伪集群,并且成功运行了hadoop官方提供的map-reduce的示例jar包。原创 2017-09-07 16:14:13 · 757 阅读 · 0 评论