Hadoop
文章平均质量分 75
笃志近思
这个作者很懒,什么都没留下…
展开
-
Kerberos HA高可用配置
Kerberos 高可用配置[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YmnKxnd2-1586329094906)(https://www.kerberos.org/images/krbmsg.gif)]Kerberos 安装(主节点操作)节点信息data80data81data82data83备注主Kerberos节点:data80...原创 2020-04-08 14:58:54 · 2027 阅读 · 1 评论 -
Requested data length 88431035 is longer than maximum configured RPC length 67108864.
HDFS DataNode RPC 异常Requested data length 88431035 is longer than maximum configured RPC length 67108864.异常信息2020-04-05 08:29:19,993 WARN org.apache.hadoop.ipc.Server: Requested data length 8843103...原创 2020-04-05 13:02:34 · 2200 阅读 · 2 评论 -
大数据开源项目集锦(持续更新)
(1)Hadoop 一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序 http://hadoop.apache.org/ (2)Marathon是一个全新的框架,它将Mesos变成一个更有活力的工具,进而可以在单一的集群上运行不同的应用程序。 https://github.com/mesosphere/marathon原创 2013-09-08 09:44:22 · 3038 阅读 · 0 评论 -
【Hadoop基础】hadoop fs 命令
1,hadoop fs –fs [local | ]:声明hadoop使用的文件系统,如果不声明的话,使用当前配置文件配置的,按如下顺序查找:hadoop jar里的hadoop-default.xml->$HADOOP_CONF_DIR下的hadoop-default.xml->$HADOOP_CONF_DIR下的hadoop-site.xml。使用local代表将本地文件系统作为hadoop的原创 2014-03-26 12:40:33 · 106119 阅读 · 2 评论 -
NodeManager代码分析之NodeManager启动过程
1、NodeManager概述NodeManager(NM)是YARN中每个节点上的代理,它管理Hadoop集群中单个计算节点,包括与ResourceManger保持通信,监督Container的生命周期管理,监控每个Container的资源使用(内存、CPU等)情况,追踪节点健康状况,管理日志和不同应用程序用到的附属服务。2、NodeManager分析2.1、代码分析接下来将原创 2014-10-22 22:41:38 · 8853 阅读 · 0 评论 -
hadoop知识点总结
hadoop知识点总结hadoop原理上图中展现了整个HDFS三个重要角色:NameNode、DataNode和Client。NameNode可以看作是分布式文件系统中的管理者,主要负责管理文件系统的命名空间、集群配置信息和存储块的复制等。NameNode会将文件系统的Meta-data存储在内存中,这些信息主要包括了文件信息、每一个文件对应的文件块的信息和每一个文件块在DataNode的信息等。D原创 2015-08-06 22:21:38 · 7973 阅读 · 0 评论 -
Kerberos 安装
Kerberos InstallKerberos 安装节点信息name01datanode01datanode02datanode03datanode04安装 kdc server在KDC(name01)上安装包 krb5、krb5-server 和 krb5-clientyum install krb5-server krb5-libs kr...原创 2018-06-21 23:10:14 · 1317 阅读 · 0 评论 -
apache_sentry
Hadoop 权限SentryHivebeeline连接Hivebeeline> !connect jdbc:hive2://datanode03:10000/default scan complete in 1msConnecting to jdbc:hive2://datanode03:10000/defaultEnter username for jdb...原创 2018-06-21 23:11:47 · 662 阅读 · 0 评论