![](https://img-blog.csdnimg.cn/20200702201221980.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Hadoop
hadoop
NICEDAYSS
do one more thing
公众号:N个程序猿的日常 欢迎关注
展开
-
钻牛角尖系列(一)MapReduce的一点点小细节
Inputformat的数据多种处理方式: FileInputFormat:–处理文件 TextInputFormat: <偏移量,行数据>----LineRecordReader KeyValueTextInputFormat: <分隔符前,分隔符后>----KeyValueLineRecordReader NLineInputFormat: <偏移量,行数据>----LineRecordReader CombineTextInputFormat:原创 2020-07-07 00:33:00 · 161 阅读 · 0 评论 -
Hadoop系列 (一) 补--Hadoop高可用分布式环境搭建
Hadoop高可用分布式环境搭建: 文章目录Hadoop高可用分布式环境搭建:一:配置HDFS-HA集群:第一步:在第一台主机器上配置core-site.xml第二步:在第一台主机器上配置hdfs-site.xml二:启动HDFS-HA集群:第一步:在各个节点上,都启动journalnode服务:第二步:在第一台主节点上,对其格式化,并启动:第三步:在第二台standby辅节点上同步主节点元数据信息:第四步:启动standby的namenode节点:第五步:所有节点启动datanode三:配置HDFS-HA原创 2020-07-06 16:38:54 · 606 阅读 · 0 评论 -
Hadoop系列 (一) 补--Hadoop完全分布式环境搭建
文章目录完全分布式搭建集群准备集群规划修改配置文件(3台机器都要修改)启动集群时间同步 完全分布式搭建 集群准备 准备3台客户机(关闭防火墙、静态ip,主机映射、主机名称),主机名称分别hadoop2,hadoop3,hadoop4 安装jdk,配置环境变量 配置ssh,免密登陆==【拷贝密钥的时候需要拷贝9次】== ssh-keygen 配置时间同步 集群规划 hadoop2 hadoop3 hadoop4 HDFS NameNode DataNode DataNode Se原创 2020-07-06 01:43:27 · 451 阅读 · 0 评论 -
Hadoop系列(二 ) HDFS原理分析史上最详细,能和面试官吹半个小时
文章目录 HDFS架构: NameNode(NN): SecondaryNameNode(2NN): DataNode(DN): ResourceManager(RM): NodeManager(NM): HDFS具体工作原理: 一:NN----2NN(元数据节点工作原理) NN--DN(数据存取原理) 二:HDFS读文件流程: 三:HDFS写文件流程: HDFS具体应用: .原创 2020-06-03 16:07:08 · 1820 阅读 · 0 评论 -
Hadoop系列(一)Hadoop简介--HDFS分布式系统环境搭建
Hadoop: 大数据4V特征: **Volume:**90%的数据是过去两年产生----大数据量 **Velocity:**数据增长速度快,时效性高----速度快 **Variety:**数据种类和来源多样化:结构化数据,半结构化数据,非结构化数据----多样化 **Value:**需挖掘获取数据价值----价值密度低 Hadoop三大核心: **HDFS:**Hadoop Distributed File System 分布式存储系统 提供高可靠性,高扩展性和高吞吐率的数据存储服务 **原创 2020-06-01 15:11:23 · 301 阅读 · 0 评论