Hadoop学习
繁星和孤岛的故事
叶子,不是一天变黄的。
展开
-
集群管理专家zookeeper详细笔记
基于Hadoop的集群管理专家zookeeper避免无聊,先看福利一、zookeeper定义zookeeper是Hadoop的分布式协调服务特点:简单(核心是一个精简的文件系统)、富有表现力、高可用、采用松耦合交互方式二、安装三、zookeeper的结构zookeeper可将其看作是一个具有高可用的特征文件系统,而是像Linux的文件系统一样,是一个树的数据结构。(父节点、子节点)...原创 2020-08-04 16:40:34 · 363 阅读 · 0 评论 -
大数据Hadoop分布式(MapReduce编程)& python可视化分析
Hadoop分布式大数据 & python可视化分析一、MapReduceMapReduce作为Hadoop专门用作计算的一个组件,虽然相比spark略有不足,但是他的与原生Hadoop的紧密配合还是可观的。分布式存储指的是HDFS组件,现在的MapReduce计算组件也被看做分布式并发计算,因为YARN资源控制组件,将资源调度和分配处理的清清楚楚。本次note主要记载了MapReduce的第一个小实验:入门分词wordcount(类似python的jieba库,但处理的数据是来源于大数据H原创 2020-07-14 21:38:18 · 2804 阅读 · 1 评论 -
Hadoop安装踩坑总结
Hadoop安装踩坑总结配置文件搭配切记按照格式来,否则他会有一个提醒你[Fatal Error] hbase-site.xml:2:6: The processing instruction target matching "[xX][mM][lL]" is not allowed.这时候只需要把相关的配置文件开头的空格删除即可。参考切记那主机名更改,且与其他想换文件匹配这个错误是因为我看的视频教学讲的是centos6在/etc/hosts更改即可,但是,centos7想改主机名得原创 2020-07-10 14:46:14 · 419 阅读 · 0 评论 -
Hadoop学习:Linux集群搭建
在写此文之前,郑重告诉大家,别轻易尝试rm -rf /*#这个命令。本文辅看视频:点链接即可>>> ????Hadoop学习:Linux集群搭建一、Linux虚拟机环境搭建先建立好一台虚拟机,命名好配置Linux的网络环境:编辑虚拟机进入虚拟机,在/etc目录下配置虚拟机IPcentos7目录为:vi /etc/sysconfig/network-scripts/ifcfg-ens33centos6目录为:vi /etc/sysconfig/n原创 2020-07-07 18:22:48 · 170 阅读 · 1 评论