Hadoop
xiaoyaGrace
这个作者很懒,什么都没留下…
展开
-
Hadoop分布式集群搭建
Hadoop分布式集群搭建 1.环境准备 2.Hadoop集群安装配置 安装Hadoop Hadoop集群配置 将Hadoop配置分发到别的服务器中 3.启动Hadoop集群 在NameNode服务器格式化 启动Haoop集群 查看进程 查看HDFS web监控 ...原创 2020-01-10 09:21:43 · 121 阅读 · 0 评论 -
大数据学习之Hodoop伪分布式部署
一、Hadoop的部署模式:官网:hadoop.apache.org1、单机部署进程没有2、伪分布式部署 开发用的比较多进程存在+1节点3、集群部署 开发/生产进程存在+ n节点二、Hadoop伪分布式部署步骤:注意前提是基础部署完成后1、解压安装包cd /sofwaretar -xzvfhadoop-2.8.1.ta...原创 2019-12-03 14:22:53 · 117 阅读 · 0 评论 -
hadoop安全分布式处理
使用root登录,添加组groupadd hdgroup添加用户useradd -g hdgroup hduser设置密码 passwd hduserchmod 777 /etc/sudoersgedit /etc/sudoers在 root ALL=(ALL) ALL后加一行 hduser ALL=(ALL) ALLchmod 440 /et...原创 2019-12-03 14:20:20 · 106 阅读 · 0 评论 -
Hadoop、storm和Spark的区别、比较
一、hadoop、Storm该选哪一个?为了区别hadoop和Storm,该部分将回答如下问题:1.hadoop、Storm各是什么运算2.Storm为什么被称之为流式计算系统3.hadoop适合什么场景,什么情况下使用hadoop4.什么是吞吐量首先整体认识:Hadoop是磁盘级计算,进行计算时,数据在磁盘上,需要读写磁盘;Storm是内存级计算,数据直接通过网络导入内存。读写内存...原创 2019-12-03 14:16:56 · 143 阅读 · 0 评论 -
Yarn简介,运行过程
hadoop四大模块-------------------commonhdfs //namenode + datanode + secondarynamenodemapredyarn //resourcemanager + nodemanager在前两篇我们已经介绍了MapReduce计算模型,以及其核心Shuffle,在还没有Yarn出现之前,M...原创 2019-11-29 11:01:42 · 623 阅读 · 0 评论 -
Hadoop介绍、伪分布式搭建
1.Hadoop简洁还记得那个著名的尿布啤酒的故事么,沃尔玛发现将啤酒放在尿布旁边,男性朋友们在买尿布的时候能够顺手买走啤酒。2015年阿里11.11交易额912.17亿,同比增长59.7%。而在那一天据统计各地大妈消费了78%的品类,涉及粮油,厨电,食品,美妆,其中小家电品类广场舞音像第一,超出第二名美颜相机50%。这些数据意味什么,这都是白花花的银子啊,如果按照人群,按照...原创 2019-11-29 10:56:18 · 164 阅读 · 0 评论 -
《Hadoop基础教程》之初识Hadoop
一直是我想学习的技术,正巧最近项目组要做电子商城,我就开始研究Hadoop,虽然最后鉴定Hadoop不适用我们的项目,但是我会继续研究下去,技多不压身。 《Hadoop基础教程》是我读的第一本Hadoop书籍,当然在线只能试读第一章,不过对Hadoop历史、核心技术和应用场景有了初步了解。Hadoop历史 雏形开始于2002年的Apache的Nutch...原创 2019-11-28 14:12:10 · 81 阅读 · 0 评论 -
大数据系列无基础由入门到实战
基础学习hadoop,没有想象的那么困难,也没有想象的那么容易。在刚接触云计算,曾经想过培训,但是培训机构的选择就让我很纠结。所以索性就自己学习了。整个过程整理一下,给大家参考,欢迎讨论,共同学习。从一开始什么都不懂,到能够搭建集群,开发。整个过程,只要有Linux基础,虚拟机化和java基础,其实hadoop,没有太大的困难。首先整体说一下学习过程给大家借鉴:首先查阅了资料,什么是hadoop...原创 2019-11-28 11:58:48 · 237 阅读 · 0 评论 -
Hadoop生态系统
Hadoop作为一个生态系统,每个系统只解决某一个特定的问题域(甚至可能很窄)。本文重点讨论分布式计算领域的几个开源系统可以解决的问题域。(1)MapReduce:古老的分布式计算框架,它的特点是扩展性、容错性好,易于编程,适合离线数据处理,不擅长流式处理、内存计算、交互式计算等领域。MapReduce网址是:http://hadoop.apache.org/(2)Hive:披着SQL外衣...原创 2019-11-15 11:13:49 · 276 阅读 · 0 评论 -
hadoop及spark集群搭建后续
问题1:查看 jps,里面只有HQuorumPeer,没有 HRegionServer查看logs,master rejected startup because clock is out of sync原因:几台机器时间对不上解决方法:将有问题机器的时间校正date -s xx:xx:xx然后重启regionserverhbase-daemon.sh --config /usr/l...转载 2019-11-11 11:14:23 · 130 阅读 · 0 评论 -
hadoop执行任务时常见exception
hadoop.mapred.FileAlreadyExistsException Exception in thread "main" org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://master:9000/mnt/hadoop/out already exi...原创 2019-11-06 14:46:15 · 342 阅读 · 0 评论 -
Hadoop-3.1.2完全分布式环境搭建(Windows 10)
Hadoop原理架构本人就不在此赘述了,可以自行百度,本文仅介绍Hadoop-3.1.2完全分布式环境搭建(本人使用三个虚拟机搭建)。 首先,步骤: ① 准备安装包和工具: hadoop-3.1.2.tar.gz jdk-8u221-linux-x64.tar.gz(Linux环境下的JDK) CertOS-7-x86_64-DVD-1810.iso(Cent...原创 2019-10-29 14:29:25 · 719 阅读 · 0 评论