![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop系列
Geek_ymv
公众号 geekymv
展开
-
MapReduce WordCount程序
pom.xml org.apache.hadoop hadoop-common org.apache.hadoop hadoop-hdfs org.apache.hadoop原创 2017-11-29 00:24:39 · 281 阅读 · 0 评论 -
Ubuntu12.04 Hadoop2.7.3伪分布式配置
下载地址:http://mirror.bit.edu.cn/apache/hadoop/common/HDFS的配置1. etc/hadoop/core-site.xmlfs.defaultFS:指定HDFS中NameNode地址hadoop.tmp.dir:指定Hadoop运行时产生文件的存储目录<configuration> <property&...原创 2017-03-01 21:50:58 · 576 阅读 · 0 评论 -
Hadoop2.7.3 HDFS完全分布式配置
服务器规划如上图所示搭建步骤:1.同步时间、配置hosts、关闭防火墙时间同步:ntpdate -u edu.ntp.org.cn2.配置免密码登录NameNode节点到其他节点3.修改配置文件修改${HADOOP_HOME}/etc/hadoop/hadoop-env.sh # set to the root of your Java installation export JAVA_HO...原创 2018-03-01 00:12:48 · 316 阅读 · 0 评论 -
Hadoop概述
大数据(bigdata)指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。主要解决,海量数据的存储和分析计算问题。1.数据存储单位bit Byte KB MB GB TB PB EB ZB YB BB NB DB目前大部分公司数据存储量 TB PB EB1Byt...原创 2018-12-05 00:15:39 · 185 阅读 · 0 评论