
Hadoop系列
Geek_ymv
公众号 geekymv
展开
-
MapReduce WordCount程序
pom.xml org.apache.hadoop hadoop-common org.apache.hadoop hadoop-hdfs org.apache.hadoop原创 2017-11-29 00:24:39 · 321 阅读 · 0 评论 -
Ubuntu12.04 Hadoop2.7.3伪分布式配置
下载地址:http://mirror.bit.edu.cn/apache/hadoop/common/ HDFS的配置 1. etc/hadoop/core-site.xml fs.defaultFS:指定HDFS中NameNode地址 hadoop.tmp.dir:指定Hadoop运行时产生文件的存储目录 <configuration> <property&...原创 2017-03-01 21:50:58 · 611 阅读 · 0 评论 -
Hadoop2.7.3 HDFS完全分布式配置
服务器规划如上图所示搭建步骤:1.同步时间、配置hosts、关闭防火墙时间同步:ntpdate -u edu.ntp.org.cn2.配置免密码登录NameNode节点到其他节点3.修改配置文件修改${HADOOP_HOME}/etc/hadoop/hadoop-env.sh # set to the root of your Java installation export JAVA_HO...原创 2018-03-01 00:12:48 · 357 阅读 · 0 评论 -
Hadoop概述
大数据(bigdata) 指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式 才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 主要解决,海量数据的存储和分析计算问题。 1.数据存储单位 bit Byte KB MB GB TB PB EB ZB YB BB NB DB 目前大部分公司数据存储量 TB PB EB 1Byt...原创 2018-12-05 00:15:39 · 224 阅读 · 0 评论