Hadoop
文章平均质量分 82
catchingSun
这个作者很懒,什么都没留下…
展开
-
Hadoop HDFS原理
一、HDFS介绍 HDFS 包括 块、NameNode、DataNode,适用于一次写多次读,不支持并发写。具有通透性、容错性。 HDFS中文件被分成块进行存储,其块默认大小为64M,块是文件存储处理的逻辑单元。用户通过网络访问文件。 NameNode 为管理节点,存放文件元数据。其包括文件与数据块的映射表、数据块与数据节点的映射表(文件名、文件有的原创 2016-10-26 13:54:31 · 794 阅读 · 0 评论 -
MapReduce: program of Matrix Multiplication
1.Matrix Multiplication 's basic principle: (1)Sum the result of Matrix A's row multiplying Matrix B's column as the new Matrix. (2)The Matrix A's row subscript become the new Matrix 's row subscrip原创 2016-12-13 17:02:33 · 930 阅读 · 0 评论 -
Create Hadoop project in IDEA Intellij and Commit project to Hadoop platform
1.First ,we should set up Java ,Hadoop,and IDEA Intellij-2016.3 . I have Installed Java-1.8 , Hadoop-2.7.3 and IDEA Intellij-2016.3 2.Start-up HDFS ,YARN 3.We create new Maven Project, then click原创 2016-12-12 14:44:53 · 751 阅读 · 0 评论 -
在Hadoop平台中运行MapReduce WordCount程序
一、实验名称 在Hadoop平台运行MapReduce程序 二、实验过程 1.设置环境变量 (1)编辑~/.bashrc文件,添加下列语句 export HADOOP_HOME=/usr/local/hadoop export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$($HADOOP_HOME/bin/ha原创 2017-03-19 13:34:50 · 686 阅读 · 0 评论