- 博客(10)
- 收藏
- 关注
原创 hadoop六个配置文件
vi ./etc/hadoop/hadoop-env.sh vi ./etc/hadoop/core-site.xml vi ./etc/hadoop/hdfs-site.xml mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml(先改名) vi ./etc/hadoop/mapred-site.x...
2018-08-08 16:41:07
1138
转载 Hadoop2.x项目的四大模块
1、Hadoop Common 为了支持其他模块的一些公共类,和框架。 2、HDFS(Hadoop Distributed File System) Hdfs提供高吞吐量的访问能力 , 用来存储数据。具有高容错性,高伸缩性的优点,允许用户将hadoop部署在廉价的硬件上,构建分布式系统。如下图是HDFS的存储图,Hdfs具有横向扩展性,布置单节点的hadoop时候,最小模型是一台master...
2018-08-08 09:47:44
1073
原创 profile文件Java&hadoop项配置
配置环境:vi /etc/profile JAVA_HOME=/usr/local/jdk1.7.0_79/ JDK所在目录 JRE_HOME=/usr/local/jdk1.7.0_79/jdk1.7.0_79/jre HADOOP_HOME=/usr/local/hadoop-2.7.1/ CLASS_PATH=.:JAVAHOME/lib/dt.jar:JAVAHOM...
2018-08-08 08:51:33
1084
转载 linux下的Source命令
source命令用法: source FileName 作用:在当前bash环境下读取并执行FileName中的命令。 注:该命令通常用命令“.”来替代。 如:source .bash_rc 与 . .bash_rc 是等效的。 注意:source命令与shell scripts的区别是, source在当前bash环境下执行命令,而scripts是启动一个子shell来执行命令。这样...
2018-08-08 08:32:30
388
原创 hadoop统计input目录下的所有文件中各word出现的次数
hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /home/input/ /home/output 快捷键-加粗 按按按按按按按...
2018-08-08 08:22:13
466
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人