Hadoop
ddhdzt
编程是一种艺术
展开
-
hadoop学习
hadoop是什么? what is Apache Hadoop? The Apache Hadoop project develops open-source software for reliable, scalable, distributed computing. 解决问题 1.海量数据的存储(HDFS) 2.海量数据的分析(MapReduce) 分布式计算模型 3.资源管理调原创 2015-11-27 10:14:54 · 289 阅读 · 0 评论 -
搭载Hadoop环境
Linux命令学习: wc hello.txt 统计字符 more hello.txt 查看文件 which 查找文件 tar -zxvf hadoop-2.2.0.tar.gz -C /cloud/ 解压文件到目录 mv hello hello.txt 修改文件名 .tar文件 tar xvf FileName.tar 解压文件 tar cvf FileNam原创 2015-11-28 22:53:52 · 348 阅读 · 0 评论 -
linux 在/etc/profile配置完jdk每次都要source
修改用户文件夹下面的bashrc文件:添加JAVA环境变量 vim /ect/bashrc,添加 export JAVA_HOME=/usr/java/jdk1.7.0_79 export HADOOP_HOME=/itcast/hadoop-2.2.0 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin export CLASSPATH=原创 2015-11-29 09:42:41 · 6644 阅读 · 0 评论 -
分布式文件系统与HDFS
常见的分布式文件系统:GFS、TFS、HDFS ssh hadoop fs -ls hdfs://itcast01:9000 hadoop fs -ls / hadoop fs -cat /in.log | more //查看命令 hadoop fs -ls -R(递归查询文件) -h(人类可读) drwxr-xr-x - root supergroup d代表文件类型,目录原创 2015-11-28 22:46:06 · 450 阅读 · 0 评论 -
MapReduce学习
主要为4大内容: 1.MapReduce原理 2.MapReduce执行过程 3.数据类型与格式 4.Writable接口与序列化机制 MapReduce概述 lMapReduce是一种分布式计算模型,由Google提出,主要用于搜索领域,解决海量数据的计算问题. lMR由两个阶段组成:Map和Reduce,用户只需要实现map()和reduce()两个函数,即可实现分布式计原创 2015-11-30 22:28:56 · 317 阅读 · 0 评论 -
Hadoop伪分布式环境搭建
1.准备Linux环境 1.0设置网络环境,通过NAT方式上网 控制面板 -> 网络连接 -> VMnet8 ->修改TCP/IPv4 设置网段: - ip:192.168.254.2 - 子网掩码:255.255.255.0 vmware -> 虚拟网络编辑器 -> 选择NAT模式 -> NAT设置 -> 网关ip:192.168.254.1 centos0原创 2016-09-06 20:38:08 · 321 阅读 · 0 评论