Hadoop学习总结
文章平均质量分 75
zeb_perfect
一切才刚刚开始。。
展开
-
Hadoop学习<三>--前两节回顾
hadoop的MapReduce的优点:易于编程,良好的扩展性,高容错性(在分布式环境中,随着集群规模的增加,集群中的故障率,如磁盘损坏,机器宕机等,会显著增加,进而导致任务失败和数据丢失恶毒可能性增加)。Hadoop MapReduce对外提供了5个可编程组件,分别是InputFormat、Mapper。partitioner、Reducer和OutputFormat。MapReduce原创 2014-12-12 17:31:58 · 1071 阅读 · 0 评论 -
Hadoop学习<一>--hadoop安装和环境变量设置
Hadoop核心项目:HDFS(Hadoop Distributed File System分布式文件系统),MapReduce(并行计算框架)HDFS架构的主从结构:主节点,只有一个namenode,负责接收用户操作请求,维护文件系统的目录结构,管理文件与block之间关系,block与datanode之间的关系。从节点,有很多个datanodes,负责存储文件,文件被分成block存储原创 2014-12-07 22:26:45 · 16659 阅读 · 0 评论 -
Hadoop学习<二>--HDFS文件系统操作方式
linux用户身份与群组记录的文件cat /etc/group 查看用户组cat /etc/shadow 查看个人密码cat /etc/passwd 查看用户相关信息这三个文件可以说是:账号,密码,群组 信息的的集中地!w或who 查原创 2014-12-11 21:05:57 · 1413 阅读 · 0 评论 -
Hadoop学习<四>--HDFS的RPC通信原理总结
这里先写下自己学习RPC的笔记总结,下面将详细介绍学习过程:RPC(remote procedure call) 不同java进程间的对象方法的调用。 一方称作服务端(server),一方称作客户端(client)。 server端提供对象,供客户端调用的,被调用的对象的方法的执行发生在server端。 RPC是hadoop框架运行的基础。 通原创 2014-12-13 10:28:38 · 2838 阅读 · 0 评论 -
hadoop使用命令大全
启动Hadoop进入HADOOP_HOME目录。执行sh bin/start-all.sh关闭Hadoop进入HADOOP_HOME目录。执行sh bin/stop-all.sh1、查看指定目录下内容hadoop dfs –ls [文件目录]eg: hadoop dfs –ls /user/wangkai.pt2、打开某个已存在文件转载 2014-07-15 09:08:21 · 1026 阅读 · 0 评论 -
Sqoop2.0 mysql sql查询结果导入hdfs脚本
使用脚本原因使用脚本的原因是为了适配hue操作,因为hue上sqoop的命令--query查询分隔符和其自身命令分隔冲突,无法使用空格区分是sqoop命令还是--query下命令。 Sqoop支持将任意的查询结果集导入,不使用--table、--columns和--where,使用SQL语句--query参数执行自由查询导入,但是必须指定--target-dir目录,必须指定--split原创 2017-06-20 14:08:02 · 7812 阅读 · 0 评论