Hadoop
文章平均质量分 86
KayLa-JL
人不是生来被打败的!
展开
-
Linux集群搭建
一.克隆、设置IP、主机名、网卡,重启后尝试联网第一种方式1.vi /etc/sysconfig/network-scripts/ifcfg-eth02.vi /etc/sysconfig/network3.vi /etc/udev/rules.d/70-persistent-net.rules第二种方式1.vi /etc/sysconfig/network-scrip原创 2017-03-20 08:36:40 · 515 阅读 · 0 评论 -
hive表信息查询
1.hive模糊搜索表 show tables like '*name*';2.查看表结构信息 desc formatted table_name; desc table_name;3.查看分区信息 show partitions table_name;4.根据分区查询数据 select table_coulm from table_name原创 2017-03-23 11:52:34 · 527 阅读 · 0 评论 -
MapReduce学习
--MapReduce概述 MapReduce是一种分布式计算模型,由Google提出,主要用于搜索领域,解决海量数据的计算问题。 MR由两个阶段组成:Map和Reduce,用户只需要实现map()和reduce()两个函数,即可实现分布式计算,非常简单。-map阶段 1.读取输入文件内容,解析成key,value对。对输入文件的每一行,解析成key,val原创 2017-03-24 20:40:56 · 20844 阅读 · 0 评论 -
hadoop学习总结
1、hdfs 分布式文件系统 namenode 分布式文件管理系统的老大,管理着元数据 datanode 存储文件块,默认是128M secondarynamenode 定期合并namenode上的元数据文件(主要是合并fsimage,通过叫edits的日志文件)2、mapreduce分布式计算框架 map 完成数据读取,清洗,存储 r原创 2017-03-24 20:54:04 · 308 阅读 · 0 评论 -
Hadoop-2.7.3源码分析:MapReduce作业提交源码跟踪
1、提交JobMapReduce程序框架请参考 http://blog.csdn.net/chengyuqiang/article/details/72804007@Override public int run(String[] args) throws Exception { //读取配置文件 Configuration conf = getC...转载 2018-12-05 14:22:23 · 213 阅读 · 0 评论