Hadoop
文章平均质量分 82
尘埃落定55
11
展开
-
Hadoop单机模式,并执行WordCount
Ubuntu环境下安装java jdk,搭建hadoop单机模式原创 2016-04-28 08:49:22 · 885 阅读 · 0 评论 -
用hadoop2.7.1 mapreduce实现QQ好友推荐功能
Hadoop实现QQ好友推荐功能原创 2016-05-13 16:18:56 · 2836 阅读 · 0 评论 -
hadoop HDFS入门
hadoop主要分为三个模块:HDFS、MapReduce、Yarnhadoop具体能干什么:hadoop擅长日志分析海量数据存储 hadoop具有很多节点,节点叫DataNode。 每一个块在节点上存多个副本。海量数据计算 map本地局部处理。 reduce通过网络取得其他节点的统计结果。HDFS的实现思想:hdfs是通过分转载 2016-06-25 19:38:02 · 658 阅读 · 0 评论 -
Hadoop序列化
在第一步中, 客户端编写好了代码并打包成jar包,会提交到集群中,也就是Cluster中,通讯方式就是通过RPC来通讯的。(RPC的一个最简单示例) 当集群收到请求后,就会告诉yarn,请求分配资源。当yarn处理之后,会返回一个地址给client(第二步)。客户端去这个地址拷贝jar包(第三步)。 第四步 就是提交任务给RM,主要提交的是任务的描述信息,比如jobID、jar包存在的位置转载 2016-06-25 19:39:35 · 368 阅读 · 0 评论 -
hadoop DataNode节点超时
DataNode节点超时时间设置DataNode进程死亡或网络节点故障造成DataNode无法与NameNode通信,NameNode不会立即把该节点判定为死亡,要经过一段时间,这段时间成为超时时长。HDFS默认的超时时长为10分钟+30s。 如果定义超时时长为timeout,则超时时长的计算公式为: timeout = 2 * heartbeat.recheck.interval转载 2016-06-25 19:36:06 · 384 阅读 · 0 评论 -
hive命令实例
1、把本地文件上传到hdfs: load data local inpath '/home/kun/soft/xxx.data' into table t_order;2、统计表中dept_name个数 select dept_name,count(1) from t group by dept_name;3、新建一个跟b一样的表结构的a表: create t原创 2016-05-13 17:09:19 · 517 阅读 · 0 评论 -
hadoop hive安装,并使用mysql数据库
1、下载hive-0.12.0并解压到soft下2、配置hive环境变量:kun@hadoop-master:~$ sudo gedit /etc/profileexport HIVE_HOME=/home/kun/soft/hive-0.12.0export PATH=:$HIVE_HOME/binkun@hadoop-master:~$ source /etc/pro原创 2016-05-13 16:56:18 · 817 阅读 · 0 评论 -
hadoop-2.7.1 MapReduce自定义分组的实现
对数据中电话进行分组,并统计上传、下载、总流量1、待处理的数据为:1363157985066 13726230503 00-FD-07-A4-72-B8:CMCC 120.196.100.82 i02.c.aliimg.com 24 27 2481 24681 2001363157995052 13826544101 5C-0E-8B-C7-F1-E0:CMCC 120.19原创 2016-05-13 15:50:36 · 694 阅读 · 0 评论 -
用MapReduce处理一组流量数据,并按总流量排序
用MapReduce处理一组流量数据、并排序原创 2016-05-13 14:40:02 · 2279 阅读 · 0 评论 -
Hadoop完全分布式集群搭建
ubuntu上安装 vmware workstation 12,hadoop完全分布式搭建,wordcount在完全分布式上的运行。原创 2016-04-28 09:36:03 · 474 阅读 · 0 评论 -
Shuffle过程详解
Shuffle过程详解 Shuffle过程是MapReduce的核心,最近看了很多资料,网上说法大体相同,但有些地方有一点点出入,就是各个阶段的执行顺序总个shuffle过程可以看做是从map输出到reduce输入的这个中间过程,在这个中间过程中,经过了一系列的步骤 下面看看官方给出的图 Map端下面是我画的一张图 1.In转载 2016-06-21 08:31:38 · 744 阅读 · 0 评论