hadoop
文章平均质量分 58
知之可否
这个作者很懒,什么都没留下…
展开
-
虚拟机VMware3种网络模式(桥接、nat、Host-only)的工作原理
VMware网络配置详解一:三种网络模式简介安装好虚拟机以后,在网络连接里面可以看到多了两块网卡:其 中VMnet1是虚拟机Host-only模式的网络接口,VMnet8是NAT模式的网络接口,这些后面会详细介绍选择虚拟机网络模 式方法如下,单击Edit virtual machine settings,如图所示:然后在Hardware选项卡中选转载 2017-01-13 14:48:56 · 663 阅读 · 0 评论 -
Hadoop集群安装---虚拟机网络配置
1.环境主机:win7VM Workstation 12虚拟机:centos72.虚拟机安装1)安装VM Workstation 12过程很简单,略过。接着安装centos7,过程也很简单。安装网络选择的是安装一次,将文件夹复制两份,修改一下虚拟机名称得到三个虚拟机。2)网络配置准备win7中查看VMnet8地址本地连原创 2017-01-13 22:34:12 · 2723 阅读 · 0 评论 -
Haddop集群安装--jdk安装
1.下载和复制下载jdk-8u111-linux-x64.tar.gz,用winSCP复制到/opt/java目录下。2.解压进入到/opt/java目录下,解压:tar -zxvf jdk-8u111-linux-x64.tar.gz3.设置环境变量vi /etc/profile命令编辑,在文档最后添加如下内容:export JAVA_HO原创 2017-01-14 12:45:36 · 577 阅读 · 0 评论 -
Hadoop集群安装-安装Hadoop2.5.2
1.现在的虚拟机集合192.168.137.2 node1192.168.137.3 node2192.168.137.4 node3192.168.137.5 node42.配置ssh免密码登录在node1,2,3,4上都运行下面两行: ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.原创 2017-01-15 22:35:52 · 661 阅读 · 0 评论 -
MapReduce:详解Shuffle过程
/** * author : 冶秀刚 * mail : dennyy99@gmail.com */ Shuffle过程是MapReduce的核心,也被称为奇迹发生的地方。要想理解MapReduce, Shuffle是必须要了解的。我看过很多相关的资料,但每次看完都云里雾里的绕着,很难理清大致的逻辑,反而越搅越混。前段时间在做MapReduce job转载 2017-02-20 14:43:22 · 511 阅读 · 0 评论 -
Hive group by distinct性能调优
转自 http://sjq597.github.io/2016/04/24/Hive-group-by-distinct%E6%80%A7%E8%83%BD%E8%B0%83%E4%BC%98/Hive去重统计相信使用Hive的人平时会经常用到去重统计之类的吧,但是好像平时很少关注这个去重的性能问题,但是当一个表的数据量非常大的时候,会发现一个简单的count(distinct order转载 2017-03-13 17:26:03 · 2146 阅读 · 0 评论 -
Hive中 Oder by 、sort by、distribute by 和 cluster by
参见 https://www.iteblog.com/archives/1534.html转载 2017-03-14 09:41:20 · 498 阅读 · 0 评论 -
「 Hadoop」mapreduce对温度数据进行自定义排序、分组、分区等
转自 http://www.ptbird.cn/mapreduce-tempreture.html一、需求说明1、数据文件说明hdfs中有一些存储温度的数据文件,以文本形式存储,示例如下:日期和时间中间是空格,为整体,表示检测站点监测的时间,后面是检测的温度,中间通过制表符 \t 相隔。2、需求计算在1949-1955年中,转载 2017-03-14 11:03:15 · 3820 阅读 · 0 评论 -
MapReduce实现矩阵乘法
转自 http://blog.csdn.net/liuxinghao/article/details/39958957简单回顾一下矩阵乘法:矩阵乘法要求左矩阵的列数与右矩阵的行数相等,m×n的矩阵A,与n×p的矩阵B相乘,结果为m×p的矩阵C。详细内容可以查看:矩阵乘法。为了方便描述,先进行假设:矩阵A的行数为m,列数为n,aij为矩阵A第i行转载 2017-03-15 20:42:05 · 1699 阅读 · 0 评论