知之可否

Be yourself; everyone else is already taken.​

MapReduce实现矩阵乘法

转自  http://blog.csdn.net/liuxinghao/article/details/39958957 简单回顾一下矩阵乘法: 矩阵乘法要求左矩阵的列数与右矩阵的行数相等,m×n的矩阵A,与n×p的矩阵B相乘,结果为m×p的矩阵C。详细内容可以查看...

2017-03-15 20:42:05

阅读数:453

评论数:0

「 Hadoop」mapreduce对温度数据进行自定义排序、分组、分区等

转自  http://www.ptbird.cn/mapreduce-tempreture.html 一、需求说明 1、数据文件说明 hdfs中有一些存储温度的数据文件,以文本形式存储,示例如下: 日期和时间中间是空格,为整体,表示检测站点监测的时间,后面是...

2017-03-14 11:03:15

阅读数:1904

评论数:0

Hive中 Oder by 、sort by、distribute by 和 cluster by

参见 https://www.iteblog.com/archives/1534.html

2017-03-14 09:41:20

阅读数:246

评论数:0

Hive group by distinct性能调优

转自 http://sjq597.github.io/2016/04/24/Hive-group-by-distinct%E6%80%A7%E8%83%BD%E8%B0%83%E4%BC%98/ Hive去重统计 相信使用Hive的人平时会经常用到去重统计之类的吧,但是好像平时很少关注这个去重...

2017-03-13 17:26:03

阅读数:671

评论数:0

MapReduce:详解Shuffle过程

/**  * author : 冶秀刚  * mail     : dennyy99@gmail.com  */          Shuffle过程是MapReduce的核心,也被称为奇迹发生的地方。要想理解MapReduce, Shuffle是必须要了解的。我看过很多相关的资料...

2017-02-20 14:43:22

阅读数:323

评论数:0

Hadoop集群安装-安装Hadoop2.5.2

1.现在的虚拟机集合 192.168.137.2 node1 192.168.137.3 node2 192.168.137.4 node3 192.168.137.5 node4 2.配置ssh免密码登录 在node1,2,3,4上都运行下面两行: ssh-keygen -t dsa -...

2017-01-15 22:35:52

阅读数:410

评论数:0

Haddop集群安装--jdk安装

1.下载和复制 下载jdk-8u111-linux-x64.tar.gz,用winSCP复制到/opt/java目录下。 2.解压 进入到/opt/java目录下,解压: tar -zxvf jdk-8u111-linux-x64.tar.gz 3.设置环境变量 ...

2017-01-14 12:45:36

阅读数:378

评论数:0

Hadoop集群安装---虚拟机网络配置

1.环境 主机:win7 VM Workstation 12 虚拟机:centos7 2.虚拟机安装 1)安装 VM Workstation 12过程很简单,略过。接着安装centos7,过程也很简单。 安装网络选择的是 安装一次,将文件夹复制两份,修改一下虚拟机名称得到三个虚拟机。 ...

2017-01-13 22:34:12

阅读数:492

评论数:0

虚拟机VMware3种网络模式(桥接、nat、Host-only)的工作原理

VMware网络配置详解一:三种网络模式简介 安装好虚拟机以后,在网络连接里面可以看到多了两块网卡: 其 中VMnet1是虚拟机Host-only模式的网络接口,VMnet8是NAT模式的网络接口,这些后面会详细介绍 选择虚拟机网络模 式方法如下,单击Edit vir...

2017-01-13 14:48:56

阅读数:430

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭