GorillaNotes

明天的我--感谢今天的努力

Hive 行转列 一个有趣的案例

Hive 行转列 一个有趣的案例 业务场景: 今天,使用hive表做特征数据集,有这么一个需求,有 db.Table1 如下表,course 字段共有3个值,但这,并不是所有的学生都选择了这三门课程,为训练模型,要把这些窄表变成宽表,把没选择课程设为0分,输出结果如下db.Table2。SQL门外...

2019-04-29 23:11:42

阅读数 50

评论数 0

LeetCode:934. Shortest Bridge - Python

问题描述: 934. 最短的桥 在给定的二维二进制数组A中,存在两座岛。(岛是由四面相连的1形成的一个最大组) 现在,我们可以将0 变为1,以使两座岛连接起来,变成一座岛。 返回必须翻转的 0的最小数目。(可以保证答案至少是1) 示例 1: 输入:[[0,1],[1,0]] 输出:1 示例 2...

2018-12-01 11:41:23

阅读数 121

评论数 0

使用Eclipse搭建Hadoop编程环境

在前人的基础上,进行总结学习,发现bug,修改bug 系统平台:Ubuntu14.04TLS(64位) Hadoop环境:Hadoop2.7.1 Eclipse:Neon.2 Release(4.6.2) Eclipse插件:hadoop-eclipse-plugin-2.7.1.jar 一.编译...

2017-03-18 15:23:49

阅读数 9368

评论数 3

ubuntu部署hadoop2.7.1之单机模式与伪分布式模式

单机模式(standalone) 单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时,Hadoop会完全运行在本地。因为不需要与其他节点交互,单机模式就不使用HD...

2017-01-20 21:01:55

阅读数 571

评论数 0

基于hadoop的矩阵乘法(学习笔记)

1.准备数据 下面时两个简单的矩阵:  , 不难看出相乘结果为: 2.在HDFS上的存储方式         因为大矩阵一般为稀疏矩阵,因此,我们可以采用稀疏矩阵的存储方式,只存储那些非零的数值。存储矩阵的文件每一条记录的结构如下: 所以,矩阵A为(文件ytu_a): 1 1 1 1 ...

2015-03-30 17:17:54

阅读数 3593

评论数 6

hadoop非mapreduce过程对hdfs文件的读写

package cn.ytu.hdfsrwfile; import java.util.ArrayList; import java.util.List; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop...

2015-03-22 11:14:27

阅读数 2224

评论数 0

hadoop程序抛出异常:java.lang.IllegalArgumentException: Wrong FS: hdfs:/ expected file:///

在eclipse上运行如下java 代码如下: Configuration conf = new Configuration(); FileSystem hdfs = FileSystem.get(conf); Path inPath = new Path(path); // ...

2015-03-22 10:18:00

阅读数 2473

评论数 0

Ubuntu环境Hadoop全分布式环境搭建 (学习笔记)

一 、准备工作

2014-10-05 16:27:10

阅读数 1592

评论数 0

Ubuntu 两台电脑用网线搭建一个局域网(学习笔记)

1、新建一个以太网连接:

2014-10-05 15:50:30

阅读数 5378

评论数 0

Hadoop 之 数据去重(星星笔记)

1.问题描述 输入文件 file1:

2014-09-19 21:41:28

阅读数 1557

评论数 0

Hadoop 之 Sort 排序 (星星笔记)

自从学习了hadoop之后,现在想想还没有怎么整理过自己写过的代码和读过的代码,今天就做一个整理吧,纪念一下。 Sort (单词计数)程序 就像我们刚刚开始学习程序一样,写一个 helloworld程序一样。

2014-09-11 17:07:39

阅读数 932

评论数 0

Hadoop 之 Wordcount 单词计数 (学习笔记)

自从学习了hadoop之后,现在想想还没有在

2014-09-09 07:14:02

阅读数 869

评论数 0

Ubuntu下 ssh : connect to host localhost port 22:Connection refused

Ubuntu下测试ssh时使用ssh localhost 命令,出现错误提示connect to host localhost port 22:Connection refused   造成这个错误的原因可能是ssh-server未安装或者未启动。ubuntu 11.10 默认安装openss...

2014-09-06 11:37:10

阅读数 934

评论数 0

ubuntu部署hadoop之单机模式与伪分布式模式(个人笔记)

单机模式(standalone) 单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时,Hadoop会完全运行在本地。因为不需要与其他节点交互,单机模式就不使用HD...

2014-09-06 11:29:25

阅读数 897

评论数 0

Hadoop学习之mapreduce:Shuffle 过程笔记

不少关于Hadoop的书籍都提到过, Shuffle过程是MapReduce的核心,也被称为奇迹发生的地方。要想理解MapReduce, Shuffle是必须要了解的(《Hadoop云计算实战》)。查看过很多书籍,介绍的或多或少有一些差异,我想这是作者外文翻译的原因,例如 Spill 有的翻译成 ...

2014-09-01 17:35:34

阅读数 1096

评论数 1

提示
确定要删除当前文章?
取消 删除
关闭
关闭