2018年06月_历史五千年

11月 10月 09月 07月 06月 05月 04月 03月 01月

原创 python安装

官网地址：https://www.python.org1、windows下安装1、进入官网后，依次点击downloads->all releases 2、选择一个你想要的版本，点击右侧的Download 3、根据操作系统位数，选择对应的版本 4、我这里下载后的文件为python-2.7.15.amd64.msi，双击安装即可。 2、linux下安装linu...

2018-06-26 14:32:04 256

原创使用JAVA语言操作Hbase

下面我自定义了一个工具类HBaseUtil，通过该类可以方便的对hbase数据库进行增删改查。package com.demo;import java.util.ArrayList;import java.util.List;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.Ce...

2018-06-19 17:20:43 1132

原创 hbase-1.2.6的安装

1、集群规划这里假设hadoop集群以及zookeeper集群都安装好了。2、安装hbase1、解压缩安装包[hadoop@hadoop1 ~]$ tar -zxvf hbase-1.2.6-bin.tar.gz -C app[hadoop@hadoop1 ~]$ cd app[hadoop@hadoop1 app]$ lshadoop-2.6.5 hbase-1....

2018-06-15 14:14:17 307

原创 apache-hive-1.2.2安装教程

1、安装前提1、hadoop集群（伪分布式也可以） 2、mysql数据库这里假设hadoop集群和mysql数据库都安装好了。2、配置mysql数据库1、创建hive元数据存放库mysql> create database hivemeta character set = latin1;Query OK, 1 row affected (0.00 sec)2...

2018-06-14 12:07:05 1485

原创 hadoop mapreduce使用自定义数据类型作为键值

mapreduce中使用自定义数据类型作为键值，必须实现WritableComparable接口。 WritableComparables can be compared to each other, typically via Comparators. Any type which is to be used as a key in the Hadoop Map-Reduce frame...

2018-06-12 16:20:13 1133

原创 Hadoop mapreduce中自定义数据类型作为value值

序列化在分布式环境的两大作用：进程间通信，永久存储。自定义数据类型需要实现Writable接口才能实现序列化 Any key or value type in the Hadoop Map-Reduce framework implements this interface.下面是Writable接口的源码：public interface Writable { /** ...

2018-06-10 08:04:54 1736

原创 hadoop MapReduce自定义分区partition的作用和用法

背景在Hadoop的MapReduce过程中，每个map task处理完数据库后，如果存在自定义Combiner类，会先进行一次本地的reduce操作，然后把数据发送到Partitioner，由Partitioner来决定每条记录应该送往哪个reducer节点，默认使用的是HashPartitioner，其核心代码如下：public class HashPartitioner&amp;amp;lt;K, ...

2018-06-08 13:02:16 6880 6

原创 hadoop MapReduce自定义分组combiner的作用和用法

每一个map task可能会产生大量的输出，combine的作用就是在map端对输出先做一次合并，以减少传输到reduce的数据量。这里举个例子： map与reduce的例子 map理解为销售人员，reduce理解为销售经理。每个销售人员（map task）只管销售,赚了多少钱销售人员不统计，也就是说这个销售人员没有combine，那么这个销售经理就累垮了，因为每个人都没有统计，它需...

2018-06-07 19:16:08 915

原创 Hadoop 2.6.5 Mapper类源码解读

在进行mapreduce程序开发时，需要继承Mapper类，并重写里面的map方法。下面是Mapper类的源码。package org.apache.hadoop.mapreduce;import java.io.IOException;import org.apache.hadoop.classification.InterfaceAudience;import org.a...

2018-06-07 15:06:22 336

原创 Hadoop 2.6.5使用mapreduce程序实现qq好友推送

1、准备模拟数据创建文件qqFriend.txt，并上传到hdfs上（/qq/input/qqFriend.txt）。文件内容如下：aa bbcc ddee ffbb mmff ww从上面的好友列表可以看出: 1、aa和mm有共同的好友bb，所以aa和mm可以互相推送好友 2、ee和ww有共同的好友ff，所以ee和ww可以互相推送好友2、写mapreduc...

2018-06-05 14:16:37 385

原创 java匿名接口实现

java接口实现由两种方式： 1、显式的实现（implements）伪代码：interface InterfaceName{ //abstract methods declaration}class ClassName implements InterfaceName{ //abstract methods overwrite}示例代码：package...

2018-06-01 13:44:47 8494 1