大数据

IT 云计算

第一题ER图

ER图(1)

2015-08-23 11:22:43

阅读数 546

评论数 0

SVN与其他工具整合

【SVN与Eclipse整合】 SVN与Eclipse整合 下载SVN插件(http://subclipse.tigris.org) 解压到一个文件夹中 进入eclipse 安装目录中dropins目录并创建一个subclipse.link 的文本...

2015-07-27 16:47:07

阅读数 441

评论数 0

Tortoisesvn介绍

【Tortoisesvn介绍】 TortoiseSVN是Subversion版本控制系统的一个免费开源客户端,不需要为使用它而付费。 TortoiseSVN是 Subversion 的 Windows 扩展。它使你避免接触 Subversion 枯燥而且不方便的 Command...

2015-07-27 16:28:54

阅读数 629

评论数 0

SVN入门(一)

【SVN简介】 Svn(Subversion)是近年来崛起的版本管理工具,在当前的开源项目里(J2EE),几乎95%以上的项目都用到了 SVN。Subversion 项目的初衷是为了替换当年开源社区最为流行的版本控制软件 CVS,在 CVS的功能的基础上有很多的提升同时也能较好的解...

2015-07-27 16:16:34

阅读数 318

评论数 0

版本控制入门

【学习目标】   掌握SVN服务端与客户端的安装与配置   掌握SVN服务端权限配置   掌握SVN在Eclipse中的使用 【问题引入】   参与过2人以上的软件项目开发?   开发过程中程序是否具有版本控制?  如果不使用版本控制还会出现什么问题?  【没有版本控制】 ...

2015-07-27 15:45:46

阅读数 307

评论数 0

Hive的UDF

1、UDF函数可以直接应用于select语句,对查询结构做格式化处理后,再输出内容。 2、编写UDF函数的时候需要注意一下几点:       a)自定义UDF需要继承org.apache.hadoop.hive.ql.UDF。       b)需要实现evaluate函数,evaluate函数支持...

2015-06-03 15:19:37

阅读数 1252

评论数 0

Hive表

一、Hive运行模式        1.Hive的运行模式即任务的执行环境        2.分为本地与集群两种,我们可以通过mapred.job.tracker 来指明          设置方式:hive > SET mapred.job.tracker=local 二、Hive的启...

2015-05-31 20:46:48

阅读数 1288

评论数 0

hive安装(单节点)

1.上传tar包 2.解压     tar -zxvf hive-0.9.0.tar.gz -C /cloud/ 3.配置mysql metastore(切换到root用户)     配置HIVE_HOME环境变量     rpm -qa | grep mysql     rpm -e mysq...

2015-05-31 20:14:22

阅读数 1224

评论数 0

hive入门

什么是Hive        Hive 是建立在 Hadoop  上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL ),这是一种可以存储、查询和分析存储在 Hadoop  中的大规模数据的机制。Hive 定义了简单的类 SQL  查询语言,称为 QL ,它允许熟悉...

2015-05-31 12:33:27

阅读数 583

评论数 0

Hbase的java接口

public class HbaseDemo { private Configuration conf = null; @Before public void init(){ conf = HBaseConfiguration.create(); conf.set("...

2015-05-30 16:28:54

阅读数 658

评论数 0

HBASE Shell

hbase提供了一个shell的终端给用户交互 名称 命令表达式 创建表 create '表名称', '列族名称1','列族名称2','列族名称N' 添加记录      put '表名称', '行名称', '列名称:', '值' 查看记录 ge...

2015-05-30 15:58:26

阅读数 633

评论数 0

Hbase集群搭建

1.上传hbase安装包 2.解压 3.配置hbase集群,要修改3个文件(首先zk集群已经安装好了)   【注意:要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下】    3.1修改hbase-env.sh  export JAVA_HOME=...

2015-05-30 09:42:22

阅读数 490

评论数 0

Hbase简介(很好的梳理材料)

一、 简介 history started by chad walters and jim 2006.11 G release paper on BigTable 2007.2 inital HBase prototype created as Hadoop contrib 200...

2015-05-30 08:47:09

阅读数 906

评论数 0

sqoop简介及安装

一、sqoop简介 Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。 二、sqoop安装 1.上传...

2015-05-29 00:31:50

阅读数 544

评论数 0

hadoop-2.4.1 集群搭建

hadoop2.0已经发布了稳定版本了,增加了很多特性,比如HDFS HA、YARN等。最新的hadoop-2.4.1又增加了YARN HA 注意:apache提供的hadoop-2.4.1的安装包是在32位操作系统编译的,因为hadoop依赖一些C++的本地库, 所以如果在64位的操作上安装h...

2015-05-28 14:20:03

阅读数 456

评论数 0

Zookeeper入门

一、什么是Zookeeper?         Zookeeper 是 Google 的 Chubby一个开源的实现,是 Hadoop 的分布式协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等。 二、为什么使用Zookeeper?        1.大部...

2015-05-27 19:28:42

阅读数 414

评论数 0

Hadoop之MapReduce-倒排索引案例

一、问题描述         统计每个单词在各个文件中出现的次数。 二、所给数据        1. 输入数据:          a.txt:                      b.txt          hello tom            hello jerry     ...

2015-05-27 18:28:42

阅读数 466

评论数 0

Hadoop之MapReduce-自定义排序编程

一、问题描述         根据给出的数据计算每一个用户总的收入,总的支出以及总利润,并按照总利润由高到低排序,如果总利润相同,则按照总的支出由高到低排序。 二、数据格式        2.1输入数据格式         zhangsan@163.com    6000    0    2014...

2015-05-26 21:03:49

阅读数 412

评论数 0

Hadoop之MapReduce-Partition编程

一、问题描述        在Hadoop序列化案例(http://blog.csdn.net/gaijianwei/article/details/46004025)的基础上,将输出的数据按照手机号所属的运营商进行分区。 二、问题实现        DataCount代码(只是对Hadoop序列...

2015-05-26 18:27:36

阅读数 485

评论数 0

Hadoop序列化案例

一、问题描述        根据所给的数据输出每一个手机号上网的上载流量、下载流量和总流量。 二、数据格式         输入数据(部分)格式        1363157973098     15013685858    5C-0E-8B-C7-F7-90:CMCC    120.197.40...

2015-05-26 09:45:31

阅读数 520

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭