冰河的专栏

持之以恒,贵在坚持,每天进步一点点。。。

Zookeeper之——关于Zookeeper的那些事

官方网址:http://zookeeper.apache.org/ 一、 什么是Zookeeper Zookeeper 是 Google 的 Chubby一个开源的实现,是 Hadoop 的分布式协调服务 它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等 ...

2016-08-17 00:40:22

阅读数 11191

评论数 2

胡思乱想之——我所理解的"云"

我所理解的“云”:数据都存在网上,而非终端里;软件会最终消失,只要你的“云”终端设备中拥有浏览器就可以运行现在的一切;“云”时代的互联网终端设备将不仅仅是pc;手机、pad、汽车、手表、眼镜、电视、家居等等,人们生活中的方方面面,只要有简单的操作系统加个浏览器就完全可以实现;由于数据都在“云”端,...

2015-09-21 22:06:12

阅读数 678

评论数 0

Hadoop之——cygwin+ssh及启动ssh服务失败、ssh localhost失败的解决方案

在Windows2003中配置ssh服务 在vm里成功做了一个ssh服务器,以下对这个过程做个总结。 步骤一: 在vm win2k3里安装cygwin环境,虚拟机上不了外网,所以就在我的工作机上下载了一个cygwin的安装包,完整的,640M。 把这个包拷贝到虚拟机里面,完全安装, 安装的中...

2015-06-26 10:21:21

阅读数 2592

评论数 0

Hadoop之——Flume笔记

1.flume是分布式的日志收集系统,把收集来的数据传送到目的地去。 2.flume里面有个核心概念,叫做agent。agent是一个java进程,运行在日志收集节点。 3.agent里面包含3个核心组件:source、channel、sink。 3.1 source组件是专用于收集日志的,可以处...

2015-06-16 14:00:17

阅读数 1606

评论数 0

Hadoop之——SQOOP笔记

SQOOP是用于对数据进行导入导出的。     (1)把MySQL、Oracle等数据库中的数据导入到HDFS、Hive、HBase中     (2)把HDFS、Hive、HBase中的数据导出到MySQL、Oracle等数据库中 1.把数据从mysql导入到hdfs(默认是/user/)中   ...

2015-06-16 13:18:29

阅读数 1386

评论数 0

Hadoop之——Hive笔记

1.Hive 1.1在hadoop生态圈中属于数据仓库的角色。他能够管理hadoop中的数据,同时可以查询hadoop中的数据。   本质上讲,hive是一个SQL解析引擎。Hive可以把SQL查询转换为MapReduce中的job来运行。   hive有一套映射工具,可以把SQL转换为MapRe...

2015-06-14 23:21:54

阅读数 1234

评论数 0

Hadoop之——Pig框架

1.Pig是基于hadoop的一个数据处理的框架。   MapReduce是使用java进行开发的,Pig有一套自己的数据处理语言,Pig的数据处理过程要转化为MR来运行。 2.Pig的数据处理语言是数据流方式的,类似于初中做的数学题。 3.Pig基本数据类型:int、long、float、dou...

2015-06-14 16:00:46

阅读数 4653

评论数 0

Hadoop之——HBASE结合MapReduce批量导入数据

废话不多说,直接上代码,你懂得 package hbase; import java.text.SimpleDateFormat; import java.util.Date; import org.apache.hadoop.conf.Configuration; import org.ap...

2015-06-11 23:44:47

阅读数 4230

评论数 0

Hadoop之——Java操作HBase

不多说,直接上代码,大家都懂得 package hbase; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfigu...

2015-06-11 23:21:57

阅读数 2523

评论数 0

Hadoop之——Hbase Shell命令

HBASE Shell 进入Habse数据库终端:#$HBASE_HOME/bin/hbase shell 创建表 >create'users','user_id','address','info' 表users,有三个列族user_id,address,info 列出全部表 >...

2015-06-11 23:12:17

阅读数 1794

评论数 0

Hadoop之——HBase集群搭建笔记(补充)

1.hbase的机群搭建过程(在原来的hadoop0上的hbase伪分布基础上进行搭建) 1.1 集群结构 主节点(hmaster)是hadoop0,从节点(region server)是hadoop1和hadoop2, 解压缩、重命名、设置环境变量 1.2 修改hadoop0上的hbase的...

2015-06-11 00:00:49

阅读数 1182

评论数 0

Hadoop之——HBase笔记

1.HBase(NoSQL)的数据模型 1.1 表(table)       存储管理数据的。 1.2 行键(row key)      类似于MySQL中的主键。     行键是HBase表天然自带的。 1.3 列族(column family)       列的集合。     HBase中列族...

2015-06-10 22:30:35

阅读数 1083

评论数 0

Hadoop之——搭建ZooKeeper服务器集群

本集群要求集群环境配置有jdk环境、ssh免密码登录、主机名与ip地址映射, /etc/sysconfig/network 文件记录集群中其他主机信息,这些环境的设置请参考博文“Hadoop之——分布式集群安装过程简化版”     1 zk服务器集群规模不小于3个节点,要求各服务器之间系统时间要...

2015-06-07 20:27:04

阅读数 1091

评论数 0

Hadoop之—— CentOS Warning: $HADOOP_HOME is deprecated解决方案

启动Hadoop时报了一个警告信息,我安装的Hadoop版本是hadoop1.0.4,具体警告信息如下: [root@localhost hadoop-1.0.4]# ./bin/start-all.sh Warning: $HADOOP_HOME is deprecated.网上的说法是因为Ha...

2015-06-06 16:33:24

阅读数 2176

评论数 0

Hadoop之——CentOS配置ssh无密码登录注意事项

前提配置:使用root登录修改配置文件:/etc/ssh/sshd_config,将其中三行的注释去掉,如下 然后重启ssh服务:service sshd restart。最后退出root,以下所有操作都在hadoop用户下进行。 主机信息如下: 如上图,当前登录用户为hadoop,主机名...

2015-06-06 15:36:25

阅读数 3029

评论数 1

Hadoop之——正常启动而无法正常关闭

在1个master和2个slave节点的集群上,hadoop可以正常格式化: hadoop@hadoop1:~/hadoop/conf$ hadoop namenode -format 13/10/21 12:02:15 INFO namenode.NameNode: STARTUP_MSG: ...

2015-06-03 23:49:38

阅读数 1155

评论数 0

Hadoop之——执行start-all.sh时namenode没有启动

最近遇到了一个问题,执行start-all.sh的时候发现JPS一下namenode没有启动         每次开机都得重新格式化一下namenode才可以         其实问题就出在tmp文件,默认的tmp文件每次重新开机会被清空,与此同时namenode的格式化信息就会丢失     ...

2015-06-03 23:38:54

阅读数 7684

评论数 2

Hadoop之——分布式集群安装过程简化版

1.hadoop的分布式安装过程     1.1 分布结构                        主节点(1个,是hadoop0):NameNode、JobTracker、SecondaryNameNode                     从节点(2个,是hadoop1、had...

2015-06-03 22:18:45

阅读数 1325

评论数 0

Hadoop之——自定义排序算法实现排序功能

要求首先按照第一列升序排列,当第一列相同时,第二列升序排列;不多说直接上代码 1、Mapper类的实现 /** * Mapper类的实现 * @author liuyazhuang * */ static class MyMapper extends Mapper{ pro...

2015-05-31 13:48:54

阅读数 4334

评论数 0

Hadoop之——自定义分组比较器实现分组功能

不多说,直接上代码,大家都懂得 1、Mapper类的实现 /** * Mapper类的实现 * @author liuyazhuang * */ static class MyMapper extends Mapper{ protected void map(LongW...

2015-05-31 13:27:02

阅读数 3380

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭