大数据
文章平均质量分 90
qq_806913882
这个作者很懒,什么都没留下…
展开
-
Hbase访问方式之Hbase shell
Hbase的访问方式1、Native Java API:最常规和高效的访问方式; 2、HBase Shell:HBase的命令行工具,最简单的接口,适合HBase管理使用; 3、Thrift Gateway:利用Thrift序列化技术,支持C++,PHP,Python等多种语言,适合其他异构系统在线访问HBase表数据; 4、REST Gateway:支持REST 风格的Http API访问H原创 2016-12-10 09:42:04 · 10795 阅读 · 0 评论 -
Hadoop2.X的ChainMapper和ChainReducer
编程过程中,有时候需要多个map才能完成任务,虽然知道ChainMapper和ChainReducer可以做到这一点,但是不是很清楚,从网上到的一些讲解也不是很清楚,所以自己看API文档,总结了一下。 这个是ChainMapper和ChainReducer的官方API文档。 http://hadoop.apache.org/docs/r2.7.3/api/index.htmlChainMappe原创 2017-01-05 14:22:34 · 2711 阅读 · 1 评论 -
hadoop 的排序:key排序和分组排序
引入和说明熟悉mapreduce执行流程的都知道,mapreduce流程中,一共有两类排序,第一种是对于key的排序,默认是是根据key的递增排序。第二种是对于reduce的组排序,将两条记录的key带入到 分组函数中,如果返回0,则说明两个记录是一组的,所以就把他们的value合到一个迭代器中,也就是reduce函数的第二个参数。最下面那个代码(小标题是总体代码)包括了 map ,reduce,两原创 2016-12-22 09:38:34 · 2101 阅读 · 0 评论 -
mapreduce的输入格式详解
输入流程解析文件从上传到HDFS到输入到map函数中,大致可以分为4步。文件上传到hdfs中,被划分为若干份block,输入时,将所有block读取,划分为若干个split,每个split对应与一个map task,然后每个split划分为多个recordvoid map( K1 key, # record的key V1 value, # record的value原创 2016-12-19 15:22:02 · 1083 阅读 · 0 评论 -
ZooKeeper实战
在极客学院学习了zookeeper课程,为了理解更加深刻,大致写一下课程内容master选举架构图那个WorkServer节点创建了master节点,则此节点就是整个集群的master。程序流程WorkServer创建的时,即添加监听器,一旦master节点被删除,则立刻创建master节点,如果创建成功,则其就是master,如果创建不成功,则说明有WorkServer已经创建了master节点,原创 2016-12-16 21:24:44 · 2318 阅读 · 0 评论 -
Hive系统架构简介
文章转载自:http://www.yiibai.com/hive/Hive是什么Hive 不是Hive特点Hive架构Hive架构的更一般的架构Hive工作原理Hive是什么?Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上,总归为大数据,并使得查询和分析方便。最初,Hive是由Facebook开发,后来由Apache软件基金会开发,并作为进一步转载 2016-12-07 22:06:24 · 3914 阅读 · 0 评论 -
hadoop与zookeeper完全分布式安装
集群配置 主机名 NN DN RM NM ZK JN node1 √ √ √ node2 √ √ √ √ node3 √ √ √ √ √ node4 √ √ √ √注:打勾的说明,本台主机配置有该项服务。服务原创 2016-12-12 09:39:25 · 2037 阅读 · 0 评论 -
Hadoop2.X伪分布式安装
安装JDK配置ssh免密码登录配置hosts文件下载hadoop安装包并安装配置hadoop环境变量创建一些用到的文件夹和文件更改hadoop目录的所有用户配置hadoop文件aHadoop-envshb mapred-envshc yarn-envshdcore-sitexmle hdfs-sitexmlfmapred-sitexml格式化HDFS启动服务测试是否启原创 2016-12-07 23:13:35 · 440 阅读 · 0 评论 -
hive sql详解
hive数据类型hive基本数据类型 基本类型 大小(字节) 描述 TINYINT 1 有符号整数 SMALLINT 2 有符号整数 INT 4 有符号整数 BIGINT 8 有符号整数 STRING 最大2GB 字符串,类似SQL的VARCHAR类型 FLOAT 4 单精度浮点数 DOUBLE 8 双精度原创 2016-12-11 22:39:25 · 7246 阅读 · 0 评论 -
Hbase完全分布式安装
下载hbase安装包从hbase下载地址找一个下载网站,然后下载一个安装包,本文下载hbase的版本为hbase-1.0.3-bin.tar.gz 解压安装包# 解压安装包到/usr/localcd /usr/localtar -zxvf hbase-1.0.3-bin.tar.gz配置文件 hbase-env.sh# 配置JDK路径JAVA_HOME原创 2016-12-11 09:51:22 · 491 阅读 · 0 评论 -
MapReducer中文编码
如果输入文件有中文,输出文件可能会出现乱码。乱码问题的话一般都是编解码错误。 本文的最后有一篇参考文档,那篇文档已经解决了问题了,但是,可是自己是小白,那篇文档没做解释的话,有的我理解不了,所以就把那篇文章解释了一遍。基础好的可以直接看那篇文章。编码的问题首先看一下这段代码String s = "中国";Text t1 = new Text();Text t2 = new Text();t1.原创 2017-01-07 09:25:23 · 2089 阅读 · 0 评论