Hadoop
AISeekOnline
* 不要在该努力拼搏的年纪选择安逸 *
展开
-
HBase安装配置之伪分布式模式
HBase安装配置之伪分布式模式 2016-11-25 22:28 10989人阅读 评论(1) 收藏 举报 分类: hbase-hadoop(8) HBase安装模式有三种:单机模式、分布式(伪分布式和完全分布式)。本教程介绍了HBase的伪分布式模式安装配置的过程,伪分布式模式是把进程运行在一台机器上,但不是同一个JVM(单机模式),分布式模式的转载 2016-12-04 14:40:24 · 479 阅读 · 0 评论 -
配置hadoop HIVE元数据保存在mysql中
先确保已经成功安装了HIVE和MYSQL 在hive-site.xml中添加如下内容,指定METASTORE的地址以及连接方式 刚安装好hive,conf下是没有hive-site.xml文件的,需要复制 hive-default.xml为hive-site.xml。然后再进行修改。 javax.jdo.option.ConnectionURL转载 2016-12-18 10:59:22 · 1472 阅读 · 0 评论 -
HBase总结(十三)HBase Shell 常用命令及例子
下面我们看看HBase Shell的一些基本操作命令,我列出了几个常用的HBase Shell命令,如下: 名称 命令表达式 创建表 create '表名称', '列名称1','列名称2','列名称N' 添加记录 put '表名称', '行名称', '列名称:', '值'转载 2016-12-24 21:59:41 · 298 阅读 · 0 评论 -
HBase总结(十二)Java API 与HBase交互实例
import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.HColumnDescriptor; import org转载 2016-12-24 22:01:48 · 190 阅读 · 0 评论 -
Hive总结(七)Hive四种数据导入方式
Hive的几种常见的数据导入方式 这里介绍四种: (1)、从本地文件系统中导入数据到Hive表; (2)、从HDFS上导入数据到Hive表; (3)、从别的表中查询出相应的数据并导入到Hive表中; (4)、在创建表的时候通过从别的表中查询出相应的记录并插入到所创建的表中。 一、从本地文件系统中导入数据到Hive表 先在Hive里面创建好表,如下:转载 2016-12-24 22:03:40 · 209 阅读 · 0 评论 -
hadoop2.6.4完全分布式集群安装(一)实现基本集群环境
致谢博主:jd29323 http://blog.csdn.net/fd_mas/article/details/51586591 目录(?)[+] 1 总体说明 笔记本:i5第六代,16G内存,256G固态硬盘 使用VirtualBox 5.0.22建立3台虚拟机,实现完全分布式安装。 建立纯Hadoop的集群环境,实现所有hadoop集群的各种基转载 2016-12-28 00:56:20 · 395 阅读 · 0 评论 -
Spark RDD概念学习系列之Spark的算子的分类(十一)
Spark的算子的分类 从大方向来说,Spark 算子大致可以分为以下两类: 1)Transformation 变换/转换算子:这种变换并不触发提交作业,完成作业中间过程处理。 Transformation 操作是延迟计算的,也就是说从一个RDD 转换生成另一个 RDD 的转换操作不是马上执行,需要等到有 Action 操作的时候才会转载 2017-01-08 22:01:15 · 543 阅读 · 0 评论 -
CentOS7 从零开始搭建 Hadoop2.7集群
版权声明:本文为博主原创文章,未经博主允许不得转载。 目录(?)[+] 序言文件准备权限修改配置系统环境配置Hadoop集群配置无密码登录启动Hadoop默认举例 序言 下载软件与工具包 pscp.exe : 用于从本地到目标机器的文件传输hadoop-2.7.3.targ.gz: Ha转载 2017-01-09 22:58:53 · 623 阅读 · 0 评论