![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
王哈哈1991
java攻城狮
展开
-
Hbase通过BulkLoad快速导入数据
HBase是一个分布式的、面向列的开源数据库,它可以让我们随机的、实时的访问大数据。大量的数据导入到Hbase中时速度回很慢,不过我们可以使用bulkload来导入。BulkLoad的过程主要有以下部分:1. 从数据源提取数据并上传到HDFS中。2. 使用MapReduce作业准备数据这一步需要一个MapReduce作业,并且大多数情况下还需要我们自己编写Map函数,而Reduce原创 2016-12-11 20:54:36 · 1276 阅读 · 1 评论 -
windows下 hadoop2.4.0 eclipse 插件安装及配置
一、环境说明hadoop 版本:2.4.0hadoop 安装环境:centos6centos主机IP地址:192.168.0.207eclipse版本:Lunaeclipse 安装环境:windows10二、插件安装hadoop-eclipse-plugin-2.4.0.jar 插件下载:http://download.csdn.net/do原创 2016-12-04 20:30:53 · 496 阅读 · 0 评论 -
大数据实战(上)——环境搭建
设置 hostname 为hadoop:$hostname hadoop设置ip地址与hostname关联:$vim /etc/hosts 添加 IP地址 hadoop 关闭 iptables:$service iptables stop $chkconfig iptables off #设置下次启动系统时不启动iptables原创 2016-11-27 19:32:11 · 659 阅读 · 0 评论 -
HBase协处理器
协处理器分两种类型,系统协处理器可以全局导入region server上的所有数据表,表协处理器即是用户可以指定一张表使用协处理器。协处理器框架为了更好支持其行为的灵活性,提供了两个不同方面的插件。一个是观察者(observer),类似于关系数据库的触发器。另一个是终端(endpoint),动态的终端有点像存储过程。1.观察者(Observer)观察者的设计意图是允许用户通原创 2017-01-02 00:07:21 · 364 阅读 · 0 评论 -
搭建 hadoop HA
hadoop2.4.0zookeeper3.4.6说明:总共三个节点,namenode1、namenode2、datanode一、集群配置ssh免密码登录:在三台机器上都执行以下命令:// 在namenode1节点生成SSH密钥对[hadoop@namenode1 ~]$ cd /usr/bin/[hadoop@namenode1 b原创 2016-12-18 22:33:32 · 126 阅读 · 0 评论 -
企业级HBase搭建
三台主机:namenode-a1(master1)、namenode-a2(master2) 、datanode-a(rengionserver)一、配置最大打开文件数、进程数查看:$ ulimit -a使用root用户编辑配置文件:vim /etc/security/limits.conf 写入以下内容:root soft nproc原创 2016-12-25 23:54:56 · 515 阅读 · 0 评论