- 博客(9)
- 资源 (9)
- 收藏
- 关注
转载 HBase架构精讲
前记公司内部使用的是MapR版本的Hadoop生态系统,因而从MapR的官网看到了这篇文文章:An In-Depth Look at the HBase Architecture,原本想翻译全文,然而如果翻译就需要各种咬文嚼字,太麻烦,因而本文大部分使用了自己的语言,并且加入了其他资源的参考理解以及本人自己读源码时对其的理解,属于半翻译、半原创吧。HBase架构组成HBase采用Mas
2016-08-30 15:52:08 370
原创 HADOOP自带测试类介绍及使用
一. Hadoop基准测试Hadoop自带了几个基准测试,被打包在几个jar包中。本文主要是cloudera版本测试[hsu@server01 ~]$ ls /opt/cloudera/parcels/CDH-5.2.0-1.cdh5.2.0.p0.36/lib/hadoop-0.20-mapreduce/hadoop* | egrep "examples|test"/opt/clou
2016-08-14 14:33:45 6465
原创 动态添加HDFS节点
本文主要从基础准备,添加DataNode和添加NodeManager三个部分详细说明在Hadoop2.6.0环境下,如何动态新增节点到集群中。基础准备在基础准备部分,主要是设置hadoop运行的系统环境修改系统hostname(通过hostname和/etc/sysconfig/network进行修改)修改hosts文件,将集群所有节点hosts配置进去(集
2016-08-14 11:28:14 2522
原创 HIVE 安装指南
1、安装mysql 并配置库和用户安装mysql详见我另一篇文章:http://blog.csdn.net/xiefu5hh/article/details/52191488 建立用户hive 并建立库 hive_meta sht-sgmhadoopnn-01:mysqladmin:/usr/local/mysql:>mysql -uroot -pmysql
2016-08-12 17:27:47 251
原创 HBASE 错误及解决办法
java.io.IOException: Call to /192.168.2.6:9000 failed on local exception: java.io.IOException: Broken pipehbase启动可能会出错导致失败,java.io.IOException: Call to /192.168.2.6:9000 failed on local except
2016-08-12 15:40:55 2486
原创 zookeeper 安装配置指南
http://zookeeper.apache.org/releases.html#download1.在namenode机器下,配置zookeeper,先解压安装包,使用命令:tar -zxvf zookeeper-3.4.4.tar.gz 2.进入zookeeper的配置目录,首先把zoo_sample.cfg
2016-08-12 15:30:05 221
原创 ubuntu下MYSQL安装部署及常用命令
1.直接通过apt-get安装mysql: sudo apt-get install mysql-server mysql-client把客户端和服务一起安装安装时候要输入root密码,要记住....2.配置mysql配置文件位置:/etc/mysql/my.cnf修改以下配置,注释掉:bind-address 防止远程无法访问其他配置自己修改3.
2016-08-12 14:53:23 264
转载 HBASE入门概念和基本操作命令
1. 简介 HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable:一个结构化数据的分布式存储系统》。HBase是Google Bigtable的开源实现,它利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为协同服务。2. HBase的表结构 HBase以表的
2016-08-11 18:23:42 499
原创 HADOOP的本地库(NATIVE LIBRARIES)介绍
Hadoop是使用Java语言开发的,但是有一些需求和操作并不适合使用java,所以就引入了本地库(Native Libraries)的概念,通过本地库,Hadoop可以更加高效地执行某一些操作。 目前在Hadoop中,本地库应用在文件的压缩上面: zlib gzip 在使用这两种压缩方式的时候,Hadoop默认会从$HADOOP_HOME/lib/native/Linux-*目录中加载本地库
2016-08-05 15:19:33 794
华为垃圾分类大赛亚军答辩PPT
2020-05-31
Teradata SQL基础教程
2016-03-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人