hadoop
Fred-XU
https://www.zhihu.com/people/fredric-96
展开
-
Hadoop 笔记(map/reduce&hdfs)
hadoop 基础:hadoop的核心是应该算是map/reduce和hdfs,相当于我们要处理一个大数据的任务(并且前提是我们只采用普通的PC服务器),那么完成这个任务我们至少做两件事情,一件是有一个环境能够存储这个大数据(即hdfs),另外一件就是有一个并发的环境处理这些大数据(即map/reduce)。map/reduce计算模型:map/reduce理解为一个分布式计算框架,它由J...原创 2013-04-30 18:15:00 · 245 阅读 · 0 评论 -
hadoop 笔记(hbase)
hbase 基础:hbase是基于列的数据,其数据模式如下:1、安装 1.1)hbase安装分为单机、伪分布式、分布式,单机下安装不依赖于hadoop;因为不需要分布式文件系统支持; 1.2)安装并启动服务: tar xfz hbase-0.94.12.tar.gz; start-hbase.sh stop-hbase.sh 备注:需要先安装j...原创 2015-07-17 16:31:00 · 222 阅读 · 0 评论 -
hadoop 笔记(hive)
//**********************************//安装配置1. 修改配置文件1.1 在conf文件夹下touch hive-site.xml<configuration><property><name>javax.jdo.option.ConnectionURL</name><value&g...原创 2018-04-04 23:00:00 · 241 阅读 · 0 评论 -
hadoop 笔记(zookeeper)
1、安装需要提前安装java环境,本文下载zookeeper-3.3.6.tar.gz包。 1.1 tar -zxvf zookeeper-3.3.6.tar.gz 1.2 修改conf中的zoo_sample.cfg为zoo.cfg2、服务端命令/bin/zkServer.sh start //启动服务/bin/zkServer.sh stop ...原创 2016-09-29 10:28:00 · 176 阅读 · 0 评论