Hadoop
茄肥猫
这个作者很懒,什么都没留下…
展开
-
CentOS7安装Hadoop2.7完整流程
总体思路,准备主从服务器,配置主服务器可以无密码SSH登录从服务器,解压安装JDK,解压安装Hadoop,配置hdfs、mapreduce等主从关系。1、环境,3台CentOS7,64位,Hadoop2.7需要64位Linux,CentOS7 Minimal的ISO文件只有600M,操作系统十几分钟就可以安装完成,Master 192.168.0.182Slave1 192.168转载 2016-01-24 20:53:03 · 1325 阅读 · 1 评论 -
hadoop、hbase、hive、zookeeper版本对应关系
最新版本:hadoop、hbase、hive、zookeeper版本对应关系续hadoop与HBase版本对应关系:Hbase Hadoop 0.92.0 1.0.00.92.1 1.0.00.92.2 1.0.30.94.0 1.0.20.94.1 1.0.30.94.2 1.0.30.94.3 1.0.40.94转载 2016-01-27 17:23:06 · 4362 阅读 · 0 评论 -
Hadoop平台架构--硬件篇
还记得刚接触Hadoop的时候,还是1.x版本,硬是在自己的4GB内存上面弄了3个虚拟机学习,条件有些艰苦,Hadoop测试集群搭建不需要太多考虑,随着毕业开始进入企业,在企业中实践Hadoop,特别是一定规模的集群,逐渐涉及到硬件资源,网络规划,操作系统,软件栈等一系列问题!对于一个没有经验的小白来说,还是比较复杂的,还好公司有linux大牛配合上我从各种技术网站博客吸收的微薄知识,从0转载 2016-01-28 10:13:01 · 8789 阅读 · 0 评论 -
Hadoop平台架构--存储篇
刚刚开始使用Hadoop集群的时候,目录没有有个规范,大家都根据自己的喜好创建各种不同的目录,权限控制也没有开启,随着应用越来越多,使用的人员也多了起来,导致目录混乱,终于在新规划集群的时候,对目录做了规范和权限控制.下面简单介绍一下我们HDFS目录规范和HDFS存储规划,希望对初建Hadoop集群的同学能有一些帮助。简介Hadoop的目的是基于一种新的方法来存储和处理复杂转载 2016-01-28 10:18:20 · 971 阅读 · 0 评论 -
Yarn资源分配性能调优
日志:Container [pid=134663,containerID=container_1430287094897_0049_02_067966] is running beyond physical memory limits. Current usage: 1.0 GB of 1 GB physical memory used; 1.5 GB of 10 GB virtual mem转载 2016-01-28 10:20:04 · 17283 阅读 · 0 评论 -
hadoop命令详解
一、用户命令1、archive命令(1).什么是Hadoop archives?Hadoop archives是特殊的档案格式。一个Hadoop archive对应一个文件系统目录。 Hadoop archive的扩展名是*.har。Hadoop archive包含元数据(形式是_index和_masterindx)和数据文件(part-*)。_index文件包含了档案中的文件的文转载 2016-02-04 15:12:11 · 442 阅读 · 0 评论 -
Spark MLlib 1.6 -- 特征抽取和变换
· TF-IDF· Word2Vec· Model· Example· StandardScaler· Model Fitting· Example· Normalizer· Example· ChiSqSelector· Model F转载 2016-03-22 10:09:12 · 6437 阅读 · 0 评论 -
Spark中常用工具类Utils的简明介绍
《深入理解Spark:核心思想与源码分析》一书前言的内容请看链接《深入理解SPARK:核心思想与源码分析》一书正式出版上市《深入理解Spark:核心思想与源码分析》一书第一章的内容请看链接《第1章 环境准备》《深入理解Spark:核心思想与源码分析》一书第二章的内容请看链接《第2章 SPARK设计理念与基本架构》《深入理解Spark:核心思想与源码分析》一书第三章第一部分的转载 2016-03-22 10:10:13 · 1580 阅读 · 0 评论 -
解决Hadoop和Spark本地版本库不统一的问题
就是报以下这个警告的,也不知道对运行程序究竟会产生什么样的影响,但看着就是不爽,还耽误了我几天时间,把它给解决了,这里记一下,方便以后查找。unable to load native-hadoop library for your platform... using builtin-java classes where applicable先是运行Hadoop的时候报该错误,当时发转载 2016-07-25 13:38:21 · 2177 阅读 · 0 评论