2015年10月_梦飞天

11月 10月 09月 08月 07月

原创第118讲：Hadoop内存需求量及Namenode内存使用详解学习笔记

第118讲：Hadoop内存需求量及Namenode内存使用详解学习笔记本期内容：1.hadoop的内存使用2.namenode内存使用详解namenode内存大小涉及到集群的规模。hadoop默认为每一个终端分配1GBm内存hadoop2.6.0中mapper和reducer都叫yarn child。具体在worker上运行的map和reduc任务个数取决于cpu个数

2015-10-25 21:32:50 6120

原创第117讲：Hadoop集群之安装IP配置、Slaves、namenode和secondarynamenode的配置学习笔记

第117讲：Hadoop集群之安装IP配置、Slaves、namenode和secondarynamenode的配置学习笔记1.IP配置每台机器上要有所有机器的IP:/etc/hosts中配置hostname在/etc/hostname中配置2.slaves配置记录运行datanode的节点hadoop目录下的etc/hadoop下有一个slaves文件一方面hdfs中

2015-10-14 21:54:49 3504

原创第116讲：Hadoop集群之安装Java、创建Hadoop用户、配置SSH等实战学习笔记

第116讲：Hadoop集群之安装Java、创建Hadoop用户、配置SSH等实战学习笔记本期内容：1.安装java2.创建hadoop用户3.配置ssh4.实战演示 1.安装java建议使用java最新版本java-1.8.0_60 64位下载到linux下解压即可。配置JAVA_HOME，PATH 2.创建hadoop用户建议创建hadoop

2015-10-13 21:38:28 509

原创第115讲：Hadoop集群构建硬件选择、集群规模、网络拓扑、机架感知等学习笔记

第115讲：Hadoop集群构建硬件选择、集群规模、网络拓扑、机架感知等学习笔记本期内容：1.hadoop商业硬件的选择2.hadoop集群规模建议3.hadoop网络拓扑结构4.机架感知 1.hadoop商业硬件的选择hadoop可以运行在普通的硬件上。但hadoop运行时对内存和CPU有要求。普通的硬件不等于非常低端的硬件。8个CPU4Core2.5GHz,16

2015-10-12 22:24:49 1576

原创第114讲：Hadoop集群安装解析学习笔记

第114讲：Hadoop集群安装解析学习笔记windows下安装vmware,vmware下安装ubuntu虚拟机。1.安装java2.ssh免密码3.下载hadoop-2.6.0并解压4.配置hadoop推荐：1.电脑内存最少8G2.linux最好用ubuntu/Centos3.虚拟机单机最少2G内存 apache hadoop官网上的安装说明：h

2015-10-10 22:18:50 780

原创第113讲：10分钟从技术角度理解Hadoop学习笔记

第113讲：10分钟从技术角度理解Hadoop学习笔记本讲内容：1.HDFS2.YARN3.MapReduceHDFS使用hadoop完成了分布式存储YARN是作集群资源管理和调试的。运行在hadoop上的程序如何使用内存和CPU是由YARN管理的。MapReduce由Mapper把大任务分成任务的子集，计算完成后再由reducer把任务的子集reduce成需要的结果。

2015-10-09 22:19:01 790

原创第112讲：为什么会有第一代大数据技术Hadoop和第二代大数据技术Spark？学习笔记

第112讲：为什么会有第一代大数据技术Hadoop和第二代大数据技术Spark？学习笔记本讲开始hadoop深入浅出实战经典部分本讲内容：1.第一代大数据技术Hadoop2.第二代大数据技术Spark hadoop开启了人们大规模普及化使用大数据的历史阶段。但hadoop在计算方面有问题，所以更多用spark来做大数据计算。大数据要解决的三大核心问题：存储、多种计算

2015-10-08 23:01:47 2410