2017年10月_padluo

原创 Hadoop实战（7）_Apache Hadoop安装和配置Hue

系列目录：Hadoop实战（1）_阿里云搭建Hadoop2.x的伪分布式环境Hadoop实战（2）_虚拟机搭建Hadoop的全分布模式Hadoop实战（3）_虚拟机搭建CDH的全分布模式Hadoop实战（4）_Hadoop的集群管理和资源分配Hadoop实战（5）_Hadoop的运维经验Hadoop实战（6）_搭建Apache Hadoop的Eclipse开发环境配置Hue的主要步骤：安装所需的r

2017-10-31 23:45:05 968

原创 Hadoop实战（6）_搭建Apache Hadoop的Eclipse开发环境

系列目录：Hadoop实战（1）_阿里云搭建Hadoop2.x的伪分布式环境Hadoop实战（2）_虚拟机搭建Hadoop的全分布模式Hadoop实战（3）_虚拟机搭建CDH的全分布模式Hadoop实战（4）_Hadoop的集群管理和资源分配Hadoop实战（5）_Hadoop的运维经验Hadoop插件的安装配置1、hadoop-eclipse-plugin-2.4.1.jar插件放到Eclipse

2017-10-30 11:23:58 1002

原创 Hadoop实战（5）_Hadoop的运维经验

系列目录：Hadoop实战（1）_阿里云搭建Hadoop2.x的伪分布式环境Hadoop实战（2）_虚拟机搭建Hadoop的全分布模式Hadoop实战（3）_虚拟机搭建CDH的全分布模式Hadoop实战（4）_Hadoop的集群管理和资源分配Cloudera Manager如何卸载卸载CM Serversh /usr/share/cmf/uninstall-cloudera-manager.shr

2017-10-29 12:22:09 1204

原创 Hadoop实战（4）_Hadoop的集群管理和资源分配

系列目录：Hadoop实战（1）_阿里云搭建Hadoop2.x的伪分布式环境Hadoop实战（2）_虚拟机搭建Hadoop的全分布模式Hadoop实战（3）_虚拟机搭建CDH的全分布模式DataNode数据目录如果有多个挂载点，可以有多个DataNode数据目录。目前服务器硬件，标准小型机配置：32核、64G(128G)、64T(4T*16盘SAS盘)。通常为了提升磁盘吞吐量，每个盘单独挂载。/da

2017-10-26 19:59:07 5577

原创 Hadoop实战（3）_虚拟机搭建CDH的全分布模式

系列目录：Hadoop实战（1）_阿里云搭建Hadoop2.x的伪分布式环境Hadoop实战（2）_虚拟机搭建Hadoop的全分布模式建立Linux虚拟机(全节点)客户机操作系统：rhel-server-6.5-x86_64。网络连接：NAT模式。Connecet automaticcally：打勾。不会随宿主机网段变化发生IP变化。 hostname Address Netmask

2017-10-24 21:06:31 1049

原创 Hadoop实战（2）_虚拟机搭建Hadoop的全分布模式

建立Linux虚拟机(全节点)客户机操作系统：CentOS-6.5-x86_64。网络连接：host-only。Connecet automaticcally：打勾。 hostname Address Netmask Gateway hadoopmaster 192.168.169.100 255.255.255.0 hadoopslave1 192.168.

2017-10-23 19:27:31 771

原创 Hadoop实战（1）_阿里云搭建Hadoop2.x的伪分布式环境

环境：阿里云服务器 CentOS 7 x86_64安装介质：jdk-7u75-linux-i586.tar.gz，hadoop-2.4.1.tar.gz安装jdktar -zxvf jdk-7u75-linux-i586.tar.gz配置环境变量：# vi .bash_profileJAVA_HOME=/root/training/jdk1.7.0_75export JAVA_HOMEPATH=$

2017-10-14 20:56:00 2837

分享数据科学家的自我修养