Hadoop
文章平均质量分 67
shidan473414
这个作者很懒,什么都没留下…
展开
-
入门级Hadoop集群搭建详细教程(一):Linux虚拟机的创建
针对于初学者没有真实的集群来学习,但是我们可以通过虚拟机(Virtual Machine)创建多台虚拟的Linux系统来进行学习,每一台虚拟机看作一个节点,这样同样可以构建一个小集群,用于学习已经足够了。 1. 虚拟机的安装 本文选取虚拟机是Oracle公司的免费版 VM VirtualBox 5.1.16版本,具体的下载地址为:https://www.virtualbox原创 2017-03-22 16:32:20 · 940 阅读 · 0 评论 -
入门级Hadoop集群搭建详细教程(十):DNS服务器的搭建
DNS域名服务器配置0. 实验环境 虚拟机:VitrualBox 5.1.6 Linux系统:Centos 6.8 – minimal 虚拟机网络:使用桥接,路由器. DNS服务器IP地址:192.168.1.1201. DNS服务器的安装 选择使用的DNS服务器是bind9,需要安装三个:bind、bind-原创 2017-03-22 17:29:09 · 1112 阅读 · 0 评论 -
入门级Hadoop集群搭建详细教程(八):JDK、Tomcat的安装
1.JDK的安装 1.下载jdk安装包,选择Linux版本的。 2.将jdk解压在指定目录。 tar -zxvf jdk-7u65-linux-i586.tar.gz -C apps/3. 配置环境变量 vi /etc/profileexport JAVA_HOME=/root/apps/j原创 2017-03-22 17:11:29 · 732 阅读 · 0 评论 -
入门级Hadoop集群搭建详细教程(七):SSH免密码登陆
配置SSH免密码登录 第一步:生成密钥对 ssh-keygen –t rsa (默认使用rsa算法) 第二步:将自己的公钥拷贝到目标主机的authorized_keys 中,该文件位于在创建密钥对的.ssh 目录下,如果不存在可以手动创建。通过一下两种方式进行文件拷贝:原创 2017-03-22 17:09:46 · 391 阅读 · 0 评论 -
入门级Hadoop集群搭建详细教程(六):yum本地仓库与远程仓库配置
下载的Centos安装镜像文件中其实已经自带了很多的安装包,只是在minimal安装模式下并没有安装而已。因此,在无网络的情形下,安装一些常用的库,可以建立本地yum源进行直接获取安装包。yum本地源的使用有两种方式: (1) 每一台机器都配置一个本地文件系统上的yum仓库 (2)在局域网内配置一台节点的本地文件系统yum仓库,然后将其发布到web服务器,其原创 2017-03-22 17:04:20 · 621 阅读 · 0 评论 -
入门级Hadoop集群搭建详细教程(五):mount命令挂载文件
挂载外部存储到文件系统mkdir /mnt/outsidedev 创建一个目录用来挂载mount –t iso9660 –o ro /dev/cdrom /mnt/outsidedev 将设备/dev/cdrom挂载到 挂载点 /mnt/outsidedev 中umount /mnt/outsidedev 用来卸载关于mount的具体常用参数如下:基本语法结构:mo原创 2017-03-22 17:01:49 · 1176 阅读 · 0 评论 -
入门级Hadoop集群搭建详细教程(四):Linux常用命令之系统管理
1. 基本命令hostname 查看主机名 hostname hadoop-pc 修改主机名(重启无效) vi /etc/sysconfig/network 修改主机名( 重启后永久有效) ifconfig eth0 192.168.12.22 修改ip地址( 重启无效) vi /etc/sysconfig/networ原创 2017-03-22 16:53:42 · 559 阅读 · 0 评论 -
入门级Hadoop集群搭建详细教程(三):Linux常用命令之用户、组和权限
如有相似之处,请与作者联系!!谢谢!!1. 添加用户、设置群组和密码(root权限)useradd user01 添加用户 user01usermod -g users user01 将用户user01 添加到users 群组。usermod -c "添加用户注释" user01 为user01添加描述信息useradd -g users -c "一步操作完成" use原创 2017-03-22 16:51:32 · 449 阅读 · 0 评论 -
入门级Hadoop集群搭建详细教程(二):Linux常用命令之文件操作
1. 切换到用户根目录(cd)cd 命令可以直接切换到当前用户根目录。例图如下:pwd 查看当前目录cd - 返回原来目录cd .. 返回到上级目录cd /home/dd171290/userDir 切换到userDir目录who 查看当前在线last查看最近的登陆历史记录2. 查看文件列表ls / 查看根目录文件列表ls –la -原创 2017-03-22 16:48:22 · 612 阅读 · 0 评论 -
入门级Hadoop集群搭建详细教程(十一):Hadoop集群的搭建
集群的节点使用虚拟机产生的,本文选择的是4个节点,即一个主节点和三个从节点。其中主节点(master)用于部署NameNode和ResourceManager,其余三个从节点(slave)用于部署DataNode和DataManager。节点的主机名称及对应的IP地址如下表所示:主机名ip地址节点作用sf-node1.hadoop原创 2017-03-22 17:31:51 · 951 阅读 · 0 评论