OPM的博客

        因为是用虚拟机实现Hadioop环境搭建，所以主要使用VMware来完成。主要写一下VMware的安装和Xshell连接问题。一、VMware虚拟机安装        我这里选择的是VMware Workstation Pro 15 官方中文版，官网上有最新的两个版本的下载链接，各种博客也有注册码。要注意的网上的注册码和注册机基本都是针对Pro 15的版本，最开始安装的是普...

       因为使用RPM在Linux虚拟机中安装软件会让软件包之间存在依赖和关联，为解决这一缺点可以使用yum来安装软件。       具体背景不做介绍了，这个是yum的搜狗百科：https://baike.sogou.com/v777399.htm?fromTitle=YUM       yum的命令格式和参数这里就不做介绍了，以下是具体流程执行指令：cd /etc/yum.re...

这部分不是重点内容，直接记录操作了配置SSH免密码登陆部分一、使用ssh-keygen产生公钥和私钥对[root@master ~]# ssh-keygen -t rsa按三次回车生成私有密钥二、ssh-copy-id将公钥复制到远程机器[root@master ~]# ssh-copy-id -i /root/.ssh/id_rsa.pub master[ro...

这一步主要是在windows系统和Linux虚拟机上安装JAVA环境。一、windows下安装JDK网上教程很多（后期补链接）二、Linux下安装JDKXshell连接CentOS虚拟机，Ctrl+Alt+F进入文件传输框（Xshell6和xftp可能有一段时间的试用期，目前还不确定）xshell6下载：链接：https://pan.baidu.com/s/...

这算是核心部分了，首先下载hadoop-2.6.4.tar.gz源文件，放入/opt目录下指令：# tar -zxf hadoop-2.6.4.tar.gz -C /usr/local解压到/usr/local目录，依次修改/usr/local/hadoop-2.6.4/etc/hadoop目录下的配置文件一[root@master hadoop]# vi core-site.xm...

    这段时间的主要任务是完成毕设的课题：基于Hadoop的好友推荐系统。以前没有这方面的接触，所以只算是初体验。    目前主要任务是搭建Hadoop集群环境，数据库的导入，系统的设计三个方面。以后会对这三个阶段做具体记录，初定任务时长一个月。...

之前已经在主节点修改完集群的相关文件，这里要格式化NameNode在四个节点上修改/etc/profile文件在文件末尾添加export HADOOP_HOME=/usr/local/hadoop-2.6.4export PATH=$HADOOP_HOME/bin/$PATH:/usr/java/jdk1.8.0_201/bin执行指令：source /etc/profile来...

之前已经把Hadoop环境搭建出来了，很遗憾没有及时记录。通过反思，自己的写博客能力还有待提高，之后有时间会多写一些。我的搭建源文件在以下链接：https://pan.baidu.com/s/1JxzspImCSnVwJXVJ94E8pA 提取码：q8q7 。是从B站看到的资源，在安装Hive部分已经都运行成功了，可以进行使用。云盘中有具体步骤的博客。（这里搭建了一个主节点和三个...