CentOS7环境下搭建Hadoop集群教程

最新推荐文章于 2024-07-13 17:43:40 发布
最新推荐文章于 2024-07-13 17:43:40 发布
阅读量1.2k 收藏 3
点赞数
分类专栏： 数据科学 文章标签： 大数据 hadoop zookeeper hive linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/HAHAJustin/article/details/103761377
版权

文章目录

系统环境

CentOS7-64位:
master: 192.168.10.100 hadoop100
worker1: 192.168.10.101 hadoop101
worker2: 192.168.10.102 hadoop102

所需软件

VMware Workstation Pro 12
CentOS-7-x86_64-Minimal-1810.iso
PuTTY
WinSCP
JDK-1.8
MySQL-8.0
Scala-2.13.1
Hadoop-3.2.1
zookeeper-3.4.14
Hbase-2.2.2
Hive-3.1.2

搭建步骤

1.虚拟机环境搭建

1.1虚拟机安装

从CentOS官方网站下载系统的镜像文件(.iso)，在VMware中进行虚拟机安装。首先应该将CentOS7系统安装好，配置虚拟机硬件时需要注意合理配置内存以及硬盘大小。配置完成后则可以进行安装，基本步骤为配置系统的时间，选择打开网络开关，选择系统文件安装的位置，设置root用户的密码以及创建新用户。配置完成后，等待安装完成后重启即可。安装过程即创建用户过程（简述）如下：
在这里插入图片描述
注意：网络适配器选择为NAT模式。

打开网络开关：
在这里插入图片描述
创建用户：
在这里插入图片描述
注意：勾选给予用户管理员权限。（也可以安装完成后为用户添加sudo权限。usermod -aG wheel 用户名）

1.2克隆虚拟机

(也可以将主机所有配置配置完成后再克隆从机，这样更简单)

以master为模板克隆两台虚拟机作为集群中worker1，worker2。
在这里插入图片描述

1.3修改虚拟机静态IP

进入网卡配置文件所在目录，使用ls命令查看配置文件名，再利用vi编辑器对文件进行修改。重点注意BOOTPROTO、ONBOOT、IP地址和网关。（vi编辑器使用命令略）

cd /etc/sysconfig/network-scripts
ls
vi ifcfg-ens33

在这里插入图片描述
修改前：
在这里插入图片描述
修改后：
在这里插入图片描述
注意：可以使用service network restart 命令使修改生效，也可以重启。

1.4修改主机名

进入主机名所在目录，使用vi编辑器对主机名进行修改。

vi /etc/hostname

注意：重启生效。

1.5关闭防火墙及绑定IP

CentOS 7默认使用的是firewall作为防火墙,首先查看防火墙状态，使用命令关闭防火墙，再禁止firewall开机启动。

firewall-cmd --state
systemctl stop firewalld.service
systemctl disable firewalld.service

在这里插入图片描述
进入hosts所在目录，使用vi编辑器对各台机进行IP与主机名的绑定。

vi /etc/hosts
在这里插入图片描述
注意：修改完成后利用ping命令检测各台虚拟机之间的连通性。

连通性效果检测：

在这里插入图片描述

2.JDK的安装与配置

使用Putty连接虚拟机，用justin账户登录开始进行集群搭建。为系统更简洁明了，在~（/home/justin）路径下创建java文件夹，用于存放JDK文件。

cd ~
mkdir java

使用WinSCP登录虚拟机，将JDK文件复制到/home/justin/java路径下。
在这里插入图片描述
进入文件所在目录，进行解压安装并重命名。

cd /home/justin/java
tar -zxvf jdk-8u181-linux-x64.tar.gz
mv /home/justin/java/jdk1.8.0_181 /home/justin/java/jdk1.8.0_181-amd64

接着需要配置JAVA环境变量。利用vi编辑器对/etc/profile进行修改。（修改系统配置文件需要使用sudo权限）

sudo vi /etc/profile
在这里插入图片描述
注意：重启生效也可使用命令（source /etc/profile）立即生效。

最后输入命令（java -version）查看配置是否成功。若出现如下图所示版本号等则表示配置成功。集群中其他机器的配置也与此相同。
在这里插入图片描述

3.MYSQL的安装与配置

3.1下载与安装

首先创建mysql文件夹，然后在网上找到对应版本软件包的下载地址，利用curl命令进行下载，最后用yum命令进行安装（这里需要sudo权限）。

cd ~
mkdir mysql
cd mysql
curl -O http://repo.mysql.com/mysql80-community-release-el7-1.noarch.rpm
sudo yum -y localinstall mysql80-community-release-el7-1.noarch.rpm
sudo yum -y update
sudo yum -y install mysql-community-server
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3.2启动及配置

首先启动mysql。

systemctl start mysqld

查看root临时密码。（这里需要sudo权限）

sudo grep ‘temporary password’ /var/log/mysqld.log

在这里插入图片描述
注意：如图所示可知root临时密码为 &he!af*(3veL 。如果没有返回任何结果，表示密码为“空”。

登录mysql，设置新密码（Hadoop@123），接着创建新账户（hadoop）。

mysql -u root -p
ALTER USER ‘root’@‘localhost’ IDENTIFIED BY ‘Hadoop@123’;
CREATE USER ‘hadoop’@‘localhost’ IDENTIFIED BY ‘Hadoop@123’;
CREATE USER ‘hadoop’@’%’ IDENTIFIED BY ‘Hadoop@123’;
在这里插入图片描述
注意：mysql中操作语句需要“ ；”。

注意：使用SELECT user FROM mysql.user; 查看添加用户是否成功。
在这里插入图片描述
授予新账户权限。并使用（FLUSH PRIVILEGES;）命令刷新权限。

GRANT ALL ON . TO ‘hadoop’@‘localhost’;
GRANT ALL ON . TO ‘hadoop’@’%’;
在这里插入图片描述

4.SSH免密钥登录

主机master创建密钥并传送给其他的从机（worker1、worker2）。

ssh-keygen -t rsa
ssh-copy-id justin@hadoop101
ssh-copy-id root@hadoop101
ssh-copy-id justin@hadoop102
ssh-copy-id root@hadoop102

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

注意：需要输入从机账户的密码。

测试SSH免密钥登录是否成功。（以hadoop102为例）

ssh justin@hadoop102
ssh root@hadoop102
在这里插入图片描述

5.Hadoop的安装与配置

5.1下载与解压安装

在网上找到hadoop-3.2.1的下载地址，利用curl命令进行下载并解压安装。(也可以直接下载安装包，用WinSCP传送到指定目录)。为节约磁盘空间，使用rm命令将安装包删除。

cd ~
curl -O https://www-us.apache.org/dist/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz
tar -zvxf hadoop-3.2.1.tar.gz
rm -f hadoop-3.2.1.tar.gz
在这里插入图片描述
在这里插入图片描述

5.2目录规划

为方便操作，先将文件夹（hadoop-3.2.1）重命名，再进入该文件夹，按照主程序，集群数据，文件系统元数据，真正的数据，日志信息，临时文件的顺序依次创建相应的文件夹。

mv hadoop-3.2.1 /home/justin/hadoop3.2
cd /home/justin/hadoop3.2
mkdir /home/justin/hadoop3.2/hdfs
mkdir /home/justin/hadoop3.2/hdfs/name
mkdir /home/justin/hadoop3.2/hdfs/data
mkdir /home/justin/hadoop3.2/logs
mkdir /home/justin/hadoop3.2/yarnLogs
mkdir /home/justin/hadoop3.2/tmp
在这里插入图片描述

5.3环境配置

（1）进入系统目录配置环境变量。（需要sudo权限）

sudo vi /etc/profile
在这里插入图片描述
注意：重启生效也可使用命令（source /etc/profile）立即生效。

测试hadoop是否配置成功：
在这里插入图片描述

（2）修改Hadoop配置文件，修改hadoop-env.sh, yarn-env.sh, mapred-env.sh，分别插入下列代码。

cd $HADOOP_HOME/etc/hadoop
vi $HADOOP_HOME/etc/hadoop/hadoop-env.sh
在这里插入图片描述
vi $HADOOP_HOME/etc/hadoop/yarn-env.sh
在这里插入图片描述
vi $HADOOP_HOME/etc/hadoop/mapred-env.sh
在这里插入图片描述
（3）修改workers
vi $HADOOP_HOME/etc/hadoop/workers
在这里插入图片描述

（4）配置core-site.xml
vi $HADOOP_HOME/etc/hadoop/core-site.xml
在这里插入图片描述
（5）配置hdfs-site.xml
vi $HADOOP_HOME/etc/hadoop/hdfs-site.xml
在这里插入图片描述
（6）配置mapred-site.xml
vi $HADOOP_HOME/etc/hadoop/mapred-site.xml
在这里插入图片描述
（7）配置yarn-site.xml
vi $HADOOP_HOME/etc/hadoop/yarn-site.xml
在这里插入图片描述

5.4集群测试

由于之前已经完成了SSH免密登录，所以可以将主机（hadoop100）的hadoop利用scp命令传送到各台从机上（hadoop101、hadoop102）。

scp -r /home/justin/hadoop3.2 hadoop101:~/
scp -r /home/justin/hadoop3.2 hadoop102:~/
在这里插入图片描述
传送完毕，登录hadoop102查看目录下是否产生文件。
在这里插入图片描述
注意：第一次运行hadoop需要用命令对hdfs进行初始化。

hdfs namenode -format
start-all.sh

注意：若不成功检查具体出错原因。1.是环境变量配置有误，2.免密没有做好需要重新做免密（主机自己也可以和自己做免密）。3.修改文件夹权限（chmod 777 -R /home/justin/hadoop3.2/logs）。
集群运行成功如图所示：
在这里插入图片描述
在这里插入图片描述

6.Zookeeper的安装与配置

6.1下载安装与配置

注意：zookeeper集群有个特点,半数以上节点存活整个集群就能正常提供服务。通常集群数量设置为奇数个。

在网上找到zookeeper-3.4.14的下载地址，利用curl命令进行下载并解压安装。(也可以直接下载安装包，用WinSCP传送到指定目录)。为节约磁盘空间，使用rm命令将安装包删除。最后在文件夹中创建相应的文件夹。

cd ~
curl -O https://www-us.apache.org/dist/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz
tar -xzvf zookeeper-3.4.14.tar.gz
rm -rf zookeeper-3.4.14.tar.gz
cd zookeeper-3.4.14
mkdir data
mkdir logs
在这里插入图片描述
在这里插入图片描述
（1）进入系统目录配置环境变量。（需要sudo权限）

sudo vi /etc/profile
在这里插入图片描述
注意：重启生效也可使用命令（source /etc/profile）立即生效。

（2）配置zookeeper相关环境文件：

vi conf/zoo.cfg
在这里插入图片描述
注意：各台机对应的服务器id号要记好，之后配置时需要声明。

（3）利用scp命令将zookeeper传送的其他从机上。

scp -r $ZOOKEEPER justin@hadoop101:/home/justin/zookeeper-3.4.14
scp -r $ZOOKEEPER justin@hadoop102:/home/justin/zookeeper-3.4.14
在这里插入图片描述
（4）配置主机id
进入zookeeper中data文件夹，声明自己的主机id。

注意：id号要与配置文件中的相同。
注意：配置完成后可用命令（cat myid）查看是否会返回自己的id号。

cd ~/zookeeper-3.4.14/data
echo “1” > myid
在这里插入图片描述

6.2从机配置

注意：从机也需要配置/etc/profile中的环境变量（也可以用scp命令从主机传送过来，传送后同样需要source /etc/profile）。

scp -r /etc/profile root@hadoop101:/etc/profile
scp -r /etc/profile root@hadoop102:/etc/profile

各台从机设置在配置文件中声明的相应id号。

cd ~/zookeeper-3.4.14/data

hadoop101（worker1）：

echo “2” > myid*
在这里插入图片描述
hadoop102（worker2）：

echo “3” > myid
在这里插入图片描述

6.3集群测试

注意：zookeeper选择leader的模式简单概括为“少数服从多数”，具体可网上查阅资料。

基本命令：

zkServer.sh start #启动
zkServer.sh stop #停止
zkServer.sh status #查询节点状态
在这里插入图片描述

7.Scala的安装与配置

在网上找到scala-2.13.1的下载地址，利用curl命令进行下载并解压安装。(也可以直接下载安装包，用WinSCP传送到指定目录)。为节约磁盘空间，使用rm命令将安装包删除。

cd ~
curl -O https://downloads.lightbend.com/scala/2.13.1/scala-2.13.1.tgz
tar -zxvf scala-2.13.1.tgz
rm -f scala-2.13.1.tgz
在这里插入图片描述
进入系统目录配置环境变量。（需要sudo权限）

sudo vi /etc/profile
在这里插入图片描述
注意：重启生效也可使用命令（source /etc/profile）立即生效。

执行scala命令，输出以下信息，表示安装成功：
在这里插入图片描述
利用scp命令将scala传送的其他从机上。

scp -r ~/scala-2.13.1 justin@hadoop101:~/scala-2.13.1
scp -r ~/scala-2.13.1 justin@hadoop102:~/scala-2.13.1
在这里插入图片描述
注意：从机也需要配置/etc/profile中的环境变量（也可以用scp命令从主机传送过来，传送后同样需要source /etc/profile）。

scp -r /etc/profile root@hadoop101:/etc/profile
scp -r /etc/profile root@hadoop102:/etc/profile

从机成功运行：
在这里插入图片描述

8.HBase的安装与配置

8.1下载及安装

在网上找到HBase-2.2.2的下载地址，利用curl命令进行下载并解压安装。(也可以直接下载安装包，用WinSCP传送到指定目录)。为节约磁盘空间，使用rm命令将安装包删除。

cd ~
curl -O https://www-eu.apache.org/dist/hbase/2.2.2/hbase-2.2.2-bin.tar.gz
tar -zxvf hbase-2.2.2-bin.tar.gz
rm -rf hbase-2.2.2-bin.tar.gz

在这里插入图片描述

8.2环境配置

（1）进入系统目录配置环境变量。（需要sudo权限）

sudo vi /etc/profile
在这里插入图片描述
注意：重启生效也可使用命令（source /etc/profile）立即生效。

（2）配置hbase-env.sh

vi $HBASE_HOME/conf/hbase-env.sh
在这里插入图片描述
注意：其实HBase里面自带了一个zookeeper，而HBASE_MANAGES_ZK的值就是是否使用这个自带的zookeeper，很显然这里要使用自己的zookeeper，所以修改为false。

（3）配置hbase-site.xml

vi $HBASE_HOME/conf/hbase-site.xml
在这里插入图片描述
（4）配置regionservers
删除locahost，添加所有hbase从节点的主机名。

vi $HBASE_HOME/conf/regionservers
在这里插入图片描述
（5）利用scp命令将HBase传送的其他从机上。

scp -r $HBASE_HOME justin@hadoop101:/home/justin/hbase-2.2.2
scp -r $HBASE_HOME justin@hadoop102:/home/justin/hbase-2.2.2
在这里插入图片描述

8.3集群测试

注意：从机也需要配置/etc/profile中的环境变量（也可以用scp命令从主机传送过来，传送后同样需要source /etc/profile）。

scp -r /etc/profile root@hadoop101:/etc/profile
scp -r /etc/profile root@hadoop102:/etc/profile

注意：确保hadoop，zookeeper已经正常启动的情况下才能启动HBase。

启动hbase：

start-hbase.sh
在这里插入图片描述
其他参考命令

start-all.sh #启动hadoop
zkServer.sh start #启动zookeeper
zkServer.sh status #查看zookeeper状态
hbase-daemon.sh start regionserver # start HBase Region Serve
hbase-daemon.sh stop regionserver # stop HBase Region Serve

9.Hive的安装与配置

9.1Hive安装及配置

在网上找到Hive-3.1.2的下载地址，利用curl命令进行下载并解压安装。(也可以直接下载安装包，用WinSCP传送到指定目录)。为节约磁盘空间，使用rm命令将安装包删除。

cd ~
curl -O https://www-eu.apache.org/dist/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz
tar -zxvf apache-hive-3.1.2-bin.tar.gz
rm -f apache-hive-3.1.2-bin.tar.gz
在这里插入图片描述
（1）为方便操作，先将文件夹（apache-hive-3.1.2-bin）重命名。

mv apache-hive-3.1.2-bin hive3.1
在这里插入图片描述
（2）进入系统目录配置环境变量。（需要sudo权限）

sudo vi /etc/profile
在这里插入图片描述
注意：重启生效也可使用命令（source /etc/profile）立即生效。

（3）配置hive-env.sh
进入conf目录，配置hive-env.sh。

cd $HIVE_HOME/conf
vi hive-env.sh
在这里插入图片描述

（4）配置hive-site.xml
首先创建tmp文件夹，然后配置hive-site.xml。

mkdir $HIVE_HOME/tmp
vi hive-site.xml
在这里插入图片描述
（5）配置hive-log4j2.properties。
首先创建logs文件夹，然后配置hive-log4j2.properties（由hive-log4j2.properties.template复制而来）。

mkdir $HIVE_HOME/logs
cd $HIVE_HOME/conf
cp hive-log4j2.properties.template hive-log4j2.properties
vi hive-log4j2.properties

注意：修改一处。（property.hive.log.dir = $HIVE_HOME/logs）
在这里插入图片描述

9.2MySQL配置

（1）下载MySQL驱动到lib目录下

cd $HIVE_HOME/lib
curl -O -L http://central.maven.org/maven2/mysql/mysql-connector-java/8.0.17/mysql-connector-java-8.0.17.jar
在这里插入图片描述
注意：curl -L参数会让HTTP请求跟随服务器的重定向。curl默认不跟随重定向。

（2）登录MySQL（root账号），创建Hive账户并授予权限，最后刷新权限。

mysql -u root -p
CREATE USER ‘hive’@‘localhost’ IDENTIFIED BY ‘Hive@123’;
CREATE USER ‘hive’@’%’ IDENTIFIED BY ‘Hive@123’;
GRANT ALL ON . TO ‘hive’@‘localhost’;
GRANT ALL ON . TO ‘hive’@’%’;
FLUSH PRIVILEGES;
在这里插入图片描述
注意：mysql中操作语句需要“ ；”。

（3）登录Hive账户

mysql -u hive --password=Hive@123
create database hiveDB;
SHOW DATABASES;
在这里插入图片描述
在这里插入图片描述

9.3Hive初始化及启动

初始化，执行下面命令：

schematool -dbType mysql -initSchema

注意：Hive只要在一台hadoop集群的服务器上安装即可。
注意：启动Hive之前要保证hadoop已经正常启动
在这里插入图片描述
注意：运行出现上图问题，是因为找到了两处jar包，分别是在Hadoop和Hive的安装目录。错误原因是guava.jar包在两个位置版本不同。解决办法为对比两个目录下的jar包，删除版本较低的jar包，用高版本的替代。（可以使用WinSCP可视化操作更简单）
在这里插入图片描述

Hive成功运行：
在这里插入图片描述
注意：mysql服务器需要启动。
注意：hdfs需要初始化。
注意：hive需要初拟化。

HAHAJustin
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
CentOS7 hadoop集群搭建
qq_41103051的博客
09-13 1723
CentOS7 hadoop集群搭建
大数据平台搭建——hadoop集群（基于CentOS-7）的搭建_基于centos hadoop搭建
2401_84182271的博客
05-07 883
本次hadoop集群搭建的虚拟机采用的软件为VMware Workstation Pro，用的镜像文件为CentOS-7，此篇文章是为自己准备大数据比赛中的大数据平台搭建部分所写，故只针对搭建hadoop集群搭建的部分进行概述，前绪工作包括虚拟机的搭建读者可以阅读下面的文章自行进行安装。后，修改和增加相关配置，修改和增加的内容为下图1中红色框的内容。图1：（注：可能读者在操作时有些配置和此图片不一样，读者要统一成和此图片一致，除红框中的信息要根据自己计算机的地址信息来修改）
CentOS7搭建hadoop集群
热门推荐
浩瀚蓝天dep的博客
12-12 1万+
说明： 1.准备三台虚拟机，参考：CentOS7集群环境搭建(以3台为例) 2.配置虚拟机间免密登陆：参考：CentOS7集群配置免密登录 3.虚拟机分别安装jdk：参考：CentOS7集群安装JDK1.8 准备开始搭建hadoop集群，以下操作在第一台机器node1执行： 1.上传并解压hadoop安装包 1.1上传安装包到/develop/software mkdir -p /develop/software mkdir -p /devel...
VMware+centos7搭建hadoop集群
weixin_58183116的博客
08-23 2515
centos7搭建hadoop集群
CentOS7安装Hadoop集群完整步骤
weixin_55076626的博客
05-26 1万+
1. 安装3台centos7服务器 1.1.配置名字hadoop01\hadoop02\hadoop03 hostnamectl set-hostname hadoop01 hostnamectl set-hostname hadoop02 hostnamectl set-hostname hadoop03 1.2.修改hosts文件 vi /etc/hosts 文件末尾添加以下内容： hadoop01的ip地址 hadoop01 hadoop02的ip地址 hadoop02 ha
CentOS7搭建Hadoop集群(V3.3.4)
Button的博客
01-29 2491
hadoop集群搭建
超详细版本|Linux Centos7从零搭建Hadoop集群及运行MapReduce分布式集群案例(全网最详细教程！)
未来社会二十年发展的核心技术趋势由ABCD四个字母组成，分别是AI（人工智能）、BlockChain（区块链）、Cloud（云）、和Data（大数据）每一次进步都有新的认知和感触
11-20 8724
花了快2小时的超详细版本的Linux从零搭建Hadoop集群(CentOS7+hadoop 3.2.0+JDK1.8+Mapreduce完全分布式集群案例+详细源码图文讲解)终于整理完成了！里面有详细的代码讲解及图文操作，能够更好的帮助大家搭建，希望此教程对各位有所帮助，这些都已经试过水了，各位环境配置和操作没问题的话，基本都能部署完成，我这里部署了一个从机node1节点，可以根据自己需要增加3台或者更多node节点，节点配置信息修改的操作都是一样的。祝各位部署一切顺利！
centos7搭建hadoop集群（超详细）
weixin_45779793的博客
04-16 3082
centos7搭建hadoop集群（超详细） 前提： 第一部分： 1.centos7安装虚拟机的文章链接: https://www.runoob.com/w3cnote/vmware-install-centos7.html. 2.需要三台及以上虚拟机，并保证能通网 3.三台都需要ping网试一下 4.在三台机器的/etc/hosts中添加ip和名称（三台机器都需要） 第二部分：给三台虚拟机配置ssh密钥 1.1：生成文件，红色箭头处需要敲一次空格 1.2：查看生成的文件 三台机器都需要操作1.1
CentOS7安装Hadoop集群
最新发布
清徐柳的博客
07-13 812
Centos7部署Hadoop3.3.6以及Hive3.1.3
centos7上搭建hadoop3集群
jyyy1990的博客
03-30 3481
准备工作： 本人是在本地Windows电脑用虚拟机开了3个centos7，模拟集群状态。 所有操作都是在root用户，用其他账号可能会带来问题，建议先在root用户操作，搭建完成没问题了可以用其他账户试试。 一、安装jdk hadoop3最低需要jdk8，所以需要先在每个节点上安装jdk8，下载-解压-配置环境变量，这里不再多说，只要保证最后java -version能运行出来就行，3台机子都要装好。 二、配置机器名称 我的机子：10.0.2.4是node1(master)，10.0.2.15是
CentOS7搭建Hadoop集群
01-07
2.JDK环境 3.修改主机名称 hostnamectl set-hostname node-1 vi /etc/hosts 192.168.25.111 node-1 192.168.25.112 node-2 192.168.25.113 node-3 4.SSH免密登录 ssh-keygen ssh-copy-id node-1 2. 配置文件 2.1 ...
centos6.8搭建hadoop集群
01-07
1.准备一台干净的centos6.8虚拟机 2.关闭防火墙 1.临时关闭防火墙 service iptables stop 2.关闭防火墙自启动 chkconfig iptables off 3.查看防火墙状态 service iptables status 3.设置静态ip vim /etc/...
基于centos的大数据hadoop集群搭建说明文档
10-30
基于CentOS搭建Hadoop集群是常见的实践，下面将逐步指导你完成这一过程。 **1. 准备工作** 在开始搭建之前，你需要准备以下软件和环境： - VMware Workstation：用于创建虚拟机环境 - CentOS-6.9-x86_64-bin-DVD1....
非常详细的centos7.0下Hadoop2.7.1集群搭建教程
09-26
非常详细的centos7.0下Hadoop2.7.1集群搭建教程，内附自己的解决办法和提示
hadoop2.7.2集群_centos7 环境搭建
09-15
2. **多台服务器**: 搭建Hadoop集群通常需要至少三台机器，一台作为NameNode（主节点），一台作为DataNode（数据节点），另一台用作Secondary NameNode或额外的DataNode。 **JDK 8u144安装** 1. 更新系统：`sudo ...
基于K-Means的银行客户数据集分析与处理
HAHAJustin的博客
11-26 1万+
关于银行数据的分析与处理，数据集来自www.kaggle.com 数据分析 选择K-means聚类算法来处理数据，得出相关结论。 K-means算法简述： K-Means的算法如下： 1、 随机在图中取K（这里K=2）个种子点。 2、 然后对图中的所有点求到这K个种子点的距离，假如点Pi离种子点Si最近，那么Pi属于Si点群。（上图中，我们可以看到A，B属于上面的种子点，C，D，E属于下面中...
基于卷积神经网络的验证码识别(准确率87.5%+)
HAHAJustin的博客
05-16 1万+
目录一、任务背景与目标概述二、卷积神经网络简介三、方案设计及实现过程四、实验结果及分析与讨论五、结论实现代码 一、任务背景与目标概述 随着现代网络技术的飞速发展和提高，改善了我们的生活质量，同时也给生活带来了很多便利，但随之而来的还有许多问题，例如日益严重的网络安全问题。在学习了人工神经网络的这门课之后，结合本科阶段所学习的网络安全相关知识，决定完成一个基于卷积神经网络的验证码识别程序。在进行渗透测试时，发现网站或者CMS后台后可以进行爆破。账户名和密码可以用常用字符组成字典进行暴力破解，但安全性稍高的网站
基于线性判别分析（LDA）的客户流失预测
HAHAJustin的博客
06-01 1528
线性判别分析简述： 线性判别分析（Linear Discriminant Analysis, 简称LDA）是一个经典的降维算法。LDA在模式识别领域（比如人脸识别，舰艇识别等图形图像识别领域）中有非常广泛的应用。它与PCA（主成分分析）有一定的相似性。常见的LDA其实有两种，在NLP（自然语言处理）领域中LDA是隐含狄利克雷分布（Latent Dirichlet Allocation，简称LDA），是一种处理文档的主题模型。 LDA的个人理解为：将数据在低维度上进行投影，投影后希望每类别数据的投影点尽可能的
CentOS虚拟机中搭建Hadoop集群教程
"Hadoop集群搭建详细简明教程.pdf 是一份关于如何在Linux环境中使用vmware搭建Hadoop集群的教程。教程中详细介绍了从安装Linux操作系统到配置Hadoop集群的整个过程，包括所需软件、部署节点设定以及虚拟机的创建和...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值