行为分析系统-震惊！一小伙竟然在centos7上搭建hadoop集群

最新推荐文章于 2023-04-11 07:30:00 发布
最新推荐文章于 2023-04-11 07:30:00 发布
阅读量232 收藏
点赞数
文章标签： 大数据
原文链接：https://blog.csdn.net/a_bcd_123/article/details/99934385#3.4%C2%A0%20%E8%AE%BE%E7%BD%AEssh%20%E6%97%A0%E5%AF%86%E7%A0%81%E7%99%BB%E5%BD%95
版权

 

目录

准备工作

vmware安装centos并配置ip地址

centos7开放端口

其他准备

接下来要安装jdk

安装hadoop2真分布式

配置hadoop-env.sh

配置core-site.xml 

配置hdfs-site.xml

配置yarn-site.xml----集群资源管理系统参数

配置mapred-site.xml----包括JobHistory Server 和应用程序参数两部分，如reduce任务的默认个数、任务所能够使用内存的默认上下限等

复制Hadoop配置好的包到其他Linux主机

停止启动

查看hdfs的页面

查看 YARN Web页面

来一个mapReduce任务

玩转控制台

草...首先要有一个完全分布式的hadoop集群，所以此文跳到完全分布式hadoop集群的搭建，不过估计也就安装hadoop麻烦点吧，大概.....

准备工作

vmware安装centos并配置ip地址

首先准备3个虚拟机，centos7的，设置内存4G，磁盘20G，单文件存储，没有4G内存按喜好设，我也不知道会咋样

装好后网卡选择NAT模式，这样能公用主机网络，下载东西方便，然后查看你的虚拟网络编辑器下的nat模式，记下网关（实际就是入网路由器地址）, 子网掩码，后续有用。

顺便说下，我网关用的本机ipconfig的网关，子网掩码也是本机的子网掩码。

因为不论在家还是在公司都是都是局域网，所以本机ip基本不变，所以把3台虚拟机的ip地址也固定，em...顶多家里一套ip公司一套ip，记下脚本

cd etc/sysconfig/network-scripts/
vi ifcfg-ens33

#增加并修改如下
bootProtocal=static 原来是dhcp动态主机配置协议，dhcp服务器会给启动的主机随机分配ip，我们指定ip，所以改为static

onboot=yes 重启生效？

IPADDR=你的ip，别跟网关相同，但是又要处于同一网段

NETMASK=刚刚记下的子网掩码

GATEWAY=刚刚记下的网关

然后

service network restart 重启网络

ip addr 看下新ip生效没

centos7开放端口

实在被vmware的窗口弄得受不了，决定用xshell去连接它，所以得先开下端口，没记错ssh用的是22，开

看一下现在打开的端口，发现全关着
firewall-cmd --zone=public --list-ports 

22号端口开
firewall-cmd --zone=public --add-port=22/tcp --permanent

firewall-cmd --reload   # 重启防火墙生效

firewall-cmd --zone=public --remove-port=5672/tcp --permanent  #顺便记录个关闭端口的命令

#最后嫌麻烦我选择全部关闭
启动：  systemctl start firewalld
查状态：systemctl status firewalld 
停止：  systemctl disable firewalld
禁用：  systemctl stop firewalld

xshell一连，美滋滋

其他准备

配置本虚拟机域名，不然老是一堆文件改ip地址，我给我的3台虚拟机命名menber3，menber2， menber1

vi /etc/hosts

配置ssh免密登陆，因为hadoop各节点间通信如果还得输入密码很麻烦

#在menber3上生成公钥
ssh-keygen -t rsa

#分发至
ssh-copy-id menber3
ssh-copy-id menber2
ssh-copy-id menber1

#在menber2，menber1上重复以上步骤，都生成公钥，然后都分发到3台机子

接下来要安装jdk

要不是云hbase太贵，serverless模式又不支持pheonix，我真的不想重复装这些

用yum先看下云库里有什么java包
yum -y list java  

#竟然发现虚拟机无法识别别人域名
vi /etc/resolv.conf
nameserver 114.114.114.114

#安装java1.8
yum install java-1.8.0-openjdk* -y

#默认jre jdk 安装路径是/usr/lib/jvm 下面，这特么是个隐藏目录 ls -a可以看到

#配置到环境变量
vi /etc/profile
export JAVA_HOME=/usr/lib/jvm/java
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/jre/lib/rt.jar
export PATH=$PATH:$JAVA_HOME/bin

#使配置生效
. /etc/profile

安装hadoop2真分布式

终于开始安装大数据组件了.......预计这样装，网上抄的图

    

配置hadoop-env.sh

该文件的主要是配置hadoop的环境变量。例如守护进程的JVM启动参数：java堆大小和垃圾回收策略等。在这个文件中还可以设置HBase配置文件的目录、日志目录、SSH选项、进程pid文件的目录等。

#发现wget用不了，就没法下载相关包，安装下
yum -y install wget

#选定一台作为主，在上面安装hadoop
wget  http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.8.5/hadoop-2.8.5.tar.gz

#压缩包出现了，把他解压到 /usr/local/hadoop-2.8.5目录下
mkdir /usr/local/hadoop-2.8.5
tar -zxvf hadoop-2.8.5.tar.gz -C /usr/local/hadoop-2.8.5

#跑到hadoop目录里去改配置
vi /usr/local/hadoop-2.8.5/hadoop-2.8.5/etc/hadoop/hadoop-env.sh 

export JAVA_HOME=/usr/lib/jvm/java
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
export HADOOP_PID_DIR=/var/hadoopdata/pids
export HADOOP_LOG_DIR=/var/hadoopdata/logs

配置core-site.xml 

#先把这个目录创建出来用于存储hadoop的临时文件
mkdir /var/hadoopdata/tmp/

#添加配置，分别为nameNode接收Client连接的RPC端口，和临时目录
vi /usr/local/hadoop-2.8.5/hadoop-2.8.5/etc/hadoop/core-site.xml

<configuration>
 
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://menber3:8020</value>
</property>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/var/hadoopdata/tmp</value>
</property>
 
</configuration>

配置hdfs-site.xml

#配置secondaryNameNode路径
#设置每个文件有两个副本
#dfs.namenode.name.dir是保存FsImage镜像的目录，作用是存放hadoop的名称节点namenode里的metadata
#dfs.datanode.data.dir是存放HDFS文件系统数据文件的目录，作用是存放hadoop的数据节点datanode里的多个数据块
#dfs.namenode.http-address是nameNode的http访问网址
<configuration>
   <property>
             <name>dfs.namenode.secondary.http-address</name>
             <value>menber1:50090</value>
   </property>
   <property>
             <name>dfs.replication</name>
             <value>2</value>
   </property>
   <property>
             <name>dfs.namenode.name.dir</name>
             <value>file:/var/data/hadoop/hdfs/name</value>
   </property>
   <property>
             <name>dfs.datanode.data.dir</name>
             <value>file:/var/data/hadoop/hdfs/data</value>
   </property>
 
   <property>
      <name>dfs.namenode.http-address</name>
      <value>menber3:8084</value>
   </property>
 
</configuration>

配置yarn-site.xml----集群资源管理系统参数

<configuration>
    <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
   </property>
   <property>
      <name>yarn.nodemanager.localizer.address</name>
      <value>0.0.0.0:8140</value>
   </property>
   <property>
       <name>yarn.resourcemanager.hostname</name>
       <value>menber3</value>
   </property>
   <property>
       <name>yarn.log-aggregation-enable</name>
       <value>true</value>
   </property>
   <property>
       <name>yarn.log-aggregation.retain-seconds</name>
       <value>604800</value>
   </property>
   <property>
       <name>yarn.log.server.url</name>
       <value>http://menber1:19888/jobhistory/logs</value>
   </property>
 
  <property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>menber3:3206</value>
  </property>
 
</configuration>

配置mapred-site.xml----包括JobHistory Server 和应用程序参数两部分，如reduce任务的默认个数、任务所能够使用内存的默认上下限等

<configuration>
   <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
   </property>
 
   <property>
       <name>yarn.app.mapreduce.am.env</name>
       <value>HADOOP_MAPRED_HOME=/usr/local/hadoop-2.8.5</value>
   </property>
   <property>
       <name>mapreduce.map.env</name>
       <value>HADOOP_MAPRED_HOME=/usr/local/hadoop-2.8.5</value>
   </property>
   <property>
       <name>mapreduce.reduce.env</name>
       <value>HADOOP_MAPRED_HOME=/usr/local/hadoop-2.8.5</value>
   </property>
 
   <property>
       <name>mapreduce.jobhistory.address</name>
       <value>menber1:10020</value>
   </property>
   <property>
       <name>mapreduce.jobhistory.webapp.address</name>
       <value>menber1:19888</value>
   </property>
</configuration>

复制Hadoop配置好的包到其他Linux主机

 scp -r ./hadoop-2.8.5 root@menber2:/usr/local/
 scp -r ./hadoop-2.8.5 root@menber1:/usr/local/

停止启动

#必须先在主节点初始化集群，不然你会发现你集群没按你指定的端口启动
./bin/hadoop namenode -format
./bin/hadoop datanode -format

start-all.sh
stop-all.sh

#如果运气不好有进程杀不死，只能ps查看一个个杀了

到menber1启动yarn日志系统，start-all.sh并不会帮你启动它，导致在yarn控制台无法看到任务日志

https://blog.csdn.net/qq_26950567/article/details/106453770

查看hdfs的页面

http://10.118.239.239:8084

查看 YARN Web页面

http://10.118.239.239:3206/cluster

 

玩转控制台

来一个mapReduce任务

#查看有哪些mapReduce案例

 hadoop jar  /usr/local/hadoop-2.5.8/hadoop-2.5.8/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.8.jar 

#在hdfs中准备好input目录：

hadoop dfs -mkdir /input

hadoop dfs -mkdir /output

#上传一个文件到hdfs， 假定文件名称为wordcount

hadoop dfs -put  wordcount   /input/wordcount

#执行
 hadoop jar hadoop-mapreduce-examples-2.8.5.jar wordcount /input/wordcount /output/wordcount-result

点击hdfs的web页面--utilities可以下载，如果下载不了，检查自己宿主机的hosts文件有没有配上menber1,menber2,menber3

刀剑如梦TOTO333
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
实战CentOS系统部署Hadoop集群服务
Jack__CJ的博客
09-23 598
导读 Hadoop是一个由Apache基金会所开发的分布式系统基础架构，Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的
搭建用户行为分析系统（四）——数据建模/存储
zouhuu的博客
02-24 2700
真正的用户行为分析肯定是基于大数据来实现的，但是由于篇幅原因，我们就用最简单的方式来实现。 我们后台采用的是SpringBoot+MyBatis+MySQL。 EventsMapper.java EventsDomain.java EventsService.java EventsServiceImpl.java EventsMapper.xml 这些文件大家应该都会写，我们这里只看 ev...
[过程记录]Centos7 下 Hadoop分布式集群搭建
weixin_33701251的博客
09-29 143
过程如下： 配置hosts vim /etc/hosts 格式： ip hostname ip hostname 设置免密登陆 首先：每台主机使用ssh命令连接其余主机 ssh 用户名@主机名 提示是否连接：输入yes 提示输入密码：输入被请求连接主机的密码 成功过后 就会在本机的~目录下生成 .ssh文件夹 然后在master的主机上进入 ~/.ssh 目录 ...
全网最详细的Hadoop大数据集群搭建并进行项目分析(基于完全分布式)---第三部分
追求诗和远方的路上
03-25 607
##所有需要的资料全部已上传到百度网盘上，请自行下载## 获取镜像，https://pan.baidu.com/s/1ho4hMrvIu1V6W4wWdH8nIA，提取码：ygyg 获取Xshell，https://pan.baidu.com/s/1xWRle9chuNtBpE0fDa7DHA，提取码：u3s6 获取Hadoop，https://pan.baidu.com/s/1a5M23KlUMtqKOoWqDnZBHQ，提取码：y1y3 获取jdk，https://pan.baidu.com/s/1ft
CentOS7搭建Hadoop集群
01-07
1. 前置准备 1.准备三台虚拟机 – node-1 (主节点) , node-2, node-3 2.JDK环境 3.修改主机名称 hostnamectl set-hostname node-1 ...修改etc/hadoop/hadoop-env.sh vi hadoop-env.sh export JAVA_HO
centos6.8搭建hadoop集群
01-07
1.准备一台干净的centos6.8虚拟机 2.关闭防火墙 1.临时关闭防火墙 service iptables stop 2.关闭防火墙自启动 chkconfig iptables off 3.查看防火墙状态 service iptables status 3.设置静态ip vim /etc/...
基于centos的大数据hadoop集群搭建说明文档
10-30
【标题】：基于CentOS的大数据Hadoop集群搭建详解 【描述】：本教程专为初学者设计，详细阐述了如何手动搭建Hadoop集群，步骤详尽，易于理解。 【标签】：Hadoop集群搭建 【正文】： Hadoop是一个开源的分布式...
hadoop集群搭建_centos7配置静态IP
01-07
1.网络配置 设为NAT模式 ...centos7下,roo用户进行如下操作: 查看现有配置文件 本次需要修改ifcfg-ens33(其他系统可能稍有区别,比如ifcfg-ens) vim ifcfg-ens33 重启网络服务: 如果是集群配置,其
LinuxRedHat、CentOS上搭建Hadoop集群.pdf
07-14
搭建Hadoop集群在LinuxRedHat、CentOS上的实现 Hadoop是一种流行的开源大数据处理平台，由Google开发，现被Apache基金会维护。Hadoop的核心是HDFS（Hadoop Distributed File System）和MapReduce，分别负责数据存储...
centos7 Hbase分布式集群部署
oToyix的博客
07-08 644
一、Hbase概念剖析 Hbase 是Hadoop Database的简称，本质上来说就是Hadoop系统的数据库。 Hbase 是Hadoop Database的简称，本质上来说就是Hadoop系统的数据库，为Hadoop框架当中的结构化数据提供存储服务，是面向列的分布式数据库。这一点与HDFS是不一样的，HDFS是分布式文件系统，管理的是存放在多个硬盘上的数据文件，而Hbase管理的是类似于Key—Value映射的表。 Hbase底层仍然依赖HDFS来作为其物理存储，并且还需要Zoo
HBase集群搭建记录 | 云计算[CentOS7] | HBase完全分布式集群搭建
PushyTao的博客
04-07 2389
写在前面 本系列文章索引以及一些默认好的条件在 传送门 默认使用master节点并用root用户登录终端进行操作 step1 下载并解压HBase 官网下载地址 博主因为课程需要以及版本问题，下载的版本为2.0.5 请注意版本兼容性问题，具体适配情况如下图： 因为Hadoop为3.1.1，所以说HBase下载2.0.5是支持的 该版本下载地址 下载完成后，将该文件放置在/usr/local/下 老样子，将该文件解压到该目录下并重命名 cd /usr/local tar -zxvf hbase-2.0
centos7虚拟机在集群zookeeper上面配置hbase的具体操作步骤
最新发布
张小鱼的博客
04-11 936
1.1HBase定义HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库。本文主要介绍centos7虚拟机在集群zookeeper上面配置hbase的具体操作步骤
CentOS 7 下安装开源网络取证分析工具Xplico
关注网络安全
11-15 4271
Xplico可以在pcap文件中提取邮件内容(通过POP，IMAP，SMTP协议)，所有的HTTP内容，每个VoIP的访问(SIP)，FTP，TFTP等等，但是Xplico不是一个网络协议分析工具。Xplico是一个开源的网络取证分析工具(NFAT)特征 Protocols supported: HTTP, SIP, IMAP, POP, SMTP, TCP, UDP, IPv6, …; Port
CentOS7+ FreeRadius+mariadb+深信服的上网行为管理实现上网实名认证
qq1299674780的博客
03-11 2368
LVM 逻辑卷的创建及使用 注意：对于创建物理卷、创建卷组以及创建逻辑卷是有严格顺序的 1 rpm -qa|grep lvm #查询linux是否安装LVM工具 2 fdisk -l #查询硬盘信息 3 pvcreate /dev/sdb /dev/sdc #将新硬盘格式化成PV 4 vgcreate Misem_VG /dev/sdb #将PV加入...
packetbeat搭建网络数据包分析体系
weixin_34290000的博客
08-27 259
2019独角兽企业重金招聘Python工程师标准>>> ...
CentOS7环境下Hbase集群的配置
学习笔记
06-15 744
0. 前提 jdk 1.8.0 hadoop 2.9.0 zookeeper 3.4.6 1. 下载解压缩 hbase-1.2.6-bin.tar.gz 2. 修改配置文件 /home/hadoop/hbase-1.2.6/conf 生成tmp数据目录/home/hadoop/hbase-1.2.6/hbasedata 修改hbase-site.xml,添加节点信息 &amp;lt...
Hadoop生态系统介绍
星星十一点半睡的博客
05-22 1267
原文链接 Hadoop是什么 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data se
centos搭建hbase、zookeeper
k393393的博客
06-15 657
前提： 已经搭建了hadoop，并且启动了hdfs 相关版本：centos7.2、hadoop2.7.1 1、查看hadoop版本下载对于的hbase版本 2、下载hbase和zookeeper 因为我的hadoop版本是2.7.1 所以就下载hbase2.0.5版本 hbase下载连接 https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/ hba...
搭建用户行为分析系统（五）——数据可视化
zouhuu的博客
02-24 3446
搭建用户行为分析系统（五）——数据可视化 这里采用的是前端框架是 Bootstrap 和 chart.js 这是界面截图，仿着百度统计画的 下面是代码部分 &lt;!DOCTYPE html&gt; &lt;html lang="zh" xmlns:th="http://www.thymeleaf.org"&gt; &lt;head&gt; &lt;meta charset="utf-8...
CentOS7上搭建Hadoop集群教程
"这篇CSDN博客文章详细介绍了如何在Linux上的CentOS7系统中安装Hadoop集群，使用的Hadoop版本为2.8.0。作者陈南志提供了从下载Hadoop、设置SSH免密码登录、安装JDK到配置和启动Hadoop集群的完整步骤。" 在安装...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值