大数据平台开发作业

最新推荐文章于 2024-05-14 01:09:59 发布
最新推荐文章于 2024-05-14 01:09:59 发布
阅读量384 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Gaoyuqing1/article/details/106759814
版权

大数据平台开发

前期准备

准备好四台安装了centos系统的虚拟机，并在其中一台完成伪分布式的安装

高可用安装

HA安装方案
HA安装方案
分发jdk到node02,ndoe03,node04上

scp jdk-7u67-linux-x64.rpm node02：`pwd`
scp jdk-7u67-linux-x64.rpm node03：`pwd`
scp jdk-7u67-linux-x64.rpm node04：`pwd

并在Xshell的全部会话栏里一起ll，看jdk是否发送成功。

给node02,node03,node04分别安装jdk

分别在node02,node03,node04上执行rpm安装命令。

rpm -i jdk-7u67-linux-x64.rpm

在node01上cd /etc，在此目录下把profile文件分发到node02、03、04上。

scp profile node04:`pwd`

利用Xshell全部会话栏，source /etc/profile

利用Xshell全部会话栏，jps，看02、03、04这三台机子的jdk是否装好。
同步所有服务器的时间

yum -y install ntp
ntpdate time1.aliyun.com   #和阿里云服务器时间同步

装机之前的配置文件检查

1.cat /etc/sysconfig/network

​ 查看HOSTNAME是否正确

2.cat /etc/hosts

​ 查看IP映射是否正确,若不正确，可以改文件，也可以把node01上的用scp分发过去.。

3.cat /etc/sysconfig/selinux

​ 检查SELINUX的值是否是disabled

4.service iptables status

​ 查看防火墙是否关闭

NN与其他三台机子的免秘钥设置

1.在家目录下 ll –a看下有无.ssh文件，如果没有就ssh loalhost一下，完成后记得exit退出。

2.cd /.ssh，并ll查看一下

3.把node01的公钥发给其他三台机子

scp id_dsa.pub node02:`pwd`/node01.pub
scp id_dsa.pub node03:`pwd`/node01.pub
scp id_dsa.pub node04:`pwd`/node01.pub

4.将node02的.ssh目录下的node01.pub追加到authorized_keys

cat node01.pub >> authorized_keys

5.其他两台机子同上，并检查在node01上能否ssh连接到其他三台机子

两个NN间互相免密钥
在node02上：

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

ssh localhost验证一下

分发到node01上：

scp id_dsa.pub  node01:`pwd`/node02.pub

在node01的.ssh目录下，

cat node02.pub >> authorized_key

在node02上ssh node01验证一下可否免密钥登录
修改namenode的一些配置信息
vi hdfs-site.xml

<configuration>
   <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>

	<property>
  		<name>dfs.nameservices</name>
  		<value>mycluster</value>
	</property>
	<property>
  		<name>dfs.ha.namenodes.mycluster</name>
  		<value>nn1,nn2</value>
	</property>
	<property>
  		<name>dfs.namenode.rpc-address.mycluster.nn1</name>
  		<value>node01:8020</value>
	</property>
	<property>
  		<name>dfs.namenode.rpc-address.mycluster.nn2</name>
  		<value>node02:8020</value>
	</property>
	<property>
  		<name>dfs.namenode.http-address.mycluster.nn1</name>
  		<value>node01:50070</value>
	</property>
	<property>
  		<name>dfs.namenode.http-address.mycluster.nn2</name>
 		<value>node02:50070</value>
	</property>

	<property>
  		<name>dfs.namenode.shared.edits.dir</name>
  		<value>qjournal://node01:8485;node02:8485;node03:8485/mycluster</value>
	</property>

	<property>
  		<name>dfs.journalnode.edits.dir</name>
  		<value>/var/gf/hadoop/ha/jn</value>
	</property>

	<property>
  		<name>dfs.client.failover.proxy.provider.mycluster</name>
  		<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
	</property>
	<property>
  		<name>dfs.ha.fencing.methods</name>
  		<value>sshfence</value>
	</property>
	<property>
  		<name>dfs.ha.fencing.ssh.private-key-files</name>
  		<value>/root/.ssh/id_dsa</value>
	</property>

	<property>
   		<name>dfs.ha.automatic-failover.enabled</name>
   		<value>true</value>
 	</property>
</configuration>

vi core-site.xml

<!– 集群名称mycluster-->
<property>
  <name>fs.defaultFS</name>
 <value>hdfs://mycluster</value>
 </property>
 <!– zookeeper布署的位置-->
 <property>
  <name>ha.zookeeper.quorum</name>
   <value>node02:2181,node03:2181,node04:2181</value>
</property>

vi slaves

node02
node03
node04

安装hadoop

cd /opt,将其下的gf目录分发到node02、03、04

scp –r  ldy/ node02:`pwd`
scp –r  ldy/ node03:`pwd`
scp –r  ldy/ node04:`pwd`

将hdfs-site.xml和core-site.xml分发到node02、03、04

scp hdfs-site.xml core-site.xml node02:`pwd`
scp hdfs-site.xml core-site.xml node03:`pwd`
scp hdfs-site.xml core-site.xml node04:`pwd`

安装zookeeper

解压安装zookeeper

tar xf zookeeper-3.4.6.tar.gz -C /opt/gf

修改zookeeper的配置文件

cd /opt/gf/zookeeper-3.4.6/conf

给zoo_sample.cfg改名

cp zoo_sample.cfg zoo.cfg

vi zoo.cfg

改dataDir=/var/ldy/zk

并在末尾追加

server.1=node04:2888:3888

server.2=node05:2888:3888

server.3=node06:2888:3888

其中2888主从通信端口，3888是当主挂断后进行选举机制的端口

把zookeeper分发到其他节点

scp -r zookeeper-3.4.6/ node05:`pwd`
scp -r zookeeper-3.4.6/ node06:`pwd`

并用ll /opt/gf检查下看分发成功没

给每台机子创建刚配置文件里的路径

mkdir -p /var/gf/zk

对node02来说

echo 1 > /var/gf/zk/myid
cat /var/gf/zk/myid

对node03来说

echo 2 > /var/gf/zk/myid
cat /var/gf/zk/myid

对node04来说

echo 3 > /var/gf/zk/myid
cat /var/gf/zk/myid

在/etc/profile里面配置

export ZOOKEEPER_HOME=/opt/gf/zookeeper-3.4.6
export PATH=$PATH:/usr/java/jdk1.7.0_67/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$ZOOKEEPER_HOME/bin

然后在把/etc/profile分发到其他node03、node04

scp /etc/profile node03:/etc
scp /etc/profile node04:/etc

然后在node02,node03,node04中source /etc/profie

验证source这句是否完成，输入zkCli.s，按Tab可以把名字补全zkCli.sh

启动zookeeper

全部会话：zkServer.sh start

接着用zkServer.sh status查看每个zookeeper节点的状态
如果启动不起来，请把/etc/profile里的JAVA_HOME改成绝对路径。
启动journalnode
在01、02、03三台机子上分别把journalnode启动起来

hadoop-daemon.sh start journalnode

用jps检查下进程启起来了没
格式化任一namenode
随意挑一台namenode上执行hdfs namenode –format

另一台namenode不用执行，否则clusterID变了，找不到集群了。

然后，启动刚刚格式化的那太namenode:

hadoop-daemon.sh start namenode

给另一namenode同步数据
在另外一台namenode上执行

dfs namenode -bootstrapStandby

格式化zkfc

hdfs zkfc -formatZK

在node04上执行zkCli.sh打开zookeeper客户端看hadoop-ha是否打开
启动hdfs集群

start-dfs.sh

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
为MapReduce
把mapred-site.xml.template留个备份，并且改下名字

cp mapred-site.xml.template mapred-site.xml

在mapred-site.xml里添加如下property

<property>
	<name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

在yarn-site.xml里添加如下property

<property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
</property>
<property>
   <name>yarn.resourcemanager.ha.enabled</name>
   <value>true</value>
</property>
<property>
   <name>yarn.resourcemanager.cluster-id</name>
   <value>cluster1</value>
</property>
<property>
   <name>yarn.resourcemanager.ha.rm-ids</name>
   <value>rm1,rm2</value>
</property>
<property>
   <name>yarn.resourcemanager.hostname.rm1</name>
   <value>node03</value>
</property>
<property>
   <name>yarn.resourcemanager.hostname.rm2</name>
   <value>node04</value>
</property>
<property>
   <name>yarn.resourcemanager.zk-address</name>
   <value>node02:2181,node03:2181,node04:2181</value>
</property>

把mapred-site.xml和yarn-site.xml 分发到node02、03、04

scp mapred-site.xml yarn-site.xml node04:`pwd`
scp mapred-site.xml yarn-site.xml node05:`pwd`
scp mapred-site.xml yarn-site.xml node06:`pwd`

由于node03和node04都是resourcemanager，所以它俩应该相互免密钥
node03上免密钥登录node04：
在node03的.ssh目录下生成密钥

ssh-keygen -t dsa -P '' -f ./id_dsa

并追加到自己authorized_keys

cat id_dsa.pub >> authorized_keys

用ssh localhost验证看是否需要密码，别忘了exit
将node03 的公钥分发到node04

scp id_dsa.pub node06:`pwd`/node05.pub

在node04的.ssh目录下，追加node03.pub

cat node05.pub >> authorized_keys

在node03上ssh node04,看是否免密钥。
node04上免密钥登录node03同理。
启动所有进程，并检查是否有遗漏
在这里插入图片描述
在这里插入图片描述在这里插入图片描述
在这里插入图片描述
运行wordcount测试

cd /opt/ldy/hadoop-2.6.5/share/hadoop/mapreduce

在hdfs里建立输入目录和输出目录

hdfs dfs -mkdir -p /data/in
hdfs dfs -mkdir -p /data/out

将要统计数据的文件上传到输入目录并查看

hdfs dfs -put ~/500miles.txt /data/in	
hdfs dfs -ls /data/in

运行wordcount(注意：此时的/data/out必须是空目录）

hadoop jar hadoop-mapreduce-examples-2.6.5.jar wordcount /data/in /data/out/result

查看运行结果

hdfs dfs -ls /data/out/result 
hdfs dfs -cat /data/out/result/part-r-00000

在这里插入图片描述
关闭集群

#node01
stop-dfs.sh 
#node01
stop-yarn.sh #(停止nodemanager)
#node03,node04
yarn-daemon.sh stop resourcemanager
#Node02、03、04
zkServer.sh stop

在windows下配置hadoop的环境
更改环境变量，增加HADOOP_HOME
在这里插入图片描述
并在path中添加HADOOP_HOME中添加路径
在这里插入图片描述
然后再新建一个变量HADOOP_USER_NAME
在这里插入图片描述
把hadoop.dll拷贝到以下路径
在这里插入图片描述
安装eclipse-mars，并调出Map/Reduce Locations
在这里插入图片描述
新建一个hadoop localtion（Host：哪个namenode是active，就填哪个；port：8020）
在这里插入图片描述
在eclipse里导入自己建一个包库，并把jar包导入刚建的包库
在这里插入图片描述
利用xftp把hdfs-site.xml,core-site.xml等几个xml放到project的src目录。
在这里插入图片描述

Gaoyuqing1
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
大数据平台开发
fzxgg的博客
06-19 1652
大数据平台开发 亮点 前期在操作过程中还是有很多坎坷和插曲，印象最为深刻的就是我那台笔记本进入bios不是重启狂按f10进入的，在我各种琢磨不透的时候，在百度查询各种资料以后最后发现，原来我这台电脑左侧有个小孔得用针插入开启电脑才能进入bios调整设置，我跟发现新大陆似的，就心想哦原来还有这种开机方式的，然后再调整设置之后虚拟机就可以正常的操作和运行了。然后还遇到过下载的文件就两个程序之间不兼容，这就很烦了，也是费劲功夫从网上下载兼容的版本使用，这是最让我头疼的，因为这些问题拖缓了我，就我跟不上上课的进度，
大数据作业
weixin_30521649的博客
03-23 456
1.何谓大数据？大数据的基本特征有哪些？ 维基(Wiki)百科从处理方法角度给出的大数据定义，即大数据是指利用常用软件工具捕获管理和处理数据所耗时间超过可容忍时间限制的数据集 即数据的规模性（Volume）、高速性（Velocity）以及数据结构多样性（Variety），而在此基础上已经有不同的公司以及研究机构对其进行了扩展 2.试述Hadoop具有哪些特性。 高可靠性。Hadoop按位存储...
2024年大数据最新大数据实战平台环境搭建_搭建大数据平台(1)，大数据开发体系化进阶学习图谱
最新发布
2401_84592231的博客
05-14 406
图10：登录本机在终端输入ssh localhost请求登录本机。注意这里的确认要填的是yes。图11：输入hadoop用户密码图12：成功登录本机3、配置无密码登录图13：退出openssh并进去ssh文件夹在终端输入exit退出openssh，当出现Connection to localhost closed.表示成功退出openssh。接着在终端输入cd ~/.ssh/进入ssh文件夹内。图14：生成密钥并保存。
大数据平台的开发与思考一：
u014745604的博客
10-05 1491
## 大数据平台的历史背景 ## 目前存在的数据平台的产品 ## 数据产品的技术架构 ## 拓展知识 ### 什么是数仓 ## 什么是数据湖 ## 什么是流批一体
实战大数据平台开发架构讲解
02-24
本文来自于csdn，本文主要介绍了大数据平台的系统架构以及大数据开发过程离线和实时常用的技术框架的介绍，希望对您的学习有所帮助。对于业务数据数据量的暴增，用户智能化需求提升。在这个DT的时代，大数据的开发也...
大数据开发课程作业.zip
02-20
包含前端、后端、移动开发、操作系统、人工智能、物联网、信息化管理、数据库、硬件开发、大数据、课程资源、音视频、网站开发等各种技术项目的源码。 包括STM32、ESP8266、PHP、QT、Linux、iOS、C++、Java、python...
大数据开发笔试.docx
06-21
【大数据开发笔试知识点详解】 1. **HDFS原理与模块职责**： HDFS（Hadoop Distributed File System）是分布式文件系统，它将大文件分割为Block并分散存储在多台机器上。主要由NameNode和DataNode构成。NameNode是...
全通大数据智能管控平台.pdf
06-10
全通大数据智通管控平台，基于Linux环境部署，它是面向数据开发工程师和数据运维工程师的一站式大数据应用开发及任务管理调度平台，核心功能功能包括：集成开发、脚本血缘分析、智能调度、集中运维、任务管理。
新零售大数据平台-运维监控平台的开发
04-03
因此,开发一个运维监控平台来集中管理和监控各个大数据组件就显得尤为重要。 在这个项目中,您将基于开源的 Hue 平台(Hadoop User Experience)进行二次开发,通过修改和扩展其源代码,使其能够支持管理和监控更多的...
华为大数据作业平台
weixin_43636211的博客
12-17 232
http://10.100.128.54:8090/#/my-test-backup?courseId=whrjgczyxy5843d177_1591221c4_1&chapterId=whrjgczyxy5843d177_1591221c4_1labS19
大数据技术系列：图解【大数据平台开发】
u012730075的专栏
12-15 2807
数据治理的最终目标是提升数据利用率和数据价值，通过有效的数据资源管控手段，实现数据的看得见、找得到、管得住、用得好，提升数据质量和数据价值。企业数据治理非常必要，它是企业实现数字化转型的基础，是企业的一个顶层策略，一个管理体系，也是一个技术体系，涵盖战略、组织、文化、方法、制度、流程、技术和工具等多个层面的内容。数据流水线是数据驱动的重要环节，也是大数据平台建设的重要过程。如果说技术架构和技术工具是大数据平台的骨骼支撑，而基于数据仓库理论的数据建模则是大数据平台的大脑和血肉，决定了大数据平台的业务应用。
车辆网大数据平台开发
yjh314的专栏
09-07 759
1、终端发起连接 ----------》 终端接入服务 ------------>kafka      终端接入服务不做任何的业务处理，推送到kafka按sim卡路由发送到对应的kafka分区。保证消费者订阅接收到的数据，读取车辆的原始数据拼包处理。
【大数据平台开发】开发技术体系简介
qq_44928822的博客
04-18 299
开发技术体系简介
大数据大作业（课程设计）
热门推荐
onlywishes的博客
06-20 1万+
本课题为信息爬取字数及可视化，首先使用Python编程爬取了凤凰网门户网站新闻栏目22/7/26—7/28三天内的新闻信息，其次，将爬取的新闻整合为一个文件，然后使用Python编程对文件进行分词处理并且可以获取词云，接下来将该文件上传至hadoop平台，利用MapReduce框架编程完成了字数统计，接着就是利用Python编程对字数统计文件中的词频由高到低进行排序，得到出现频次排名前5、前10、前20、前50的词语，最后根据排好序的词语利用Echarts平台分别完成4种可视化效果网页。
如何创建一个大数据平台?
lipc_的博客
07-15 604
http://www.36dsj.com/archives/56003?utm_source=tuicool&utm_medium=referral
Azure大数据项目作业角色
figosoar的专栏
09-13 190
大数据项目可能很复杂。 通常涉及到数百个决策和 多个人员，并且在从设计到生产的项目过程中每个人都发挥着一定作用。 业务利益干系人、业务分析师和商业智能开发人员等角色众所周知且仍具有价值。 数据处理方法因技术而异，于是开始有了一些新角色。 这些角色提供专业技能，以帮助简化数据工程过程。 具体而言，在现代数据项目中，有三个角色开始变得普遍： 数据工程师 数据科学家 人工智能 (AI) 工程师 数据工程师 数据工程师预配和设置本地和云中的数据平台技术。 他们管理并保护来自多个源的结构化和非结构化数..
大数据开发平台(Data Platform)在有赞的最佳实践
李旭的博客
04-14 2199
前言 随着公司规模的增长，对大数据的离线应用开发的需求越来越多，这些需求包括但不限于离线数据同步(MySQL/Hive/Hbase/Elastic Search 等之间的离线同步)、离线计算(Hive/MapReduce/Spark 等)、定时调度、运行结果的查询以及失败场景的报警等等。 在统一的大数据开发平台产生之前，面临一系列的问题： 多个开发和调度入口，不同的业务部门之间的项目或组...
全通大数据智能管控平台：一站式开发与任务管理解决方案
"全通大数据智能管控平台是一款专为数据开发工程师和数据运维工程师设计的一站式大数据应用开发及任务管理调度平台，它基于Linux环境，旨在提升数据处理的效率和准确性。该平台的核心功能包括集成开发、脚本血缘分析...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值