吉林大数据应用开发环境搭建

已于 2024-04-08 09:09:18 修改
阅读量1.6k 收藏 35
点赞数 48
文章标签： 大数据
于 2024-04-01 13:53:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_78719234/article/details/137109665
版权

一、修改主机名

hostnamectl set-hostname node02

#node02是要修改的主机名

查看主机名

hostname

二、配置网络

vi /etc/sysconfig/network-scripts/ifcfg-ens33

1、生成一个UUID

uuidgen ens33

2、将生成的UUID写入网络配置文件ens33

3、重启网络，验证是否连接上网络(安装虚拟机的PC可以正常上网)

service network restart

4、查看ip

ifconfig

三、配置SSH服务

1、查看当前虚拟机是否安装OpenSSH

rpm -qa | grep openssh

上图已经安装了OpenSSH，如果没有安装

可以执行

yum install openssh-server

在线安装OpenSSH

2、查看当前虚拟机是否开启OpenSSH

 service sshd status

如果OpenSSH服务处于关闭状态
则执行

service sshd start

四、配置SSH免密钥登录功能

1、配置SSH免密钥登录功能（三台虚拟机都需要操作）

ssh-keygen -t rsa

{根据提示操作)
生成密钥操作会默认在虚拟机的root目录下生成一个包含密钥的隐藏目录.ssh
进入隐藏目录

cd /root/.ssh

查看当前目录下所有文件

ll -a

 id_rsa和id_rsa.pub分别是虚拟机的私钥文件和公钥文件
为了便于文件配置和虚拟机通信，对主机进行映射配置

vi /etc/hosts

添加

192.168.121.130 node01
192.168.121.131 node02
192.168.121.132 node03

执行

ssh-copy-id 主机名

将公钥复制到相关联的虚拟机（包括自身）

五、配置jdk

centos7安装jdk_centos java环境变量配置-CSDN博客icon-default.png?t=N7T8https://blog.csdn.net/2301_78719234/article/details/134398044?spm=1001.2014.3001.5502

六、配置zookeeper启动和关闭

centos7配置zookeeper_centos7 如何配置zookeper-CSDN博客icon-default.png?t=N7T8https://blog.csdn.net/2301_78719234/article/details/134417383?spm=1001.2014.3001.5502

1、启动zookeeper集群

（1）查看防火墙服务启动状态

systemctl status firewalld

（2）关闭防火墙服务（临时）

systemctl stop firewalld

（3）禁止防火墙开机启动（永久）

systemctl disable firewalld

（4）启动zookeeper集群每台机器都要执行

zkServer.sh start

（5）查看zookeeper服务状态每台机器都要执行

zkServer.sh status

2、关闭zookeeper集群每台机器都要执行

zkServer.sh stop

七、搭建hadoop完全分布式

1、安装hadoop

通过解压缩的方式安装hadoop

tar -zxvf /export/software/hadoop-2.7.1.tar.gz -C /export/servers/

重命名为hadoop

mv /export/servers/hadoop-2.7.1  /export/servers/hadoop

2、配置环境变量

vi /etc/profile
#java
export JAVA_HOME=/export/servers/jdk/
export PATH=$PATH:$JAVA_HOME/bin/
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tool.jar
#zookeeper
export ZK_HOME=/export/servers/zookeeper-3.4.10/
export PATH=$PATH:$ZK_HOME/bin
#hadoop
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_CLASSPATH='$HADOOP_HOME/bin/hadoop classpath'
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
#hive
export HIVE_HOME=/export/servers/hive
export PATH=$PATH:$HIVE_HOME/bin
#hbase
export HBASE_HOME=/export/servers/hbase
export PATH=$HBASE_HOME/bin:$PATH
#spark
export SPARK_HOME=/export/servers/spark
export PATH=$SPARK_HOME/bin:$PATH

上面是所用到的所有环境变量

初始化环境变量

source /etc/profile

查看hadoop版本

hadoop version

以下操作都在Hadoop的/etc/hadoop

3、修改hadoop-env.sh

vi  hadoop-env.sh

找到export JAVA_HOME一行，把行首的#去掉，并按实际修改JAVA_HOME的值

#The java implementation to use.(这行不用动)

Export JAVA_HOME=/home/用户名/jdk（这里放的是java的路径，尽量写实际路径，不要写软链接，有时候会NOT a valid JAR）

4、配置yarn-env.sh

vi yarn-env.sh

将文件内默认的JAVA_HOME参数修改为本地的安装JDK的路径

5、修改core-site.xml文件

vi core-site.xml


<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.127.140:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/export/servers/hadoop/tmp</value>
</property>

6、修改hdfs-site.xml

vi hdfs-site.xml


<configuration>
 <property>
  <name>dfs.namenode.name.dir</name>
  <value>/opt/module/hadoop/dfs/name</value>
 </property>
 <property>
  <name>dfs.datanode.data.dir</name>
  <value>/opt/module/hadoop/dfs/data</value>
 </property>
 <property>
   <name>dfs.replication</name>
   <value>3</value>
 </property>
<property>
 <name>dfs.blocksize</name>
 <value>134217728</value>
</property>
<property>
 <name>dfs.namenode.secondary.http-address</name>
 <value>node01:50090</value>
</property>
<property>
 <name>dfs.namenode.http-address</name>
 <value>node01:50070</value>
</property>
<property>
 <name>dfs.webhdfs.enabled</name>
 <value>true</value>
</property>

</configuration>

7、修改mapred-site.xml

vi mapred-site.xml
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

8、修改yarn-site.xml

vi yarn-site.xml
<configuration>

<!-- Site specific YARN configuration properties -->
 <property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
 </property>
 <property>
  <name>yarn.resourcemanager.hostname</name>
  <value>node01</value>
 </property>
 <property>
  <name>yarn.resourcemanager.webapp.address</name>
  <value>node01:8088</value>
 </property>
 <property>
  <name>yarn.resourcemanager.webapp.https.address</name>
  <value>node01:8090</value>
 </property>
 <property>
  <name>yarn.log-aggregation-enable</name>
  <value>true</value>
 </property>
 <property>
  <name>yarn.log-aggregation.retain-seconds</name>
  <value>604800</value>
 </property>
</configuration>

9、修改slaves

vi slaves

删除文件中默认存在的loaclhost，并添加三台机器的主机名

10、分发文件

scp -r hadoop root@node02:/export/servers/

scp -r hadoop root@node02:/export/servers/

#这里的hadoop代指hadoop的路径

分发环境变量

scp /etc/profile root@node02:/etc/

scp /etc/profile root@node03:/etc/

八、启动hadoop

1、启动zookeeper（六、配置zookeeper启动和关闭）

2、初始化NameNode（仅初次启动执行）

hdfs namenode -format

3、启动hadoop

start-all.sh

九、hive的部署

解压安装hive

#和hadoop类似

1、初始化Derby

进入Hive的安装目录下进行初始化Derby数据库的操作

bin/schematool -initSchema -dbType derby

2、启动hive客户端

在Hive安装目录下执行

bin/hive

3、安装mysql

cenos7安装mysql5.7_centos7.1 安装mysql5.7-CSDN博客

4、配置hive

（1）编辑hive-env.sh

进入hive安装目录下的conf目录，复制模板文件 hive-env.sh.template并重命名为hive-env.sh

cd /export/severs/hive/conf
cp hive-env.sh.template hive-env.sh
vi hive-env.sh
在文件末尾添加

(2)编辑hive-site.xml

（3）上传mysql的驱动包

进入hive存放依赖的lib目录下，执行rz命令上传JDBC连接mysql的驱动包

mysql-connector-java-5.1.32.jar

（4）配置hive环境变量

#在hadoop配置环境变量时已经提前写上

（5）初始化mysql

schematool -initSchema -dbType mysql

初始化完成后出现schemaTool completed信息，则说明成功初始化mysql

（6）启动hive客户端

hive

默认数据库为default

十、hbase的安装

解压安装hbase

#和hadoop类似

1、创建zookeeper数据目录

进入hbase目录下

cd /export/servers/hbase
mkdir zookeeper

2、配置环境变量，配置Hadoop已经配置完毕

3、配置文件

（1）修改配置文件hbase-env.sh

cd /export/servers/hbase/conf

vi hbase-env.sh

去掉文件适当位置的“#”

在打开的文件中找到“#export JAVA_HOME”开头的代码，去掉前面的“#”，修改为

自己的java路径

export JAVA_HOME=/export/servers/jdk

找到“#export HBASE_MANAGES_ZK”,去掉前面的“#”，修改为

export HBASE_MANAGES__ZK=true

（2）再修改配置文件hbase-site.xml

<configuration>
 <property>
  <name>hbase.rootdir</name>
  <value>hdfs://node01:8020/hbase</value>
 </property>
 <property>
  <name>hbase.cluster.distributed</name>
  <value>true</value>
 </property>
 <property>
  <name>hbase.zookeeper.quorum</name>
  <value>node01,node02,node03</value>
 </property>
 <property>
  <name>dfs.replication</name>
  <value>2</value>   
 </property>
 <property>
  <name>hbase.master.maxclockskew</name>
  <value>180000</value>
 </property>
 <property>
  <name>hbase.zookeeper.property.dataDir</name>
  <value>/opt/moduble/hbase/zookeeper</value>
 </property> 
</configuration>

（3）修改配置文件regionservers

vi regionservers

在打开的文件中，将内容修改为

node01
node02
node03

4、分发文件

cd
scp -r hbase root@node02:/export/servers
scp -r hbase root@node03:/export/servers

5、启动hbase

start-hbase.sh

6、检查进程

jps

十一、spark的安装

解压安装spark

1、配置文件

（1）给权限
cd /export/servers/spark
sudo chown -R hadoop:hadoop /export/servers/spark

#hadoop是登陆当前liunx系统的用户名

（2）编辑spark-env.sh
vi spark-env.sh

在第一行添加以下配置

export SPARK_DIST_CLASSPATH=$(/export/servers/hadoop/bin/hadoop classpath)
export SPARK_MASTER_HOST=namenode
export SPARK_MASTER_PORT=7077
export SPARK_MASTER_WEBUI_PORT=8080
export SPARK_WORKER_MEMORY=1g
export SPARK_WORKER_CORES=1
export SPARK_WORKER_INSTANCES=1
export HADOOP_CONF_DIR=/export/severs/hadoop/etc/hadoop
export JAVA_HOME=/export/servers/jdk
s2、验证spark是否安装成功
cd /export/servers/spark
bin/run-example SparkPi
bin/run-example SparkPi 2>&1 | grep "Pi is roughly"

最后检查进程

东方富贵
关注
  • 48
    点赞
  • 踩
  • 35
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
吉林大学数据库系统应用开发源代码.zip
11-21
任务1 将P171页程序片段补充完整 任务2 Modify the program labstaff.java 任务3 Modify the program labupdate.java 任务4 将labupdate.java修改为GUI的形式，用户输入和修改结果的输出均通过调用JOptionPane类...
吉林大学数据库应用程序开发实验报告
01-21
吉林大学数据库应用程序开发实验报告2023
吉林大学应用密码学实验（仅供参考）
05-26
第一次实验： ...要求： 1、分组长度 = 128 bit 2、主密钥长度 >= 128 bit 3、轮数 = 16 4、轮函数的设计要用到LFSR 第二次实验： ...要求分别实现如下三个算法： ...利用第一、二次实验的算法，以数字信封的形式对明文文件...
吉林大学多媒体技术及应用.zip
11-21
用opencv实现各种滤镜，具有完整的GUI界面，和内置图片，本软件实现了浮雕，凸透镜，模糊，锐化四种滤镜，可使用内置图片，即已经保存在.exe文件中的图片，也可以由用户自己输入图片。
吉林大学DB2数据库应用程序开发 Java
01-08
任务1 将P171页程序片段补充完整 任务2 Modify the program labstaff.java 任务3 Modify the program labupdate.java 任务4 将labupdate.java修改为GUI的形式，用户输入和修改结果的输出均通过调用JOptionPane类的...
大数据如何更好地助力乡村振兴战略的实施？
xy520521的博客
06-07 446
智慧乡村建设：通过大数据技术和物联网技术，可以实现乡村各种设施的互联互通，构建智慧乡村，提供智能交通、智能安防、智能环保等服务，提高乡村的生活便利性和安全性。优化资源配置：通过大数据分析，可以了解到乡村的资源分布和利用情况，帮助政府和相关机构更好地进行资源调配和规划，确保资源的合理利用，提高决策的科学性和精确性。教育和医疗服务：大数据可以帮助乡村优化教育和医疗资源的分配，提供远程教育和医疗服务，弥补乡村教育和医疗资源的不足，提高乡村居民的生活质量。大数据可以在乡村振兴战略的实施中发挥重要的作用。
【大数据架构】基于流式数据的大数据架构升级
你的博客
06-08 934
团队在升级大数据架构，摒弃了原来基于hadoop的架构，因此抛弃了hive，hdfs，mapreduce这一套，在讨论和摸索中使用了新的架构。
人工智能（AI）的基础核心技术
qqk808的博客
06-12 380
人工智能（AI）的基础核心技术
某文旅集团定岗定编项目成功案例纪实
weixin_47375858的博客
06-13 862
但是与此同时，目前的整体人数较多，存在冗员现象，并且原先由村民转化而来的员工，文化素质相对比较低，和目前业务发展不匹配，存在明显的忙闲不均、工作效率不高等问题。项目组建议优化配套的考核激励机制，集团可以鼓励员工承担多岗位职责，并针对工作量的不同给予相应的激励，有助于激发员工的工作热情，也能够提高员工在工作中的投入和责任感。针对该集团现有人员能力素质相对低，无法适应转型发展的问题，建议加强培训，增加人员一专多能的能力和专业能力，从而承担更多职责，提高工作饱和度。
(精品推荐）培训机构xx教育大型市场活动策划方案
qq253476994的博客
06-13 459
为使本次活动圆满完成，严防各类事故的发生，把不安全因素消灭在萌芽状态，成立组织机构：现场总指挥1人，联络协调员1人,安全工作人员7人。工作人员均配统一服装.宽胶布3个、双面胶2个、矿泉水3箱/天，共9箱、小推车、2盒圆珠笔、小喇叭、剪刀、裁纸刀、绳子、观众凳子、桌签、电视播放的DVD。熟悉场地做到心中有数，各安全工作人员实行岗位负责制，分工明确，职责明了、责任到人，工作人员已到现场实地的检查场地，熟悉疏散路线；1. 市场活动执行的意义：市场策划对市场活动的成功占30%的影响，市场活动执行占70%。
Elasticsearch 认证模拟题 - 12
Wolf_xujie的博客
06-08 435
索引中包含了过去11个月的地震信息，请通过一句查询，获取以下信息。
流批一体计算引擎-9-[Flink]中的数量窗与时间窗
qq_20466211的博客
06-07 1176
数量窗和时间窗，处理时间以及事件时间
详解 Flink Table API 和 Flink SQL 之表和 DataStream 的转换
weixin_44480009的博客
06-11 296
【代码】详解 Flink Table API 和 Flink SQL 之表和 DataStream 的转换。
kafka-消费者组（SpringBoot整合Kafka）
小丁的博客
06-06 813
kafka-消费者组。
Nodejs 第七十七章（MQ高级）
qq1195566313的博客
06-11 520
Producer 将消息发送到 MQ 服务端，但并不期望这条消息立马投递，而是延迟一定时间后才投递到 Consumer 进行消费，该消息即延时消息
语言中 函数用地址传参的好处
Awai72723的博客
06-10 413
传递一个指针（通常是一个地址）比传递一个大的结构体或数组要高效得多，因为指针通常是一个固定大小（例如，在32位系统上是4字节，在64位系统上是8字节），而大的结构体或数组可能占用大量内存。在这个示例中，`increment`函数通过指针访问并修改了`main`函数中的变量`a`的值。- 当需要传递大数据结构（如数组或结构体）时，传递指针避免了对数据的拷贝，显著提高了效率。- 如果你希望函数能够修改传递给它的变量的值，那么你需要传递该变量的地址。通过传递指针，函数可以访问和修改原始数据，而不是其副本。
计算机毕业设计Python+Django农产品推荐系统 农产品爬虫 农产品商城 农产品大数据 农产品数据分析可视化 PySpark Hadoop Hive
最新发布
从业计算机毕业设计10年，打算用一年时间分享10年毕设经验！
06-13 812
计算机毕业设计Python+Django农产品推荐系统 农产品爬虫 农产品商城 农产品大数据 农产品数据分析可视化 PySpark Hadoop Hive
常见的50道java面试题及答案【java学习+面试指南】（十）
fengbeely的博客
06-09 835
方法的返回值是指我们获取到的某个方法体中的代码执行后产生的结果！（前提是该方法可能产生结果）。返回值的作用:接收出结果，使得它可以用于其他的操作！索引是一种数据结构,可以帮助我们快速的进行数据的查找。Java程序在执行子类的构造方法之前，如果没有用super()来调用父类特定的构造方法，则会调用父类中“没有参数的构造方法”。
17、关于加强数据资产管理的指导意见
wyz191的专栏
06-09 210
数据资产，作为经济社会数字化转型进程中的新兴资产类型，正日益成为推动数字中国建设和加快数字经济发展的重要战略资源。为深入贯彻落实党中央决策部署，现就加强数据资产管理提出如下意见。
吉林大学 ibm实验
10-20
吉林大学IBM实验的开展，也对大数据和人工智能等领域的研究和应用有着重要的推动作用。通过与IBM的合作，吉林大学能够吸引和聚集更多有才华的研究人员和学生，共同研究和探索创新的科技应用。这将为学校和整个地区的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值