![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop搭建
文章平均质量分 78
查布嘎ghw
Every stage needs to be recognized, and a lot of details can be discovered after being serious.
展开
-
10.Linux下Scala安装与配置
(1)安装Scala1.用Xfpt将Scala-2.11.8.tgz传到虚拟机中2.解压缩(2)配置Scala1.把scala命令添加到path环境变量中2.查询scala版本号(3)启动Scala本案例软件包:链接:原创 2022-10-23 19:05:27 · 1495 阅读 · 0 评论 -
13.Linux下sbt编译打包Spark程序 和 Maven编译打包Scala程序
README文件中包含“a”和“b”的行数,并打印结果。这段代码的作用是计算/usr/local/通过spark-submit运行程序。原创 2022-10-23 12:23:34 · 1360 阅读 · 2 评论 -
12.Linux下安装编译打包工具sbt和maven
如上图所示:安装完成!(1)安装sbt打包工具1.先用xftp将sbt.launch.jar传到home/hadoop/Downloads文件夹下,然后把sbt安装到/usr/local/sbt2.在/usr/local/sbt下创建sbt脚本:(2)安装maven用xftp将apache-maven-3.6.3-bin.zip 传到home/hadoop/Downloads文件夹下原创 2022-10-23 11:51:17 · 854 阅读 · 6 评论 -
11.Linux下Spark的安装配置以及spark-shell的启动和 Spark集群环境搭建
(1)安装Spark1.先用xftp将安装包传到home/hadoop/Downloads文件夹下,然后解压安装。2.解压缩:3. 更改文件夹名称:4.修改hadoop用户对文件夹spark的访问权限:(2)配置1.复制一份由Spark安装文件自带的配置文件模板:如图所示:返回结果:Pi is roughly 3.144115720578603。原创 2022-10-23 11:14:08 · 13394 阅读 · 8 评论 -
9.Linux下Hbase的安装配置(完全分布式)(伪分布式)(HA高可用)
完成此步骤需要1、配置独立的外部ZooKeeper集群,不使用HBase内置的ZooKeeper。2、由于依赖于HDFS存储数据,因此部署HBase的完全分布式之前必须有一个正常运行的HDFS集群。(Hadoop集群)以上两步没有配置的可以去我的另两篇博客配置Hadoop的完全分布式搭建ZooKeeper的完全分布式搭建。原创 2022-10-20 18:17:39 · 302 阅读 · 0 评论 -
7.Linux下Zookeeper的完全分布式的安装配置
由于每次启动和关闭Zookeeper集群都要在三台虚拟机分别进行,效率较低,我们可以在master节点编写启动脚本。分别在slave01和slave02的zookeeper文件夹下执行以下命令。其中”1“,”2“,”3“使myid,要求是1~255的整数。在master,slave01,slave02分别执行以下代码。(2)使用jps命令查看Zookeeper进程是否启动。(3)当启动成功,查看zookeeper状态失败。(1)查看Zookeeper服务器的启动状态。执行xzk-start.sh如图所示。原创 2022-10-16 21:31:18 · 581 阅读 · 1 评论 -
8.Linux下Hive以及MySQL的安装与配置
这时分别打开hadoop文件夹下/share/hadoop/common/lib和hive文件夹下/lib路径,输入命令ll看一下guava.jar版本号是否一致,如果不一致,删除其中低版本,将高版本拷贝过去重新启动hive即可。然后在/usr/local/hadoop/share/hadoop/common/lib下执行。通过对比发现hive下的guava.jar的版本号低一些,然后删除低版本。如果出现下图报错,记住版本号(图中标出了)输入如下代码。查看hive下的guava.jar。原创 2022-10-16 19:40:33 · 2024 阅读 · 4 评论 -
6.Linux下配置Hadoop集群之完全分布式配置
否则,需要查看命令是否正确,或此前Hadoop 集群的安装和配置是否正确。此外需要注意的是,上述格式化命令只需要在Hadoop集群初次启动前执行一次即可,后续重复启动时不需要执行格式化。在配置上述文件中,HDFS数据块的副本数量(默认值为3)其中配置了Secondarynamenode,namenode所在的主机IP和端口,HDFS块的副本数和临时文件存放的目录。配置了HDFS的主进程NameNode运行主机(Hadoop集群主节点),还有Hadoop集群运行时生成数据的临时目录。原创 2022-10-15 20:23:50 · 2027 阅读 · 0 评论 -
5.Linux下配置Hadoop集群之安装JDK及Hadoop
执行命令source /etc/profile使配置文件生效。执行命令source /etc/profile使配置文件生效。执行命令,若显示版本信息,说明JDK安装和配置成功。如图所示:JDK版本号可以看到了,JDK安装完成。将JDK解压到了/usr/local/文件夹。查看Hadoop安装路径,输出以下信息即为正确。至此JDK和Hadoop的安装成功。打开~/.bashrc文件夹。打开profile文件。执行命令使配置文件生效。在PATH路径后添加。原创 2022-10-15 16:58:08 · 404 阅读 · 0 评论 -
4.Linux下配置Hadoop集群之SSH免密服务配置及Xshell与Xftp的连接使用
使用su root进入root账户,再使用vi /etc/sudoers对/etc/sudoers文件夹进行修改。保存退出root,修改成功之后再以hadoop账户登录就可以使用sudo命令了(可以在三台虚拟机都执行此操作)。在下面找到root ALL=(ALL) ALL这一行代码,在下方添加hadoop ALL=(ALL) ALL。(1)分别删除虚拟机master,slave01,slave02的~/.ssh 目录。左上角鼠标左键点击文件,点击新建。左上角鼠标左键点击文件,点击新建。原创 2022-10-14 20:54:31 · 1406 阅读 · 0 评论 -
3.Linux下配置Hadoop集群之从节点(slave01,slave02)网络配置
(1)虚拟机克隆vi /etc/sysconfig/network-scripts/ifcfg-eth0vi /etc/udev/rules.d/70-persistent-net.rules正常接收数据,并且延迟正常,说明网络连接正常。至此,虚拟机网络配置完毕。原创 2022-10-14 19:25:28 · 2037 阅读 · 0 评论 -
2.Linux下配置Hadoop集群之主节点(master)网络配置
(1)点击虚拟机左上角编辑选中虚拟网络编辑器(2)网络参数配置原创 2022-10-14 18:10:11 · 2431 阅读 · 1 评论 -
1.在window10下安装Vm ware16 及安装Centos虚拟机
更改自己的存储位置:建议放到D盘里 可选可不选: 然后重启电脑:打开vmware16点击创建新的虚拟机:选择自定义,然后下一步选择安装程序:找到自己下载的文件夹的位置(选择DVD.iso文件)定义Linux的主机名为master用户名为:hadoop并设置密码: 然后在D盘中新建文件夹master,slave01,slave02。分别存放3台虚拟机。 建议设置磁盘大小为20G 安装完成:点击开启虚拟机: 开始安装Centos,静静等待!!!加载完镜像:计算机自启虚拟机。(无需操作,自动运行)启动完成:选原创 2022-10-14 17:00:09 · 696 阅读 · 0 评论