大数据相关
文章平均质量分 68
m是只奶牛猫
兴趣是最好的老师~
展开
-
Ambari-2.7.5在麒麟V10操作系统中的集群部署(二)
查看麒麟系统的python2和python3的模块包site-packages,发现2.7的模块很少,没有yum其他的依赖也少的可怜,3.7倒是有很多,也有dnf和之前设置的软链yum。经过之前安装Ambari,yum是可以正常使用的,但仍然出现该错误,可能是因为yum模块的路径没有正确设置。,使用的是python3,这里又与Ambari的安装调用python有点出入。,注意ambari-server.py使用的是python2,所以我们的思路是给python2装一个可用的yum。原创 2023-07-06 17:17:00 · 1143 阅读 · 8 评论 -
Ambari-2.7.5在麒麟V10操作系统中的集群部署(一)
关于安装包的下载和前期服务器准备工作,可以参考另一位博主的文章:http://t.csdn.cn/Yj6Ub 第一章第一节安装包准备。MySQL数据库的安装(tar.gz包):http://t.csdn.cn/7mpJL (rpm包可以自行百度)配置/etc/ambari-server/conf/ambari.properties,添加如下行。麒麟操作系统-01-java环境说明和安装:http://t.csdn.cn/tN1ju。在主节点(安装server的节点)启动ambari-server。原创 2023-06-30 17:46:58 · 763 阅读 · 2 评论 -
麒麟操作系统-06-Kafka3.0.0安装与部署
生产者将消息发布到一个或多个数据流主题(topic),消费者可以选择订阅一个或多个主题,并接收其中的消息。在kafka2的版本中,对kafka都是强依赖。这里选用3版本,但还是依赖了zookeeper,以防未来某些特定情况下有脱离zookeeper的需求,直接切换即可,无需卸载重新安装部署。在我们大数据项目中,一定少不了Kafka,它是一种高吞吐量、分布式的消息队列系统,可以处理大量的数据流,具有高可靠性和可扩展性。类似的每台都需要单独启动的组件,我们都编辑一个脚本,利用ssh进行脚本一键启动。原创 2023-06-02 15:45:42 · 679 阅读 · 0 评论 -
麒麟操作系统-05-Zookeeper3.8.0安装与部署
我们用到的很多组件都需要依赖zookeeper提供的方案来实现分布式、高可用和协作等方面的需求。如:Hadoop的HA、Kafka、HBase、Storm、Cassandra等。原创 2023-06-02 15:25:17 · 497 阅读 · 0 评论 -
麒麟操作系统-04-Hive3.1.2安装与部署
Hive 3.1.2相对于之前的版本,在查询性能、事务能力、SQL标准支持等方面均有不小的改进和优化,是一个更加稳定、高效的版本。HADOOP_HOME替换为自己hadoop的安装目录,$HIVE_HOME替换为自己的hive安装目录,没有配置环境变量的话,不要直接复制粘贴。使用远程工具连接hive,先开启metastore,再开启hiveserver2,才能使用工具连接hive!替换过来,删除自带的低版本。原创 2023-06-02 15:02:19 · 274 阅读 · 0 评论 -
麒麟操作系统-02-hosts域名映射、ssh免密等。
生产环境下,有些服务器本身就在内网中,无法连接外网,也可以关闭防火墙。但如果是可联网的服务器,要斟酌,要搞清楚是否需要防火墙开启,如果需要开启,则不能关闭防火墙,跳过此步,看第4步。另外,最好是将自己使用的电脑(window或mac),都找到hosts文件进行同样的设置,这样你在本机上访问虚拟机的时候就可以不使用ip,直接使用node1或2,3即可.如果是虚拟机的话,要在修改了每台虚拟机的固定ip之后进行设置。虚拟机一定要执行该操作,因为你防火不防火无所谓的。host、ssh免密、防火墙等工作。原创 2023-06-01 11:34:18 · 4450 阅读 · 2 评论 -
为什么Spark比MapReduce快?
Spark比MapReduce要快的原因是什么?spark一定比mapreduce要快吗?原创 2023-04-17 22:35:22 · 315 阅读 · 0 评论