- 博客(8)
- 收藏
- 关注
RSS订阅原创 Spark安装及部署
说明2：Hive任务最终由Spark来执行，Spark任务资源分配由Yarn来调度，该任务有可能被分配到集群的任何一个节点。hadoop102的**/opt/module/hadoop/etc/hadoop/capacity-scheduler.xml** 说明1：采用Spark纯净版jar包，不包含hadoop和hive相关依赖，能避免依赖冲突。修改 hive-env.sh，将 Hive 堆内存改为 2048M，如下。添加如下内容（在执行任务时，会根据如下参数执行）。
2023-10-11 15:56:38
575
原创 Hive安装及环境搭建
注意：主机名需要改为metastore服务所在节点，端口号无需修改，metastore服务的默认端口就是9083。在yarn-site.xml中关闭虚拟内存检查（虚拟内存校验，如果已经关闭了，就不需要配了）。修改配置文件core-site.xml，然后记得分发三台机器。在hive-site.xml文件中添加如下配置信息。 修改后。
2023-10-11 15:56:18
83
原创 Kafka的安装及部署
停止Kafka集群时，一定要等Kafka所有节点进程全部停止后再停止Zookeeper集群。因为Zookeeper集群当中记录着Kafka集群相关信息，Zookeeper集群一旦先停止，Kafka集群就没有办法再获取停止进程的信息，只能手动杀死Kafka进程了。5）修改分区数 （注意：分区数只能增加，不能减少）1）查看操作主题命令参数。4）查看某个主题详情。
2023-10-11 15:53:25
273
原创 Hadoop(HA)
Hadoop(HA)环境搭建1）修改ip和主机名映射<1>修改ip地址（仅限物理机）vim /etc/sysconfig/network-scripts/ifcfg-ens33DEVICE=ens33TYPE=EthernetONBOOT=yesBOOTPROTO=staticNAME="ens33"#根据网络实际情况更改IPADDR=192.168.10.102PREFIX=24GATEWAY=192.168.10.2DNS1=192.168.10.22）安装JD
2023-10-11 15:15:37
29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人