- 博客(11)
- 收藏
- 关注
RSS订阅原创 Spark安装部署
-检查每个任务正使用的物理内存量，如果任务超出分配值，则将其杀掉，默认是true -->--检查每个任务正使用的虚拟内存量，如果任务超出分配值，则将其杀掉，默认是true -->将其中localhost改成你自己的节点master,slave1,slave2。tar –zxvf spark包名 –C /opt/module。若显示版本号则配置成功。
2024-04-09 09:57:14
287
1
原创 Flink on Yarn安装部署
flink run -m yarn-cluster -yjm 1024 -ytm 1024 examples/batch/WordCount.jar #作业提交的同时申请资源。flink run examples/batch/WordCount.jar #递交作业。yarn-session.sh -n 2 -tm 800 -s 1 -d #申请资源。1)会话(session)模式。2)分离(per-job)模式。
2024-04-08 10:00:15
291
原创 Kafka分布式安装配置
（分发之后修改配置文件，broker改成1和2，主机名改成对应的主机名）(replication副本，partitions分区)（如果消费者上会出现hello world则成功）1)在主节点上创建主题TestTopic。4)在主节点生产者命令行输入一段文字。3)在其他两个节点上分别创建消费者。2)在主节点上启动一个生产者。
2024-04-07 15:40:48
344
原创 Hbase分布式安装配置
tar -zxvf hbase包名 -C /opt/module。--zookooper配置、日志等的存储位置 -->mv hbase-2.2.3 hbase2(非必须)修改HBASE_MANAGES_ZK=false。hbase网址：master:16010。把localhost去掉，修改为。hbase写入数据的目录。
2024-03-27 08:23:25
451
1
原创 Hive安装配置
cat /var/log/mysqld.log | grep password(mysql安装之后默认密码在日志文件里)nohup hive --service metastore &（该方法后台挂起）hive --service metastore(该方法前台启动)-- 远程模式部署metastore服务地址 -->-- jdbc连接的username -->-- jdbc连接的password -->-- jdbc连接的Driver -->-- 关闭元数据存储版本的验证 -->
2024-03-26 10:56:20
1179
1
原创 hadoop3 HA部署
打开三个节点yarn的web页面，发现三个网址都会跳转到slave1的页面，说明只有slave1是active.-- 使用隔离机制时需要 ssh 秘钥登录 下面的路径改成自己的 -->-- ========== rm1 的配置 ========== -->-- ========== rm2 的配置 ========== -->-- ========== rm3 的配置 ========== -->-- 服务的逻辑名称，使用mycluster代替master -->
2024-03-22 11:03:59
709
1
原创 zookeeper安装部署
在zkData中创建文件myid,在myid中加入编号，1（master编号1，slave1编号2…2.配置zookeeper环境变量，编辑文件/etc/profile,添加内容，输入命令使其生效。修改dataDir=/opt/module/zookeeper3/zkData。tar -zxvf zookeeper包名 -C /opt/module。在/opt/module/zookeeper3中创建zkData目录。1.解压zookeeper安装包到/opt/module中。分发之后别忘了修改编号（
2024-03-22 10:51:47
477
原创 hadoop平台完全分布式搭建
2.修改core-site.xml，hdfs-site.xml，yarn-site.xml，mapred-site.xml四个配置文件。（hadoop默认配置文件在/opt/module/hadoop3/share/hadoop中）2.配置JAVA环境变量，编辑文件/etc/profile，添加内容，输入命令，使添加配置生效。1.进入到/opt/module/hadoop3/etc/hadoop目录下。tar -zxvf hadoop包名 -C /opt/module。
2024-03-12 08:38:43
1199
4
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人