- 博客(10)
- 资源 (1)
- 问答 (3)
- 收藏
- 关注
RSS订阅原创 hadoop的ResourceManager NullPointerException起不来报空指针
启动hadoop集群后，发现yarn的web页面打不开，后来jps查看发现resourcemanager没有启动成功，查看日志报了空指针NullPointerException错误： 解决办法：cd /tmp我是用root用户启动hadoop的，所以再 rm -rf hadoop-yarn-root，把这个文件夹删掉就能启动了...
2022-06-30 14:11:00
1271
原创 提交kafka任务到spark streaming报错：org/apache/kafka/clients/consumer/Consumer
报错org/apache/kafka/clients/consumer/Consumer 网上试了几个办法都没解决，最后把kafka-clients-0.10.0.1.jar和spark-streaming-kafka-0-10_2.11-2.4.5.jar放到master机器spark的jars目录里就不报这个错了，仅供尝试和参考，不保证能解决你的问题。...
2022-06-29 14:28:04
749
原创 centos7 搭建Cassandra集群
背景：我的机子：10.0.2.4是node1(master)，10.0.2.15是node2(slave)，10.0.2.5是node3(slave)，先配置node1.3台机器都要安装好jdk8，然后配置好环境变量，不会的自己百度。一、下载cassandra3.11.6http://archive.apache.org/dist/cassandra/3.11.6/下载然后放到node1机器上，我是放在/opt/cassandra/里，然后解压：cd /opt/cassandra.
2022-05-19 14:01:24
450
原创 centos7 搭建hbase集群，使用自带ZK
首先确保hadoop集群正常运行，还需要确认hadoop和hbase的适配版本，我的hadoop是3.3.2，hbase下的是2.4.11。hadoop3集群部署背景：我的机子：10.0.2.4是node1(master)，10.0.2.15是node2(slave)，10.0.2.5是node3(slave)，先配置node1.hosts文件配置和ssh免密登录等问题看我之前搭建hadoop集群的内容，这里不再强调。一、下载hbasehbase2.4.11下载https://m
2022-05-05 09:44:04
1438
原创 centos7 搭建Spark On Yarn集群
背景：之前我已经搭好了hadoop3和hive3，但是了解hive3.1.2只能匹配spark2.4版本，所以我这次安装spark2.4.5。Hive3Hadoop3首先保证hadoop集群正常启用。我的机子：10.0.2.4是node1(master)，10.0.2.15是node2(slave)，10.0.2.5是node3(slave)，先配置node1.一、安装spark2.4.5①把下好的spark-2.4.5-bin-hadoop2.7.tgz放到nod.........
2022-04-14 10:32:36
2363
原创 centos7 搭建Hive3集群
上一篇写了在centos7上搭建hadoop3集群，这期简单写下hive3。一、Mysqlhive需要mysql，但是我公司开发环境有mysql，所以我没有安装，直接用现成的。二、master安装hive3我的机子：10.0.2.4是node1(master)，10.0.2.15是node2(slave)，10.0.2.5是node3(slave)，先配置node1.①下载hive放到master机器上，我是放在/opt/hive/Index of /hive/hive-3.1.2htt
2022-04-08 17:35:22
3236
原创 centos7上搭建hadoop3集群
准备工作：本人是在本地Windows电脑用虚拟机开了3个centos7，模拟集群状态。所有操作都是在root用户，用其他账号可能会带来问题，建议先在root用户操作，搭建完成没问题了可以用其他账户试试。一、安装jdkhadoop3最低需要jdk8，所以需要先在每个节点上安装jdk8，下载-解压-配置环境变量，这里不再多说，只要保证最后java -version能运行出来就行，3台机子都要装好。二、配置机器名称我的机子：10.0.2.4是node1(master)，10.0.2.15是
2022-03-30 10:12:06
3518
2
原创 springboot yml配置文件使用@project.xxxx@ 启动报错Do not use @ for indentation
解决方法是：在pom.xml的plugings内添加<plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-resources-plugin</artifactId> <configuration> ...
2019-04-25 09:47:56
10201
1
无法获取root用户，如何在linux系统设置一个开机自启的脚本
2023-10-25
问个MySQL问题，怎么舍弃查询到的不符合条件的第一或第n条记录
2021-06-29
懂Avue的大神，点击dialog中的提交按钮，表单被锁定不能再次编辑
2019-05-10
TA创建的收藏夹 TA关注的收藏夹
TA关注的人