jyyy1990-CSDN博客

原创关于ssh 隧道的远程转发功能，实现云主机到本地机器的访问

关于ssh 隧道的远程转发功能，实现云主机到本地机器的访问

2023-10-13 11:24:59 562

原创调整virtualbox虚机硬盘大小，硬盘扩容

virtualbox硬盘扩容磁盘扩容虚拟分配空间变成实际分配空间

2022-06-30 15:34:23 6226 3

原创 hadoop的ResourceManager NullPointerException起不来报空指针

启动hadoop集群后，发现yarn的web页面打不开，后来jps查看发现resourcemanager没有启动成功，查看日志报了空指针NullPointerException错误：解决办法：cd /tmp我是用root用户启动hadoop的，所以再 rm -rf hadoop-yarn-root，把这个文件夹删掉就能启动了...

2022-06-30 14:11:00 1181

原创提交kafka任务到spark streaming报错：org/apache/kafka/clients/consumer/Consumer

报错org/apache/kafka/clients/consumer/Consumer 网上试了几个办法都没解决，最后把kafka-clients-0.10.0.1.jar和spark-streaming-kafka-0-10_2.11-2.4.5.jar放到master机器spark的jars目录里就不报这个错了，仅供尝试和参考，不保证能解决你的问题。...

2022-06-29 14:28:04 725

背景：我的机子：10.0.2.4是node1(master)，10.0.2.15是node2(slave)，10.0.2.5是node3(slave)，先配置node1.3台机器都要安装好jdk8，然后配置好环境变量，不会的自己百度。一、下载cassandra3.11.6http://archive.apache.org/dist/cassandra/3.11.6/下载然后放到node1机器上，我是放在/opt/cassandra/里，然后解压：cd /opt/cassandra.

2022-05-19 14:01:24 422

原创 centos7 搭建hbase集群，使用自带ZK

首先确保hadoop集群正常运行，还需要确认hadoop和hbase的适配版本，我的hadoop是3.3.2，hbase下的是2.4.11。hadoop3集群部署背景：我的机子：10.0.2.4是node1(master)，10.0.2.15是node2(slave)，10.0.2.5是node3(slave)，先配置node1.hosts文件配置和ssh免密登录等问题看我之前搭建hadoop集群的内容，这里不再强调。一、下载hbasehbase2.4.11下载https://m

2022-05-05 09:44:04 1409

原创 centos7 搭建Spark On Yarn集群

背景：之前我已经搭好了hadoop3和hive3，但是了解hive3.1.2只能匹配spark2.4版本，所以我这次安装spark2.4.5。Hive3Hadoop3首先保证hadoop集群正常启用。我的机子：10.0.2.4是node1(master)，10.0.2.15是node2(slave)，10.0.2.5是node3(slave)，先配置node1.一、安装spark2.4.5①把下好的spark-2.4.5-bin-hadoop2.7.tgz放到nod.........

2022-04-14 10:32:36 2319

原创 centos7 搭建Hive3集群

上一篇写了在centos7上搭建hadoop3集群，这期简单写下hive3。一、Mysqlhive需要mysql，但是我公司开发环境有mysql，所以我没有安装，直接用现成的。二、master安装hive3我的机子：10.0.2.4是node1(master)，10.0.2.15是node2(slave)，10.0.2.5是node3(slave)，先配置node1.①下载hive放到master机器上，我是放在/opt/hive/Index of /hive/hive-3.1.2htt

2022-04-08 17:35:22 3207

原创 centos7上搭建hadoop3集群

准备工作：本人是在本地Windows电脑用虚拟机开了3个centos7，模拟集群状态。所有操作都是在root用户，用其他账号可能会带来问题，建议先在root用户操作，搭建完成没问题了可以用其他账户试试。一、安装jdkhadoop3最低需要jdk8，所以需要先在每个节点上安装jdk8，下载-解压-配置环境变量，这里不再多说，只要保证最后java -version能运行出来就行，3台机子都要装好。二、配置机器名称我的机子：10.0.2.4是node1(master)，10.0.2.15是

2022-03-30 10:12:06 3477 2