大数据
猪猪窝在被窝里
这个作者很懒,什么都没留下…
展开
-
Flume配置文件
Source、Channel、Sink有哪些类型 Flume Source Source类型 | 说明 Avro Source | 支持Avro协议(实际上是Avro RPC),内置支持 Thrift Source | 支持Thrift协议,内置支持 Exec Source | 基于Unix的command在标准输出上生产数据 JMS Source | 从JMS系统(消息、主原创 2020-08-18 19:43:47 · 563 阅读 · 0 评论 -
Hbase的坑
https://blog.csdn.net/sjhuangx/article/details/81155808 遇到问题: https://blog.csdn.net/ouzhuangzhuang/article/details/89876238 stop-hbase.sh关不掉 https://blog.csdn.net/ouzhuangzhuang/article/details/89876238转载 2020-08-05 17:19:26 · 107 阅读 · 0 评论 -
小问题
1.JDK配置时要把$PATH写在最后。如果JDK配置始终不成功(java-version没变化),很有可能是写配置文件的时候有笔误原创 2020-08-05 09:17:19 · 96 阅读 · 0 评论 -
虚拟机时钟调整
转载:https://www.cnblogs.com/xhnxhnu/p/9807338.html转载 2020-08-05 09:14:18 · 473 阅读 · 0 评论 -
ssh方式hadoop分布式搭建 令人发指的坑
1.搭建ftp服务器时sentenforce不会就别开,开了可能就无论如何都ssh不上了。幸好之前配置了一个免密登陆主机,登陆进去执行了 sudo sentenforce 0,幸免于难 2.某些jdk很奇怪,下面只有一个jre目录,把他们配置成JAVA_HOME会出问题如下图(至少在Hadoop和spark上我遇到了问题)。还得把JAVA_HOME改成jdk/jre 3.或许是这个JDK和我八字不合。java-1.8.0-openjdk-1.8.0.252.b09-2.e16_10.x86_64。绝大多数原创 2020-05-14 10:17:10 · 108 阅读 · 0 评论 -
Spark分布式集群搭建
Spark分布式集群搭建Hadoop分布式集群环境搭建安装配置SparkSpark启动与关闭集群上运行Spark应用程序 Hadoop分布式集群环境搭建 ubuntu18.04也需要关闭各个节点的防火墙,否则Slave节点数据无法反馈到Master节点。 sudo ufw disable hadoop3以后的版本,web界面查看任务的地址是http://master:9870/,之前的版本是ht...原创 2020-05-13 23:48:37 · 191 阅读 · 0 评论 -
基于Centos搭建FTP服务1
转载自教程转载 2020-05-13 21:17:10 · 117 阅读 · 0 评论 -
Hadoop集群安装环境搭建-纯命令行
Hadoop集群安装环境搭建-纯命令行Hadoop集群安装配置流程Master节点安装SSH serverMaster节点安装JAVA环境Master节点安装Hadoop并完成配置Slave节点安装SSH server,JAVA环境修改Master和Slave的主机名及IP主机名对应文件。Master节点无密码SSH登陆到Slave节点配置集群/分布式环境Master节点上的/usr/local/...原创 2020-04-28 22:46:10 · 257 阅读 · 0 评论