大数据环境搭建
泪痕残
这个作者很懒,什么都没留下…
展开
-
kafka3.2集群搭建
kafka3.2集群搭建原创 2022-07-04 01:22:53 · 741 阅读 · 0 评论 -
Hadoop分布式环境搭建
一、搭建分布式集群三台主机:Master Worker1 Worker2 1.克隆虚拟机,至少3台达到分布式的效果 克隆完后,需分别配置网络和映射2.新建一个目录搭建集群 mkdir app3.解压Hadoop安装包和安装JDK *-env.sh文件配置: export JAVA_HOME=/opt/modules/jdk1.7.0_674.原创 2016-09-29 16:42:41 · 362 阅读 · 0 评论 -
Windows环境配置SBT并创建Scala项目
Windows环境下建议配置SBT的环境变量。(windows上搞开发真是越发蛋疼。)具体步骤不说了,就是把sbt/bin目录配置进PATH。在sbt/bin下有个sbt.bat,查看该bat文件。可以了解到该文件依赖于conf/sbtconfig.txt。在conf/sbtconfig.txt中添加:-Dfile.encoding=UTF8-Dsbt.boot.directory=d:/sbt-r转载 2017-05-16 14:28:12 · 4156 阅读 · 1 评论 -
Hadoop伪分布式环境搭建
1.配置hadoop-env.sh、mapred-env.sh、yarn-env.sh在这三个文件中都添加export JAVA_HOME=/opt/tool/jdk1.7.0_672.配置core-site.xml文件<configuration> <!--指定namenode所在机器的位置和访问交互端口号:--> <property> <name>fs.原创 2016-09-13 10:45:03 · 467 阅读 · 0 评论 -
java.lang.ClassNotFoundException: org.jetbrains.sbt.CreateTasks$
用idea创建sbt+scala的项目时,有时候会报错[error] java.lang.ClassNotFoundException: org.jetbrains.sbt.CreateTasks$[error] at java.net.URLClassLoader.findClass(URLClassLoader.java:381)[error] at java.lang.ClassL...原创 2018-12-05 00:34:27 · 1210 阅读 · 0 评论 -
Centos7+Hadoop2.7.7+Hive2.3.0+Hbase2.0.2+spark2.4+zookeeper3.4.10搭建分布式大数据集群
虚拟机准备3台,分别是hadoop01 hadoop02 hadoop03,所装系统为centos7一、机器基础配置(所有机器)1.修改主机名vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=hadoop01 NETWORKING_IPV6=no PEERNTP=novim /etc/hostname hadoop012.主...原创 2018-12-03 15:40:31 · 4009 阅读 · 0 评论