大数据的软件安装
大数据相关软件
无敌火车滴滴开
这个作者很懒,什么都没留下…
展开
-
Flink安装
Flink安装① 上传并解压tar -zxvf flink-1.10.0-bin-scala_2.11.tgz -C /usr/soft/"## bin #执⾏脚本⽬录"## conf #配置⽬录"## examples #案例jar"## lib # 依赖的jars"## LICENSE"## licenses"## log # 运⾏⽇志"## NOTICE"## opt...原创 2020-03-05 21:38:20 · 190 阅读 · 0 评论 -
Spark安装
环境搭建1)Spark On YarnHadoop环境① 设置CentOS进程数和⽂件数(可选)vim /etc/security/limits.conf* soft nofile 204800* hard nofile 204800* soft nproc 204800* hard nproc 204800优化linux性能,修改这个最⼤值,重启CentOS⽣效② 配置主...原创 2020-02-17 22:46:04 · 192 阅读 · 0 评论 -
Scala安装
安装Windows版本安装下载连接:https://downloads.lightbend.com/scala/2.11.12/scala-2.11.12.msi① 点击scala-2.11.12.msi,一直下一步就行。② 配置Scala的环境变量SCALA_HOME变量SCALA_HOME=C:\Program Files (x86)\scalaPATH=C:\Program Fi...原创 2020-02-10 10:55:36 · 76 阅读 · 0 评论 -
Sqoop安装
安装① 访问sqoop的⽹址http://sqoop.apache.org/,选择相应的sqoop版本下载,本案例选择下载的是 1.4.7 下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz,下载完相应的⼯具包后,解压Sqoop。tar -zxvf s...原创 2020-02-09 12:11:55 · 93 阅读 · 0 评论 -
基于hadoop的Hbase安装
Hbase安装1.确保hdfs正常启动,在之前的文章中已将安装好,只不过没有安装Zookeeper2.安装Zookeeper①将压缩包解压到指定文件tar -zxvf zookeeper-3.4.12.tar.gz -C /usr/soft/ ②由于没有zoo.cfg配置文件,所以复制一份新的cp /usr/soft/zookeeper-3.4.12/conf/zoo_sampl...原创 2020-02-04 14:28:09 · 386 阅读 · 0 评论 -
虚拟机安装Centos7并安装jdk搭建hdfs和yarn环境
一.安装Centos71.点击自定义安装2.点击下一步3.选择稍后安装操作系统,点击下一步4.选择操作系统为linux和版本为Centos75.设置虚拟机名称和位置,位置后最好自己命名一个文件夹名称6.直接下一步7.使用网络地址转换8.直接下一步9.选择创建新的虚拟磁盘,注意不要点击立即分配磁盘空间10.直接下一步,然后完成11.完成后先不要着急启动,需要先进行设置,点击CD/...原创 2020-02-03 21:08:53 · 499 阅读 · 0 评论