spark
文章平均质量分 74
Java页大数据
一点点改变
展开
-
kylin4.0.1安装与填坑
kylin4.0.1安装解压安装包将hdfs-site.xml,core-site.xml,hive-site.xml,spark-defaults.conf文件添加到/$KYLIN_HOME/conf目录下,软连接也可以(建议)将自身的HADOO_HOME,HIVE_HOME,HBASE_HOME,SPARK_HOME的值添加到/$KYLIN_HOME/bin/kylin.sh文件中;内容如下:export HADOOP_HOME=/opt/hadoop-3.3.2export HIVE_原创 2022-05-22 23:46:05 · 1124 阅读 · 1 评论 -
spark2.3.0基于hadoop3.1.0安装
本文选取基于前提要装scala。spark-env.sh配置:JAVA_HOME=/opt/jdk1.8.0_161HADOOP_CONF_DIR=/opt/hadoop-3.1.0/etc/hadoopexport YARN_CONF_DIR=HADOOPHOME/etc/hadoopexportHADOOPCONFDIR=HADOOP_HOME/etc/hadoopexport HADOOP_CONF_DIR=HADOOPHOME/etc/hadoopexportHADOOPCONFD原创 2022-03-24 23:15:52 · 426 阅读 · 0 评论 -
spark知识点
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-WatTekGu-1614914949331)(C:\Users\Thinkpad\AppData\Roaming\Typora\typora-user-images\1614155080812.png)]sparkcore前面spark的rdd是核心,用于sparksql(dataframe、dataset),sparkstreaming和机器学习;spark:基于内存的快速、通用、可扩展的大数据分析计算引擎迭代计原创 2021-03-05 11:31:59 · 270 阅读 · 0 评论