- 博客(10)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 the server responded with a status of 415问题
主要是前端 contentType"application/json;charset=UTF-8";“application/x-www-form-urlencoded” 写了传入类型问题后端和前端接受的类型必须一致。前端是"application/json;charset=UTF-8" 后端是"application/json;charset=UTF-8"，最好顺序保持一致前端是"appl...
2019-04-03 17:59:31
3101
1
原创 用sparkRDD进行分组排序使用groupbykey+ flatmap + zipWithIndex
val conf = new SparkConf().setAppName(“name”).setMaster(“local[2]”)val context = new SparkContext(conf)//context.makeRDD(List[])val ssh = List((“ma”,3),(“ma”,4),(“ma”,5),(“mb”,2),(“mb”,5))val unit...
2019-02-26 13:50:49
1394
原创 spark整合hive
1.将hive所在的节点的hive-site.xml复制到SPARKHOME/conf目录下2.将复制到SPARK_HOME/conf 目录下2.将复制到SPARKHOME/conf目录下2.将复制到SPARK_HOME/conf 目录下hive-site.xml进行修改，如下hive.metastore.uristhrift://hadoop01:9083我的hive所在节点为ha...
2018-09-29 15:50:27
450
原创 关于spark和scala版本冲突问题
在pom.xml 中进行配置相应版本的配置，例如spark1.6.2 兼容scala2.10.5下面，我提供一个兼容的pom.xml文件4.0.0com.aura.bigdatameituan-log-analysis1.0-SNAPSHOT2008<project.build.sourceEncoding>UTF-8</project.build.source...
2018-09-29 15:37:10
2232
原创 spark on yarn部署方案
1.在spark中spark-env.sh添加如下：export HADOOP_CONF_DIR=/home/hadoop/hadoop/hadoop-2.7.6/etc/hadoop/2.2. 拷贝 yarn-site.xml, hdfs-site.xml, core-site.xml 配置文件到$SPARK_HOME 下，重点是 yarn-site.xml，因为在搭建 spark ha ...
2018-09-29 15:32:30
1333
原创 IDEA中创建maven出现的问题
1.加载本地依赖库不更新的问题解决方案：进入IDEA -》 点 file -> settings -> build execution Deployment -> build Tools-> maven点击maven 如下查看maven下-》 Repositiorieshttps://repo.maven.apache.org/maven2 如果报红，点击up...
2018-09-28 17:52:53
236
原创 spark的安装总结
安装容易产生的错误：spark不需要设置环境变量，因为spark在/home/hadoop/spark/spark-2.3.1-bin-hadoop2.7目录下启动sbin/start-all.sh如果设置spark环境变量，直接启动start-all.sh 会启动hadoop的集群spark集群的搭建，进行web ui master 现行aclive worker有几个工作节点，说明s...
2018-09-26 11:39:53
1021
原创 kafka的shell命令
kafka的 shell 命令启动集群每个节点的进程nohup kafka-server-start.sh /home/hadoop/kafka/kafka_2.11-1.1.0/config/server.properties 1>~/logs/kafka_std.log 2>~/logs/kafka_err.logs &创建kafka的topickafka-t...
2018-09-26 11:38:38
150
原创 kafka的安装
Kafka的安装步骤1、 安装JDK 1.82、 安装zookeeper3、 解压安装包a) tar -zxvf kafka_2.11-1.1.0.tgz4、 修改配置文件a) cd $KAFKA_HOME/configb) vi server.propertiesc) 修改以下内容：broker.id=1 ## 当前集群中的每个 broker 节点的一个唯一编号，每个节点都不一...
2018-09-26 11:33:20
80
taobao.xlsx
2020-11-06
高等数学、概率论、线性代数书电子版
2018-12-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人