spark
谁说大象不能跳舞
喜欢极客,爱好跑步,天生无极限
展开
-
spark-shell访问hive表的时候,必须需要注意的
原创 2019-02-27 22:17:07 · 501 阅读 · 0 评论 -
查看端口号
netstat -antup | grep 9092原创 2019-03-15 21:04:30 · 583 阅读 · 0 评论 -
Spark Streaming整合flume(一)push 方式
一:本地测试streaming整合flume 1)在集群服务器master中的apache-flume/conf中添加 flume-push-streaming.conf配置文件 # Name the components on this agent simple-agent.sources = netcat-source simple-agent.sinks = avro-sink simple...原创 2019-03-12 17:48:07 · 264 阅读 · 0 评论 -
Spark Idea Maven 开发环境搭建
转载:https://www.cnblogs.com/fillPv/p/5882364.html转载 2019-03-12 21:18:22 · 239 阅读 · 0 评论 -
Spark Streaming整合kafka(一)Receiver-based
(1) 启动zookeeper ./zkServer.sh start (2) 启动kafka ./bin/kafka-server-start.sh config/server.properties (3) 创建topic ./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --p...原创 2019-03-12 21:53:24 · 184 阅读 · 0 评论 -
spark程序提交集群,找不到类的错误
1.创建工程,编译一个项目 如果出现这种错误,这个错误是由于Junit版本造成的,可以删掉Test,和pom.xml文件中Junit的相关依赖, 即删掉这两个Scala类:和pom.xml文件中的Junit依赖 刷新Maven依赖 2.写pom文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://...原创 2019-03-13 18:22:22 · 3369 阅读 · 0 评论 -
Spark理论
exector都是装载在container里运行,executor分配的内存是executor-memory,像Yarn申请的内存是(executor-memory+1)*num-executors. AM在Spark中叫driver,AM像RM申请的是executor资源,当分配完后,executor启动,由spark的AM向executor分配task,分配task、分配到哪个executor...原创 2019-03-27 22:39:52 · 287 阅读 · 0 评论
分享