乱七八糟的记录

最新推荐文章于 2023-02-13 22:26:52 发布
最新推荐文章于 2023-02-13 22:26:52 发布
阅读量1k 收藏
点赞数
分类专栏： spark 文章标签： spark 集群调试
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kimyoungvon/article/details/51843336
版权

       本文纯属记录今天的心情，一点技术的内容也没有，所以。。。。。大家懂的。。。。。

      今天测试机调试完了之后，没问题了，三遍确定没问题了之后，parner跟我说放上正式环境试试，其实内心是有点拒绝的，正式环境啊，万一弄挂了岂不是罪恶滔天，但是又有点蠢蠢欲试，所以说干就干。怕死不当程序员，哈哈，放上去之后果然不出所料，挂了，挂了，挂了。然后用万能的（其实是只有一种方法）yarn logs -applicationId xxy来查看问题，然后我懵了，尼玛出现的问题我居然看不懂，看不懂，看不懂 ，然后火急火燎的去找管理员，然后他说他也不懂。当时那个心情真的是。。。。只有死马当活马医了，自己动手，老老实实的去看问题，人如果有依赖，很快就会放弃自己的潜力。终于看出一点端倪，原来是提交的时候参数设置有问题，结果导致一直说什么standby和vertual cores <0 的问题。嗯恩，改完之后，程序果然老老实实的报些看得懂的错误了，然后发现程序没有记录日志，然后急急忙忙的修改了一版放上去，最后看到程序一直running 的日志，心情真的那个舒畅。。。。。。



第一次见识到那么大的集群，说实在的，心里有点小激动。但是一看到分配给自己的资源，立马就蔫了，才3个container,5个core，以下是一些日志打印情况：

16/07/06 16:18:59 DEBUG ipc.ProtobufRpcEngine: Call: getListing took 65ms
16/07/06 16:18:59 INFO losuti.LosutiInfoService: [开始从Hdfs中读取数据,读取数据路径为:/data/xxyy/20160706/15]
16/07/06 16:18:59 ERROR losuti.LosutiInfoService: [从/data/xxxx/yyyy/20160706/15获取数据出错，出错信息为:]
java.lang.IllegalStateException: Cannot call methods on a stopped SparkContext
    at org.apache.spark.SparkContext.org$apache$spark$SparkContext$$assertNotStopped(SparkContext.scala:104)
    at org.apache.spark.SparkContext.defaultParallelism(SparkContext.scala:2061)
    at org.apache.spark.SparkContext.defaultMinPartitions(SparkContext.scala:2074)
    at org.apache.spark.SparkContext.textFile$default$2(SparkContext.scala:825)
    at org.apache.spark.api.java.JavaSparkContext.textFile(JavaSparkContext.scala:184)
    at com.telecom.losuti.LosutiInfoService.getCallRdd(LosutiInfoService.java:195)
    at com.telecom.losuti.LosutiInfoService.main(LosutiInfoService.java:84)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at org.apache.spark.deploy.yarn.ApplisutiMaster$$anon$2.run(ApplisutiMaster.scala:525)
16/07/06 16:18:59 DEBUG ipc.Client: IPC Client (1554752953) connection to NM-304-RH5885V3-BIGDATA-002/10.142.113.2:54310 from wzfw sending #40
16/07/06 16:18:59 DEBUG ipc.Client: IPC Client (1554752953) connection to NM-304-RH5885V3-BIGDATA-002/10.142.113.2:54310 from wzfw got value #40
16/07/06 16:18:59 DEBUG ipc.ProtobufRpcEngine: Call: getFileInfo took 35ms
16/07/06 16:18:59 DEBUG ipc.Client: IPC Client (1554752953) connection to NM-304-RH5885V3-BIGDATA-002/10.142.113.2:54310 from wzfw sending #41
16/07/06 16:18:59 DEBUG ipc.Client: IPC Client (1554752953) connection to NM-304-RH5885V3-BIGDATA-002/10.142.113.2:54310 from wzfw got value #41
16/07/06 16:18:59 DEBUG ipc.ProtobufRpcEngine: Call: getListing took 39ms
16/07/06 16:18:59 INFO losuti.LosutiInfoService: [开始从Hdfs中读取数据,读取数据路径为:/data/xxyy/20160706/15]
16/07/06 16:18:59 ERROR losuti.LosutiInfoService: [从/data/data/xxyy/20160706/15获取数据出错，出错信息为:]
java.lang.IllegalStateException: Cannot call methods on a stopped SparkContext
    at org.apache.spark.SparkContext.org$apache$spark$SparkContext$$assertNotStopped(SparkContext.scala:104)
    at org.apache.spark.SparkContext.defaultParallelism(SparkContext.scala:2061)
    at org.apache.spark.SparkContext.defaultMinPartitions(SparkContext.scala:2074)
    at org.apache.spark.SparkContext.textFile$default$2(SparkContext.scala:825)
    at org.apache.spark.api.java.JavaSparkContext.textFile(JavaSparkContext.scala:184)
    at com.telecom.losuti.LosutiInfoService.getCallRdd(LosutiInfoService.java:195)
    at com.telecom.losuti.LosutiInfoService.main(LosutiInfoService.java:84)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at org.apache.spark.deploy.yarn.ApplisutiMaster$$anon$2.run(ApplisutiMaster.scala:525)
16/07/06 16:18:59 DEBUG ipc.Client: IPC Client (1554752953) connection to NM-304-RH5885V3-BIGDATA-002/10.142.113.2:54310 from wzfw sending #42
16/07/06 16:18:59 DEBUG ipc.Client: IPC Client (1554752953) connection to NM-304-RH5885V3-BIGDATA-002/10.142.113.2:54310 from wzfw got value #42
16/07/06 16:18:59 DEBUG ipc.ProtobufRpcEngine: Call: getFileInfo took 55ms
16/07/06 16:18:59 DEBUG ipc.Client: IPC Client (1554752953) connection to NM-304-RH5885V3-BIGDATA-002/10.142.113.2:54310 from wzfw sending #43
16/07/06 16:18:59 DEBUG ipc.Client: IPC Client (1554752953) connection to NM-304-RH5885V3-BIGDATA-002/10.142.113.2:54310 from wzfw got value #43
16/07/06 16:18:59 DEBUG ipc.ProtobufRpcEngine: Call: getFileInfo took 40ms
16/07/06 16:18:59 DEBUG ipc.Client: IPC Client (1554752953) connection to NM-304-RH5885V3-BIGDATA-002/10.142.113.2:54310 from wzfw sending #44
16/07/06 16:18:59 DEBUG ipc.Client: IPC Client (1554752953) connection to NM-304-RH5885V3-BIGDATA-002/10.142.113.2:54310 from wzfw got value #44
16/07/06 16:18:59 DEBUG ipc.ProtobufRpcEngine: Call: getListing took 35ms
16/07/06 16:18:59 INFO losuti.LosutiInfoService: [开始从Hdfs中读取数据,读取数据路径为:/data/xxyy/20160706/15]
16/07/06 16:18:59 ERROR losuti.LosutiInfoService: [从/data/xxyy/20160706/15获取数据出错，出错信息为:]
java.lang.IllegalStateException: Cannot call methods on a stopped SparkContext
    at org.apache.spark.SparkContext.org$apache$spark$SparkContext$$assertNotStopped(SparkContext.scala:104)
    at org.apache.spark.SparkContext.defaultParallelism(SparkContext.scala:2061)
    at org.apache.spark.SparkContext.defaultMinPartitions(SparkContext.scala:2074)
    at org.apache.spark.SparkContext.textFile$default$2(SparkContext.scala:825)
    at org.apache.spark.api.java.JavaSparkContext.textFile(JavaSparkContext.scala:184)
    at com.telecom.losuti.LosutiInfoService.getCallRdd(LosutiInfoService.java:195)
    at com.telecom.losuti.LosutiInfoService.main(LosutiInfoService.java:84)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at org.apache.spark.deploy.yarn.ApplisutiMaster$$anon$2.run(ApplisutiMaster.scala:525)



  虽然是跑通了，但是一个应用跑下来半个小时妥妥的，半个小时啊，这个mr有什么区别，今天过来的时候发现居然相同的任务要2个小时，没错，绝对没看错，超过了两个小时。这是绝对不能接受的，因此大家开始了优化代码的讨论了，讨论来讨论去，结果代码没有什么需要修改的。其实我一直有个疑问，为什么会给我分配那么少的资源呢，后来才知道其实是分配了好多的资源，只是分配给应用的很少。所以我尝试着修改了一下参数如下： 
/home/wzfw/spark-1.5.1/bin/spark-submit  --name loc--master yarn-cluster --driver-memory 8g --executor-memory 8g  --executor-cores 4  --num-executors 1600 --class com.tel.loc.LocService  /home/fw/jars/loc-0.0.1-SNAPSHOT.jar $1 $2 10

--driver-memory 8g --executor-memory 8g  --executor-cores 4  --num-executors 1600主要修改了这几个参数，其中--num-executors 1600是最为关键的。1600个并发。

然后神奇的只用了2分钟不到。我去，果断关机回家

fjr_huoniao
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
zeppelin报错 java.lang.IllegalStateException: Cannot call methods on a stopped SparkContext. This stop
yy的博客
05-19 5302
报错:java.lang.IllegalStateException: Cannot call methods on a stopped SparkContext. This stopped SparkContext was created at: 原因之一是之前你在spark webui里面吧zeppelin给kill掉了;zeppelin以为他自己还连着spark,直接就去拿sparkContext,然而并没有,所以报错; 解决方法: zeppelin页面,右上角点击,选int...
异常-User class threw exception: java.lang.IllegalStateException: Cannot call methods on a stopped Spa...
05-09 1283
1 详细信息 User class threw exception: java.lang.IllegalStateException: Cannot call methods on a stopped SparkContext. This stopped SparkContext was created at: org.apache.spark.SparkContext.&l...
C# for CSDN 乱七八糟的看不懂
06-03
没法下载，到这里折腾一把试试。 本文由abc2253130贡献 doc文档可能在WAP端浏览体验不佳。建议您优先选择TXT，或下载源文件到本机查看。 C#（WINFORM）学习 一、 C#基础 基础 类型和变量 类型和变量 类型 C# 支持两种类型：“值类型”和“引用类型”。值类型包括简单类型（如 char、int 和 float 等）、枚举类型和结构类型。引用类型包括类 (Class)类 型、接口类型、委托类型和数组类型。 变量的类型声明 变量的类型声明 每个变量必须预先声明其类型。如 int a; int b = 100; float j = 4.5; string s1; 用 object 可以表示所有的类型。 预定义类型 下表列出了预定义类型，并说明如何使用。 类型 object 说明 所有其他类型的最终 基类型 字符串类型； 字符串是 Unicode 字符序列 8 位有符号整型 16 位有符号整型 32 位有符号整型 64 位有符号整型 示例 object o = null; 范围 string sbyte short int long string s = "hello"; sbyte val = 12; short val = 12; int val = 12; long val1 = 12; -128 到 127 -32,768 到 32,767 -2,147,483,648 2,147,483,647 -9,223,372,036,854,775,808 到 第1页 C#（WINFORM）学习 long val2 = 34L; 到 9,223,372,036,854,775,807 byte ushort 8 位无符号整型 16 位无符号整型 byte val1 = 12; ushort val1 = 12; uint val1 = 12; uint 32 位无符号整型 uint val2 = 34U; ulong val1 = 12; ulong val2 = 34U; ulong 64 位无符号整型 ulong val3 = 56L; ulong val4 = 78UL; float 单精度浮点型 float val = 1.23F;7 位 double val1 = 1.23; double 双精度浮点型 double val2 = ±5.0 × 10?324 ±1.7 × 10 308 0 到 255 0 到 65,535 0 到 4,294,967,295 0 到 18,446,744,073,709,551,615 ±1.5 × 10?45 ±3.4 × 10 38 到 到 4.56D;15-16 布尔型；bool 值或为 真或为假 字符类型；char 值是 一个 Unicode 字符 精确的小数类型， 具有 28 个有效数字 bool val1 = true; bool val2 = false; char val = 'h'; decimal val = bool char decimal DateTime ±1.0 × 10?28 ±7.9 × 10 28 到 1.23M;28-29 变量转换 简单转换： float f = 100.1234f; 可以用括号转换： short s = (short)f 也可以利用 Convert 方法来转换： string s1; s1=Convert.ToString(a); MessageBox.Show(s1); 常用 Convert 方法有： 第2页 C#（WINFORM）学习 C# Convert.ToBoolean Convert.ToByte Convert.ToChar Convert.ToDateTime Convert.ToDecimal Convert.ToDouble Convert.ToInt16 Convert.ToInt32 Convert.ToInt64 Convert.ToSByte Convert.ToSingle Convert.ToString Convert.ToUInt16 Convert.ToUInt32 Convert.ToUInt64 备注 Math 类 常用科学计算方法： C# Math.Abs Math.Sqrt Math.Ro
interview:面试以及乱七八糟的资料整理
05-02
菜狗切图仔面经2.0 努力只能及格，拼命才能优秀 WLB 看了很多人分享的面经，觉得以: 问 - 答 - 资料 的形式阅读起来最高效 面试记录在，并且面经会根据面试的进行不断更新 导读 - 作为切图仔，基本使命即将一个页面呈现出来，了解从输入网址敲下回车开始，直至页面完全展现都发生了什么 - 所有知识点基本都是为了这一过程服务，除了通过工程化提升开发效率外，多数知识点就是为了优化这一过程。并且作为面经，手摇目标应该是为了回答面试问题，所以面经2.0的组织方式为: 问题 - 解答 - 优化 - 延伸资料 基础 DNS 问: DNS 问: DNS查询过程 问: 资源就近访问的原理 优化 延伸 TCP/IP 问: TCP三次握手、四次挥手 问: TCP 和 UDP 的区别 问: 拥塞控制 HTTP 问: HTTP常见状态码的含义 问: HTTP 301 \ 302区别，对SEO的影响 问: H
leetcode2-blog-gen:乱七八糟的笔记和代码，浏览者将会产生眩晕、恶心等不适症状
06-29
leetcode 2 blog-gen 本想记录一些，用hugo生成，特开此repo。怎料懒癌又犯，就直接markdown吧 XMR 41e143PwENwR3vbHrzLjVDPLVVed2ktn9KevUAjQ7XYicduskYTpAj4XYKVfJ4NYwd8XsD8CFQVXEbuDWgc9rmMHQepCWjm
zmj-note：记录开发生涯的点滴
02-28
我的编程笔记 程序员 :laptop_computer:生涯的技术笔记 技术为主 :wrench: 乱七八糟 :reminder_ribbon: 注意参考 :open_book: 下载 git clone https://github.com/ZanMinKian/zmj-note.git 用法 :page_with_curl:使用打开。 关于作者 高级节点工程师 :white_medium_star: :white_medium_star: :white_medium_star: :white_medium_star: Java工程师 :white_medium_star: :white_medium_star: 关于本仓库 还有其他笔记和知识总结散乱各处，后续收集于此 :basket: 。 持续更新:writing_hand_medium-light_skin_tone:。 欢迎斧正 :axe: 。 沟通联系 :envelope_with_arrow:
Thingboard只是用于记录内容的简单板。-JavaScript开发
05-26
Thingboard只是用于记录内容的简单板。 经常在工作时，我发现自己在寻找可以记笔记的地方以帮助我进行思考和组织，但是我不想在纸上乱七八糟，能够复制并粘贴笔记很不错。我使用的其他工具。 Thingboard可以作为我可以移动和调整大小的便利贴样式的笔记板来满足我的需求。 它将数据保存到浏览器的本地存储中。 ThingboardingThingboard只是一个用于记录内容的简单板。 经常在工作时，我发现自己在寻找可以记笔记的地方，以帮助我进行思考和组织，但是我不想在纸上乱七八糟，能够复制并粘贴笔记真是太好了。我使用的其他工具。 Thingboard可以作为我可以移动和调整大小的便利贴样式的笔记板来满足我的需求。 它将数据保存到浏览器的本地存储中。 您可以尝试在Repl上部署的东西板。
【pyspark】No active SparkContext
littlemichelle
08-14 3230
运行pyspark的时候出现了以下错误： Py4JJavaError: An error occurred while calling o2198.csv. : java.lang.IllegalStateException: Cannot call methods on a stopped SparkContext. This stopped SparkContext was created at: pyspark java.lang.IllegalStateException: Cann.
TasksetManager冲突导致SparkContext异常关闭
hellozhxy的博客
12-06 1737
背景介绍 当正在悠闲敲着代码的时候，业务方兄弟反馈接收到大量线上运行的spark streaming任务的告警短信，查看应用的web页面信息，发现spark应用已经退出了，第一时间拉起线上的应用，再慢慢的定位故障原因。本文代码基于spark 1.6.1。 问题定位 登陆到线上机器，查看错误日志，发现系统一直报Cannot call methods on a stopped SparkConte...
Scala04
liweihope的博客
05-07 264
1.关于s…$ 一般我们要输出，什么东西直接这样写： object StringApp { def main(args: Array[String]): Unit = { val name = "zhangsan" println("name : " + name) //这个地方直接 +name } } 但是上面这种写法，不友好 在scala中有种叫做 字符串插值 ...
SparkContext.textFile读取文件
南风知我意
02-13 3694
SparkContext.textFile读取文件
Hadoop64位版本安装后遇到的警告处理
热门推荐
萝卜地里的兔子的博客
01-13 1万+
在使用hadoop的过程中，会遇到一个警告，内容如下： WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 对于这个问题网上很多说法是由于系统位数和所下载的hadoop的位数不
Hadoop RPC协议之　ProtobufRpcEngine
houzhizhen的专栏
12-04 7841
用ProtobufRpcEngine来实现一个简单的RPC协议 add_test.proto package rpcTest.protobuf; option java_package = "rpcTest.protobuf"; option java_outer_classname = "ClientProto"; message AddParameters { optional int
spark中读取路径下的多个文件（spark textFile读取多个文件）
weixin_44280356的博客
11-15 1306
1.spark textFile读取File 1.1 简单读取文件 val spark = SparkSession.builder() .appName("demo") .master("local[3]") .getOrCreate() // 读取hdfs文件目录 spark.sparkContext.textFile("/user/...
Spark 中 JVM 内存使用及配置详情、spark报错与调优、Spark内存溢出OOM异常
.
05-08 6249
一般在我们开发spark程序的时候，从代码开发到上线以及后期的维护中，在整个过程中都需要涉及到调优的问题，即一开始需要考虑如何把代码写的更简洁高效调优(即代码优化)，待开发测试完成后，提交任务时综合考量该任务所需的资源(这里涉及到资源调优)，上线后是否会出现数据倾斜问题(即倾斜调优)，以及是否出现频繁GC问题(这里涉及到GC调优)。 那么本篇通过反推的模式，即通过GC调优进行延伸扩展，比如出现GC问题是不是可能出现了倾斜？如果没有出现倾斜，是不是我们给的资源不足？如果资源...
spark使用SparkContext.textFile(path)方法读取文件报错
qq_38084396的博客
12-22 4020
代码： public class Wordcount { private static final Pattern SPACE = Pattern.compile(" "); public static void main(String[] args) { SparkConf sparkConf = new SparkConf().setAppName("sparkBoot").setMaster("local"); JavaSparkContext s
【spark】spark异常：execute, tree:XXXX
lsr40的博客
04-04 3750
本人菜鸡一只，在写代码的时候，经常会遇到这样或者那样的报错，而且脑子还不好，容易忘事，所以得用烂笔头记下来，希望以后能够越来越不蠢！ 最近在跑一段spark的时候，报了异常，大概上就是这样： execute, tree: Exchange hashpartitioning(字段1#2374, 字段2#2378, 字段3#2373, 5000) +- *HashAggregate(keys=[...
wps文字转word文档为什么格式会乱七八糟
最新发布
07-09
WPS文字转Word文档格式乱七八糟可能是由于以下几个原因导致的： 1. 版本兼容性问题：WPS和Word是两款不同的办公软件，它们使用的文件格式不完全相同。当你使用WPS文字转换为Word文档时，某些格式可能无法完全转换或被转换成不同的格式，导致文档格式混乱。 2. 复杂格式处理问题：如果原始文档中包含复杂的格式，如表格、图表、插图等，WPS文字转换为Word可能无法完全保留原始格式，并且可能会出现错位、缺失或乱码等问题。 3. 字体兼容性问题：WPS和Word使用的字体库有所不同，如果原始文档中使用了某些特殊字体，在转换过程中可能会导致字体替换或无法显示的问题，进而影响整体文档的格式。 为避免格式混乱，你可以尝试以下方法： 1. 使用相同软件：如果可能的话，建议在同一款软件中完成文档的编辑和转换，例如，在WPS中编辑的文档最好在WPS中进行转换。 2. 简化格式：在进行转换前，尽量避免使用过多的复杂格式和特殊字体，尽量使用常见的字体和格式，以增加转换的成功率。 3. 逐步转换：如果你的文档比较复杂，可以将文档分成多个部分进行转换，以便更好地处理格式问题。 4. 检查转换结果：在转换后，务必仔细检查文档的格式，并进行必要的调整和修复，以确保文档的可读性和准确性。 需要注意的是，由于WPS和Word是两个不同的软件，无法保证在转换过程中完全保留原始文档的格式，因此可能会存在格式混乱的情况。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值