- 博客(18)
- 收藏
- 关注
RSS订阅转载 IDEA执行spark程序报集群资源错误
问题描述：使用IDEA在windows端执行spark程序提交任务到集群，一直不结束，并报如下警告WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have ...
2018-03-08 13:19:00
900
转载 CDH SparkOnYarn执行中executor内存限制问题
因为配置了spark如下参数，启动spark-shell报错export SPARK_WORKER_CORES=5 export SPARK_WORKER_INSTANCES=4export SPARK_WORKER_MEMORY=50Gexport SPARK_WORKER_WEBUI_PORT=8081export SPARK_EXECUTOR_CORES=2...
2018-03-08 13:13:00
995
转载 hadoop datanode只能启动2个
问题描述：集群原始组成部分为：Master、Slave1、Slave2后来有添加一台Slave3，配置完相应的文件后，启动hadoop、spark发现只启动了Slave1、Slave3两个datanode，后来停止掉hadoop服务后，再次启动，这次只启动了Slave1、Slave2，jps查看Slave3的进程也没有datanode，但是对于yarn、spark此机器确实有启动对应...
2018-03-08 13:10:00
844
转载 kafka启动报错Configured broker.id 1 doesn't match stored broker.id 2 in meta.properties
问题描述：更改server.properties后启动kafka集群报错如下，提示brokerid 1不能匹配已经存储的元数据信息brokerid 2FATAL Fatal error during KafkaServerStartable startup. Prepare to shutdown (kafka.server.KafkaServerStartable)k...
2018-03-08 11:26:00
666
转载 spark streaming kafka Couldn't find leader
问题描述：使用spark streaming接受kafka数据（使用direct方式）报错Couldn't find leader offsets for Set([test,0], [test,1], [test,3])Exception in thread "main" org.apache.spark.SparkException: java.nio.cha...
2018-03-08 11:24:00
471
转载 spark出现task不能序列化错误的解决方法 org.apache.spark.SparkException: Task not serializable...
出现“task not serializable"这个错误，一般是因为在map、filter等的参数使用了外部的变量，但是这个变量不能序列化。特别是当引用了某个类（经常是当前类）的成员函数或变量时，会导致这个类的所有成员（整个类）都需要支持序列化。解决这个问题最常用的方法有：如果可以，将依赖的变量放到map、filter等的参数内部定义。这样就可以使用不支持序列化的类；如果可...
2018-03-08 11:19:00
290
转载 Spark：java.net.BindException: Address already in use: Service 'SparkUI' failed after 16 retries!
spark同时提交多个任务,运行时候报错。17/02/27 16:29:43 WARN AbstractLifeCycle: FAILED org.spark-project.jetty.server.Server@d0c51d7: java.net.BindException: Address already in usejava.net.BindException: Addr...
2018-03-08 11:13:00
443
转载 多instance启动spark部分worker起不来 java.lang.OutOfMemoryError
问题描述：在一台机器上设置多个worker 本例为8个，启动时部分可以启动 部分起不来[hduser@BDHX02 logs]$ cat /app/spark-1.6.1/logs/spark-hduser-org.apache.spark.deploy.worker.Worker-7-BDHX02.outSpark Command: /usr/java/jdk1.7...
2018-03-08 11:06:00
238
转载 spark配置详解
对付看把 到这里格式变化太大了，懒得调整了，这是大概spark1.5版本时候的一些参数默认值，现在2.x会有变化这些皆可在 spark-default.conf配置，或者部分可在 sparkconf().set设置应用程序属性|---------------------------------------------------------------------------...
2018-03-08 10:35:00
852
转载 hdfs目录存储最大文件数异常MaxDirectoryItemsExceededException
问题描述org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.FSLimitException$MaxDirectoryItemsExceededException): The directory item limit of /XXX/XXX/FF is exceeded: limit=104857...
2018-03-08 10:31:00
985
转载 程序找不到properties文件
程序通过读取配置spark.properties文件获取相关属性信息，文件所在目录resources下执行程序报错如下：java.io.FileNotFoundException: spark.properties (系统找不到指定的文件。) at java.io.FileInputStream.open0(Native Method) at java.io....
2018-03-08 10:28:00
561
转载 zookeeper-3.4.6集群部署
zookeeper-3.4.6集群部署IPHOST192.168.132.94BDTEST05192.168.132.95BDTEST06192.168.132.96BDTEST071. 配置java环境2....
2018-03-08 09:56:00
153
转载 Linux集群管理软件clustershell
Linux集群管理软件clustershell1.简介机房有大概百台的服务器需要管理，加上需要搭建Hadoop以及Spark集群等，因此，一个轻量级的集群管理软件就显得非常有必要了。经过一段时间的了解以及尝试，最终选择了clustershell这个软件，原因如下： 1、安装方便。一条指令就能轻松安装。 2、配置方便。很多集群管理软件都需要在所有的服务器上都安装软件，而且还要进行很...
2018-03-08 09:32:00
2405
转载 kafka_2.10-0.10.0.0集群安装
kafka_2.10-0.10.0.0集群安装IPHOST192.168.132.94BDTEST05192.168.132.95BDTEST06192.168.132.96BDTEST071. 配置java环境...
2018-03-08 09:20:00
211
转载 深入学习HBase架构原理
HBase定义HBase 是一个高可靠、高性能、面向列、可伸缩的分布式存储系统，利用Hbase技术可在廉价PC Server上搭建 大规模结构化存储集群。 HBase 是Google Bigtable 的开源实现，与Google Bigtable 利用GFS作为其文件存储系统类似， HBase 利用Hadoop HDFS 作为其文件存储系统；Google 运...
2018-03-08 09:05:00
296
转载 spark自定义udf输入类型为array报错
定义udf如下val list2string = udf { (style: Array[String], num: Array[Long]) => style.zip(num).map(t => t._1 + ":" + t._2).mkString("<br>")}输入为两个数组，输出为string报错如下Caused by:...
2018-03-07 17:09:00
967
转载 hbase启动时候发生警告
警告如下Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=128m; support was removed in 8.0解决办法：修改hbase-env.sh，注释掉如下两句停掉之后再次启动，警告不再提示转载于:https://www.cnblogs.c...
2018-03-07 17:07:00
291
转载 HregionServer启动失败
由于hadopp采用ha方式，HregionServer启动时报错找不到nameservice：ns1java.lang.RuntimeException: Failed construction of Regionserver: class org.apache.hadoop.hbase.regionserver.HRegionServer at org.apac...
2018-03-07 17:01:00
674
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人