![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
那些年,趟过的坑
sunyang098
这个作者很懒,什么都没留下…
展开
-
HBase RIT问题处理
在修改Hbase某个表数据的存储时间时,update进度会卡住在hbase ui上发现该表有47个region长时间处于RIT状态,正好跟卡住的region数量一致通过执行hbase hbck检测状态发现如下问题ERROR: There is a hole in the region chain between 98920_9223370437043986807 and 9895345_9223370407827298807. You need to create a...原创 2021-10-20 11:59:32 · 1271 阅读 · 0 评论 -
java、scala集合自定义排序异常:Comparison method violates its general contract!
cala 集合(array,seq)排序报错User class threw exception: org.apache.spark.SparkException: Job aborted due to stage failure: Task 43 in stage 3.0 failed 4 times, most recent failure: Lost task 43.3 in stage原创 2017-05-11 15:23:26 · 3292 阅读 · 0 评论 -
sqoop导出hive数据到mysql错误: Can't parse input data java.util.NoSuchElementException解决办法
sqoop导出hive数据到mysql错误: Can't parse input data java.util.NoSuchElementException解决办法原创 2017-04-24 17:28:17 · 12623 阅读 · 0 评论 -
Hadoop常见错误及解决办法
1,错误一:java.io.IOException: Incompatible clusterIDs 时常出现在namenode重新格式化之后2014-04-29 14:32:53,877 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed forblock pool Block pool原创 2015-11-30 18:11:59 · 5261 阅读 · 0 评论 -
在安装过Kafka集群的环境中再次安装Kafka出现的问题
使用ClouderaManager安装Kafka,启动Kafka时出现问题:1.2015-11-26 13:51:21,952 INFO kafka.log.LogManager: Loading log '.gnome2'2015-11-26 13:51:21,960 FATAL kafka.server.KafkaServerStartable: Fatal error durin原创 2015-11-26 15:33:27 · 5821 阅读 · 0 评论 -
在生产环境部署CDH集群遇到的问题
机器都是新购置的,75台联想机器: 型号 Thinkserver RD640 结构 2U高度机架式服务器(2.5寸16盘位) *1CPU Intel Xeon E5-2630v2(2.6GHz/6C/15M cache)* 2内存 16GB R-ECC DDR3 1600内存 *8硬盘 600GB SAS 10000rpm 热插拔硬盘 *12网卡 双口Intel百兆/原创 2015-08-23 21:18:00 · 2332 阅读 · 0 评论 -
ElasticSearch 创建Child type 报错“The _parent field's type option can't be changed: [null]->[member]”
之前先创建了一对Parent Child表,PUT comppro{ "mappings" : { "member" : {}, "supply" : { "_parent" : { "type" : "member" } } }}然后我想再创建一个member的Child表原创 2017-07-27 20:08:30 · 1611 阅读 · 0 评论 -
scala中takewhile 和 filter的区别
之前认为takewhile的功能与过滤一样,后来项目用takewhile发现数据不对,区别如下:al s1 = List(1,2,3,4,10,20,30,40,5,6,7,8,50,60,70,80)val r1 = s1.takeWhile( _ r1: List[Int] = List(1, 2, 3, 4)takeWhile是从第一个元素开始,取满足条件的元素,直到原创 2017-11-02 17:14:29 · 3080 阅读 · 0 评论