2017年04月_冥想者-定

04月 03月 02月 01月

转载阿里电话面试

1/http协议了解吗？头里面有什么字段2/ 线程池， java的有哪些区别3/ hbase 2级索引4/ 麒麟原理5/ 留存计算6/你擅长的技术7/

2017-04-21 15:48:06 1309

原创 java.io.EOFException: Unexpected end of input stream

java.io.EOFException: Unexpected end of input stream文件没有正确关闭zcat 一个文件一个文件的找，找出错误文件，然后删除该文件

2017-04-06 11:15:34 6383 1

原创集群升级 parquet 版本不正确

两个版本的数据， spark不能读取删除，重跑

2017-04-06 11:12:53 1543

转载 (转)Spark排错与优化

http://blog.csdn.net/lsshlsw/article/details/49155087目录(?)[+]一. 运维1. Master挂掉,standby重启也失效Master默认使用512M内存，当集群中运行的任务特别多时，就会挂掉，原因是master会读取每个task的event log日志去生成Spark ui，内存不足

2017-04-05 19:24:52 1156

原创 kafka-topics.sh --describe 说端口被占用了。

sh kafka-topics.sh --describe --zookeeper datanode02.yixia.com:2181 datanode03.yixia.com:2181 datanode01.yixia.com:2181 namenode01.yixia.com:2181 namenode02.yixia.com:2181 --topic testErro

2017-04-01 09:56:51 5772 2

原创 kafka add partitions 之后，新分区没有数据进入

1/增加brokers2/增加partitions发现新的分区内部没有数据

2017-04-01 09:49:21 3200 2

原创 Lease timeout of 0 seconds expired. 租约过期

17/04/01 09:15:07 ERROR LiveListenerBus: Listener EventLoggingListener threw an exceptionjava.io.IOException: Lease timeout of 0 seconds expired.使用spark streaming 访问kafka 拿到数据插入hbase中，并且有check

2017-04-01 09:24:29 2265

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人