weixin_38374023的博客

原创 Flink集群运行5个小时候后down掉

1 现象：flink集群执行job，运行5个小时后，jobmanager报：2018-03-29 15:25:39,311 INFO  org.apache.flink.runtime.jobmanager.JobManager                - RECEIVED SIGNAL 1: SIGHUP. Shutting down as requested.2018-03-29 15:...

原创 hdfs datanode节点死掉

1 现象一个节点dead，日志如下：GC pool 'PS MarkSweep' had collection(s): count=13 time=24256ms2018-03-28 17:52:51,624 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: opWriteBlock BP-229667812-10.100.208.

原创 flink执行任务调用其它so时报错

1 现象：提交任务后org.apache.flink.client.program.ProgramInvocationException: The program caused an error: at org.apache.flink.client.program.OptimizerPlanEnvironment.getOptimizedPlan(OptimizerPlanEnvironme...

原创 flink集群上运行job问题

现象：在web上提交任务后报：org.apache.flink.client.program.ProgramInvocationException: Unknown I/O error while extracting contained jar files. at org.apache.flink.client.program.PackagedProgram.extractContainedL...

原创 Flink集群没有异常信息，但不工作

1 现象：taskmanager和jobManager都有输出消息：Java HotSpot(TM) 64-Bit Server VM warning: You have loaded library /tmp/jna6879710861309389413.tmp which might have disabled stack guard. The VM will try to fix the s...

原创 object mapping for [A] tried to parse field [A] as object, but found aconcrete value

原因：1）字段A为nested字段，给的值为字符串形式解决办法：1）新建一个JSONObject封装字符串                 2）IndexRequest indexRequest = new IndexRequest(indexName, dataType , docID) .source(jsonObject.toString(),...

转载 关于VGA、CIF……

原创 hdfs访问过程中遇到的2个问题

问题1：Failed to renew lease for [DFSClient_NONMAPREDUCE_1452499113_45]问题2：hdfs远程主机强迫关闭了一个现有的连接原因：网络不稳定。

原创 hdfs 集群启动发现没有datanode

datnode日志报：Incompatible clusterIDs in /datab/hdfs/data: namenode clusterID = CID-a772b6……解决办法：1）清理tmp 目录，（hadoop.tmp.dir对应的值）                     2） 清理data 目录 （dfs.data.dir对应的值）                     3）...

原创 kibana 如何查询、聚合nested字段

1 kibana对nested字段支持情况截止kibana6.2.1版，仍不能针对nested字段进行查询和聚合。2 ElasticSearch如何操作nested字段2.1 创建样例如下（其中labelInfoList为nested字段）PUT metadatainfo{  "settings": {    ……    },  "mappings": {    "facedataMD": {  ...