summer089089的博客

集群报块丢失的原因很多，如物理磁盘损坏，节点不正常下线退役，集群高负载时如内存打满卡死，网络拥堵，系统本身问题等造成节点掉线，如cdh集群的agent和server失去联系，非正常下线，心跳超时等原因造成yarn界面出现块丢失现象检查确实块的详情3. 删除某个不重要的缺失块...

1.现象spark程序报错后重新启动后报警22/05/05 10:26:54 ERROR executor.Executor: Exception in task 2.1 in stage 3.0 (TID 37)org.apache.kafka.clients.consumer.OffsetOutOfRangeException: Offsets out of range with no configured reset policy for partitions: {eventshistory-0

1.调度正常运行时报错如下，报错详情Error: java.io.IOException: java.io.IOException: org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: BP-1555360483-10.68.9.242-1591167227146:blk_1103672895_29932280 file=/user/hive/warehouse/offline.db/ods/ods_offline_o

1.增加字段后直接查看文件有值，但是hsq查出来就没有值，但是impala查询是有值的hive建表语句CREATE EXTERNAL TABLE nretail_ability_order.retail_report (sub_order_no STRING COMMENT '订单号',order_source STRING COMMENT '订单来源:1.T销客 2.方舟 3.方舟移动端 8.T云店',company_name STRING COMMENT '开单客户商务中心',custome

1.现象spark_sql运行有报警如下；有问题的sql：select g.dt, frequent , wk , hr , user_id , k.`$name` as user_name , os , manufacturer , page_name , page_url , regexp_replace(button_name,'\\n|\\r|\\t','') as button_name , button_type , first_visit_time, last_visit_time ,

1.通过修改hue界面的前端代码实现hue界面的自动登录1.需求背景1.项目需要用到hue界面做impala查询，每次点击按钮后跳转到hue登录界面，但是每个访问项目的人都需要登录hue界面很不实际。2.hue登陆界面的前端源代码位置/opt/cloudera/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774/lib/hue/desktop/core/src/desktop/templates/login.mako3.将login.mako修改为如下代码即