![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
踩坑集
文章平均质量分 85
喜剧之皇
微信:Hurricane2015go
展开
-
Flink高危漏洞 (CVE-2020-17518/17519) 修复指南
一、背景二、修复方法三、详细步骤1.准备flink源码2.找到修复的commit3.编译打包4.替换jar包四、总结一、背景 国家信息安全漏洞库(CNNVD)收到关于Apache Flink安全漏洞(CNNVD-202101-271、CVE-2020-17519)(CNNVD-202101-273、CVE-2020-17518)情况的报送。成功利用漏洞的攻击者,可在未授权的情况下,构造恶意数据执行任意文件读取或文件写入攻击,最终获取服务器敏感性信息或权限。Apache Flink 1.5.1 - .原创 2021-01-19 22:22:57 · 4348 阅读 · 4 评论 -
Hadoop3.x中一把锁毁灭的大数据集群
hadoop3.x中一把锁毁灭整个大数据集群集群版本:HDP3.1.5Hadoop版本:Hadoop3.1.1源码地址:https://github.com/hortonworks/hadoop-release/tree/HDP-3.1.5.152-1-tag一、前置知识 大家都知道hadoop的核心组件是HDFS和YARN,HDFS负责存储,YARN负责计算资源管理,今天要重点扯一扯YARN。YARN的架构跟众多分布式架构一样是主从式,为了维护可靠性,ResourceManage原创 2020-12-12 23:04:26 · 4088 阅读 · 11 评论 -
删了HDFS又能怎样?记一次删库不跑路事件
一、事发背景二、应急措施直观的方案三、分析过程hdfs文件删除过程BlockManagerEditLoghdfs元数据的加载方案确定四、灾难重演五、经验总结一、事发背景 上个月的某一天,由于集群空间不足,公司有一位技术经理级别的大数据leader在通过跳板机在某个线上集群执行手动清理命令,疯狂地执行hadoop fs -rmr -skipTrash /user/hive/warehouse/xxxxx,突然,不知道是编辑器的问题还是换行问题,命令被截断,命令变成了``hadoop fs.原创 2020-08-13 18:43:54 · 2727 阅读 · 9 评论 -
hive中文汉字乱码终极解决办法
一、问题在创建hive表时,comment要加中文注释,比如:drop table if exists users;create table users(name string comment '姓名',age int comment '年龄');执行后再show create table users;二、别人的解决方法中国文化博大精深,无奈没有成为世界统一标准,根据一般人的经验,脑中一定是utf8哪个地方没设置好的问题,经过一番百度,找到 如下解决方法,在hive的mysql元数据库原创 2020-05-15 12:16:10 · 8372 阅读 · 4 评论 -
Unable to close file because the last block does not have enough number of replicas报错分析
一、问题跑spark或hive脚本报错如下:[INFO] 2020-03-31 11:06:03 -> java.io.IOException: Unable to close file because the last block does not have enough number of replicas. at org.apache.hadoop.hdfs.DFSOutpu...原创 2020-03-31 15:06:39 · 13626 阅读 · 6 评论 -
orc表导致hiveserver2内存暴涨问题分析
orc表导致hiveserver2内存暴涨问题分析这里写目录标题orc表导致hiveserver2内存暴涨问题分析一、问题描述二、解决过程1.定位起因2.分析sql3.深入分析三、orc文件格式四、问题验证五、解决方案六、总结分析一、问题描述昨天上午,钉钉上突然出现一堆hive相关的查询错误的报警。第一感觉,在yarn上查看任务日志,查询了一通,结果没看到有任务相关的报错。于是乎,立马查看h...原创 2020-03-27 21:07:19 · 3208 阅读 · 0 评论 -
ambari2.7.4集成hue4.6.0
版本信息Ambari:2.7.4HDP:3.1.4HUE:4.6.0环境准备1.hue的master节点上执行,为编译环境做准备yum install sqlite-devel libxslt-devel.x86_64 python-devel openldap-devel asciidoc cyrus-sasl-gssapi libxml2-devel.x86_64 mysql-...原创 2020-03-09 18:09:07 · 3897 阅读 · 14 评论 -
大数据采坑集-导入数据到hive的换行符问题
问题描述我们通常在迁移数据到大数据环境中,会使用,sqoop、datax之类的etl工具,从数据库中迁移到hive或hdfs。数据库中的原始数据中的文本类数据难免会有特殊字符,比如换行符,会对导入Hive后的数据产生影响。下面是从mysql导入hive的数据,其中,hive表是textfile格式存储特殊字符没做处理:发现有两个字段没了,于是再看看hive表在hdfs上的文件:发现原本一...原创 2019-01-04 14:42:46 · 16583 阅读 · 12 评论