![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
linux
文章平均质量分 92
程序员惜时
惜时
展开
-
解决centos8 中安装mysql5.7.26时 libtinfo.so.5()(64bit)被依赖的问题
libncurses.so.5 这些依赖呢都是放到/user/lib目录下的 进去看之后其实可以发现有很多 但是 安装mysql5.7.26的client端的时候 会一直报警告:mysql-community-client-5.7.26-1.el7.x86_64.rpm: 头V3 DSA/SHA1 Signature, 密钥 ID 5072e1f5: NOKEY错误:依赖检测失败: ...原创 2020-01-12 11:27:19 · 12784 阅读 · 9 评论 -
flume安装 and 官方小案例
1. flume概述及组成架构Flume概念Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构,灵活简单Flume的最主要左右是:实时读取服务器本地磁盘的钱数据,将数据写入到HDFS。Flume组成架构AgentSource ————> Channel ————>SinkFlume组成架构详解...原创 2020-01-11 15:42:30 · 201 阅读 · 0 评论 -
FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
2019-12-24T13:27:26,867 WARN [main] ql.Driver: Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or usi...原创 2019-12-24 14:02:16 · 3321 阅读 · 0 评论 -
MapReduce工作流程
MapReduce 详细工作流程Map阶段整个Map阶段流程大体为下图所示Map阶段 简单概述:首先 input File 通过split 切分为多个 split文件 通过 Record按行读取内容给map 进行处理 ,数据被map处理结束之后交给OutputCollector 收集器 之后对结果key 进行分区 (默认是hash分区)之后写入buffer 每个map task里面都有一个环...原创 2019-12-06 11:16:38 · 217 阅读 · 0 评论 -
记录一次小小的namenode挂掉
为了演示SecondaryNameNode是如何恢复namenode的第一步 当然是直接用法kill -9 NameNode进程号意外结束namenode进程第二步. 进入namenode里面的/home/whzy/hadoopdata/dfs/name这个目录 rm -rf name/* 删除name里面所有数据 表示namenode数据丢失第三步 进入salve1主机(里面配置了s...原创 2019-11-30 20:35:10 · 827 阅读 · 1 评论 -
Centos7系统 网卡报错 ip地址丢失解决方法
问题出现ip地址丢失不见 一开始以为是 /etc/sysconfig/network-scripts/ifcfg-ens33 这里配置出错的原因后来检测之后一切正常之后重新启动网卡 发现报错如下`之后根据提示systemctl status network service查看报错如下Failed to start LSB: Bring up/down networking.解决方法...原创 2019-11-25 13:05:42 · 1982 阅读 · 0 评论