自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

....

编程学习经历

  • 博客(91)
  • 资源 (1)
  • 论坛 (1)
  • 收藏
  • 关注

原创 Airflow2.x分布式部署dag执行失败日志无法正常获取问题

在上一篇博客中,我总结了使用Airflow过程中踩过的坑.和一些解决方案,链接如下:Airflow2.1.1实战中踩过的坑总结!!篇幅所限,把该博客的第11个问题单独整理出来11. 分布式部署场景下,dag执行失败,日志无法正常查看的问题文章目录一. 问题详细表现1.1 Airflow必要环境信息1.2 报错表现二. 问题排查与处理2.1 初步分析源码,大致定位问题2.2 确定解决方向2.3 单节点和分布式执行对比三. 进一步排查测试四.经验与教训思维固化不够细心五. 吐槽一. 问题详细表现1

2021-08-25 21:28:08 238 2

原创 Airflow2.1.1实战中踩过的坑总结!!

    从初次接触Airflow到正式使用已经过取一个月,对Airflow也有了一个最基本的了解.使用过程中,踩了不少坑.同时根据实际使用情况对airflow做了一些优化,现在把踩过的坑分享给大家,共勉!    博客列举的所有问题均是自己亲身经历,如有不严谨或者不正确的地方,烦请指出.遇到什么问题或者有什么心得也欢迎与我交流!注: 本博客使用的Airflow版本为2.1.1,细节之处可能与其它版本有所出入!文章目录一.

2021-08-18 20:45:52 349 1

原创 Airflow2.1.1超详细安装文档

参考文档:airflow2.0.2分布式安装文档ariflow官方文档linux下安装MySQL5.7及遇到的问题总结文章目录一. 环境准备1.1 安装环境及版本1.2 安装环境初始化安装erlang安装RabbitMQMysql安装python3.7.5(重要)确保安装必要软件(重要)二. 安装Airflow(重要)2.1 配置 airflow sudo权限2.2 设置Airflow环境变量2.3 安装airflow2.4 配置ariflow2.5 启动airflow集群2.6 登录webui查看

2021-07-18 11:12:36 813 2

原创 Linux配置MySQL多实例主从同步

注: 本文档主从同步配置是基于多实例的Mysql本文档内容基于以下两篇博客:linux下安装MySQL5.7及遇到的问题总结linux下配置mysql多实例文档目录:一. 主从同步简介二. 配置MySQL多实例主从同步2.1 机器配置2.2 修改主服务器配置2.3 修改从服务器配置2.4 开启主从同步并验证三. Linux配置MySQL多实例主从同步遇到的问题3.1 Fatal error: The slave I/O thread stops because master a

2021-04-25 09:22:24 27

原创 linux下配置mysql多实例

文档目录一. MySQL安装二. Linux下配置MySQL多实例2.1 创建相关目录并赋权2.2 修改配置文件2.3 初始化并启动指定实例2.4 修改密码并开放远程连接2.5 远程连接测试2.6 多实例启停脚本 一. MySQL安装MySQL安装可参考该博客:linux下安装MySQL5.7及遇到的问题总结 二. Linux下配置MySQL多实例注意: 该部分需要在(一)的基础上进行我的多实例目录规划如下:路径作用绝对位置mysql安装路径/op

2021-04-23 11:19:32 31

原创 Ambari(九)----使用expect实现ambri-server setup阶段免交互(亲测有效)

因为工作原因,需要多次部署ambariambari-server setup阶段频繁的交互影响自动化部署的体验于是决定编写自动化脚本避免ambari-server setup阶段的交互,选取的工具是Expect博主使用的Ambari版本是2.6.0,不同版本之间可能稍有出入,以下脚本内容已经通过生产验证文章目录Expect简介ambari-server setup自动化脚本注意事项一. Expect简介Expect是建立在tcl基础上的一个工具,Expect 是用来进行自动化控制和测

2021-02-20 16:39:05 93

原创 记一次误删linux系统目录导致yum不可用的问题

文章目录yum命令报错详情报错原因分析解决过程新的报错使用pdb排查问题一. yum命令报错详情在操作linux时,发现测试环境某集群所有机器的yum命令忽然报错#比如如下命令:yum listyum install <package_name>详细报错信息如下:There was a problem importing one of the Python modulesrequired to run yum. The error leading to this

2021-02-18 21:24:30 206 2

原创 Ambari(八)----Ambari集成Impala文档(亲测有效)

Ambari集成Impala(亲测有效)文档目录一. 将impala纳入到ambari版本管理中二. 初始化Impala2.1 创建impala源文件2.2 重启ambari-server2.3 初始化impala2.4 修改hdfs配置文件2.5 启动impala服务2.6 复制hbase jar包到impala目录下2.7 修改/etc/default/bigtop-utils配置2.8 查看impala集成情况三. Impala集成过程中遇到的问题3.1 Impala初

2020-12-02 21:14:21 789 1

原创 Ambari(七)----Ambari集成Hue4.2文档(亲测有效)

参考资料:ambari-hue-service:Ambari集成Hue github代码Hue官方文档 database部分介绍文档目录一. 安装前准备1.1 环境配置1.2 下载Hue安装包1.3 在Hue安装节点安装必要依赖二. 安装Hue并将其集成到Ambari2.1 将Hue添加进Ambari管理2.2 根据实际情况修改代码2.2.1 版本修改2.2.2 脚本修改一. 安装前准备1.1 环境配置我的环境配置如下:环境对应版本Ama

2020-11-12 09:50:59 1676 4

原创 linux完全卸载nodejs并安装指定版本

因node,npm版本不兼容,导致ambari源码编译失败,所以需要重装nodejs本篇博客详细记录此过程文章目录一. 完全卸载nodejs1.1 yum卸载nodejs安装包1.2 手动删除卸载残留二. 安装指定版本的nodejs一. 完全卸载nodejs1.1 yum卸载nodejs安装包# 使用yum remove命令删除nodejs包yum remove nodejs npm -y1.2 手动删除卸载残留# 删除node.node_modules文件夹rm -r

2020-11-02 19:32:30 2105

原创 Ambari(六)----Ambari api使用

本博客主要是对Ambari官方api文档的翻译.并在此基础上,结合实际Ambari环境,给出了一些具体的操作示例,方便自己检索.Ambari api官方文档文章目录一. curl简介二. 认证三. 监控3.1 GET四. 管理4.1 POST4.2 PUT4.3 DELETE4.4 异步响应五.资源5.1 集合资源5.2 实例资源5.3 资源类型5.3.1 集群5.3.2 服务5.3.3 组件5.3.4 主机5.3.5 主机组件5.3.6 配置5.3

2020-10-24 20:41:49 722

原创 Spring Boot+Mybatis集成Swagger实现增删改查

注:本文所涉及的最终版本代码已经上传到github,请按需自取github代码链接文章目录一. Swagger简介1.1 为什么要使用Swagger1.2 为什么要使用Spring Boot 集成 Swagger二. Spring Boot + Swagger开发2.1 创建SpringBoot项目并导入依赖2.2 编写接口2.3 集成Swagger22.3.1 添加依赖2.3.2 访问验证2.4 Swagger2高级配置2.4.1 文档相关描述设置2.

2020-10-20 08:43:16 989

原创 Ambari(五)----Ambari集成Azkaban(亲测有效)

Ambari自定义服务集成–Azkaban参考资料Ambari集成组件官方文档:Stacks and ServicesAmbari自定义服务集成原理介绍Ambari—集成Azkaban文档目录一. 准备工作1.1 安装Ambari1.2 源码编译配置Azkaban1.2.1 Azkaban源码编译1.2.2 Azkaban数据库配置二. Ambari集成Azkaban原理及配置2.1 Ambari自定义服务集成原理2.2 Ambari集成Azkaban配置

2020-10-10 18:06:41 885

原创 IDEA使用过程中遇到的问题(长期更新)

IDEA的操作请参见此博客: IntelliJ IDEA 2018版本操作总结文章目录一. IDEA拉取github项目报错:schannel: next InitializeSecurityContext failed: Unknown error (0x80092012)一. IDEA拉取github项目报错:schannel: next InitializeSecurityContext failed: Unknown error (0x80092012报错描述: 使用idea从github

2020-10-04 09:34:46 651

原创 Ambari(四)----使用IDEA远程调试Ambari-Server

文档目录一. 远程调试1.1 为什么要使用远程调试?1.2 远程调试原理二. 配置IDEA远程调试Ambari-Server2.1 在IDEA中配置远程服务器2.2 以Debug模式启动Ambari-Server2.3 在IDEA中链接Ambari-Server,追踪程序运行流程一. 远程调试1.1 为什么要使用远程调试?为了查看追踪Ambari-Server对Rest API的处理过程,在理解基本原理的前提下基于Ambari进行二次开发.常规的方式有以下两种:直接阅

2020-10-04 08:43:58 294

原创 Ambari(三)----Ambari二次开发环境搭建(实时编译-部署)

总体思路:对ambari-admin,ambari-web模块单独编译(因为二次开发主要是针对这两个模块)利用brunch watch功能,对文件夹源码进行实时监控编译,提高开发效率文章目录一. Ambari源码编译安装二. Linux环境设置2.1 关闭防火墙2.2 关闭selinux2.3 安装npm依赖包三. 使用samba建立共享连接3.1 安装启动samba3.2 配置共享文件夹3.3 修改文件权限3.4 本地访问共享文件3.5 IDE导入共享文件夹中ambari

2020-09-21 20:34:38 1468

原创 Ambari(二)----Ambari2.6.0源码编译安装及遇到的问题解决(超详细文档)

本篇文章主要是对ambari2.6.0源码编译安装官方文档中没有列举出来的细节以及编译过程中会遇到问题的一个补充第一手资料请参照官方文档:ambari2.6.0源码编译安装官方文档文章目录一. 准备工作1.1 获取Ambari2.6.0源码1.2 搭建编译环境1.2.1 配置java环境1.2.2 配置maven环境1.2.3 安装rpm和rpmbuild1.2.4 安装g++1.2.5 检查python版本1.2.6 初始化python-devel1.2.7 安装bower,

2020-09-20 12:16:14 2233

原创 Kubernetes(一)----使用二进制文件部署kubernetes1.18集群(超详细安装文档)

前言:本篇博客列出的所有命令均是博主亲自实践,所列举的问题也是博主在实际安装中碰到的.大家遇到什么问题或者疑问可以在评论区指出,我会持续更正博客文档~希望大家在安装学习k8s的时候少走弯路文章目录一. 部署准备1.1 部署Kubernetes集群的两种方式1.2 安装要求1.3 环境准备1.4 操作系统必要配置初始化1.4.1 根据规划设置主机名1.4.2 关闭防火墙1.4.3 关闭selinux1.4.4 关闭swap1.4.5 将桥接的IPv4流量传递到iptable

2020-09-14 14:49:52 1988 1

原创 Ambari(一) ----Ambari安装遇到的问题及解决方案

文章目录Ambari安装Ambari2.6.0离线安装Apache Ambari-2.7.3离线安装Ambari踩过的坑及解决方案博主的生产环境使用的是Ambari2.6.0版本自己研究选择的是相对较新的Ambari2.7.3版本因此,Ambari安装及踩坑主要是围绕这两个版本进行一. Ambari安装1.1 Ambari2.6.0离线安装Ambari2.6.0版本安装可以参考该博客链接:Ambari2.6.0+HDP2.6.3安装(离线)博主亲测,按照博客内容逐步执行即可,

2020-09-01 21:47:54 3652 1

原创 大数据开发面试题--HBase篇(2020年最新版)

文章目录HBase基本概念什么是HBase?HBase的特点是什么?HBase的使用场景HBase和Hive的区别?HBase架构原理?HBase相关组件HMasterHregionServerClientZookeeperHDFSHBase安装部署HBase安装部署简介HBase安装部署详情HBase启动的流程是什么?HBase Shell操作基本shell操作高阶shell操作**HBase数据结构 **Hive最基本操作数据库相关操

2020-08-03 20:00:54 999

原创 疫情之下裸辞后的一些感悟和面试心得

疫情之下裸辞后的一些感悟和面试心得    因为个人原因,选择在疫情之下从上一家公司裸辞.从5月25日递交辞呈,到现在基本确定下来.2个月左右的时间,经历了一些挫折,也收获了些许成长.把我这段期间踩过的坑和一些感悟分享给大家,希望大家都能够少走弯路,找到心仪的工作,实现自己的价值.也给自己的这段时间做个总结,留个纪念.(本篇博文介绍的是后端Java开发岗位(大数据方向)的感悟和面试心得.涉及到的大部分内容适合像我一样不够优秀的普通程序员,对那些足够优秀的童鞋

2020-07-28 18:53:00 1914

原创 大数据开发面试题--hive篇(2020最新版)

文章目录Hive基本概念什么是Hive?Hive的优缺点?Hive和传统数据库有什么异同?Hive架构原理?Hive架构简介Hive用户接口Hive元数据Hive的HSQL转换为MapReduce的过程?Hive底层与数据库交互原理?Hive有哪些方式保存元数据,各有哪些特点?Hive如何进行权限控制?Hive安装部署Hive安装部署简介Hive安装部署详情Hive数据仓库位置配置?Hive数据类型基本数据类型复杂数据类型类型转换隐式类型转换强制

2020-07-25 17:52:17 1880 3

原创 Kafka(八)----Kafka Tool 2.0.7(最新)版本超详细使用指北
原力计划

Kafka Tool 2.0.7下载安装Kafka Tool 2.0.7连接Kafka集群Kafka Tool 2.0.7操作指北使用Kafka Tool排查定位生产问题

2020-05-08 17:56:10 7651 3

原创 Java内部类浅析(含经典面试题解答)

Java内部类浅析内部类是Java语言中很重要的一个概念它总是躲在外部类里,像个幕后英雄一样为我们的代码保价护航但对于一般开发者而言(比如我) :内部类的使用更多是被动的, 甚至只出现在面试中.但如果我们想进一步了解java语言的魅力,甚至仅仅是为了谋求一份更好的工作,我们都有必要对内部类有一个基本的了解本篇博文将通过代码 + 理解的方式带大家走进内部类本篇文章要点:一.初识ja...

2020-05-06 18:51:11 514

原创 hive2.3.6安装指南
原力计划

本篇博客要点如下:一. 准备工作二. 正式安装Hive三. 安装中遇到的问题hive2.3.6安装指南一. 准备工作安装hive前,需要先安装好对应版本的hadoop和mysql1.1 hadoop安装首先要确认hadoop的版本是否与hive版本兼容,可通过以下链接来确认版本兼容性hive,版本兼容性查看hadoop集群的搭建,可以参照我之前搭建hadoop集群时做的笔记,...

2020-04-21 17:56:02 638

原创 linux下安装MySQL5.7及遇到的问题总结

这两天要帮一个小可爱安装hive.记得以前安装hive的时候进展比较顺利,在MySql的安装上却遇到过一些问题.为了到时候操作小可爱电脑时能行云流水,先用自己的虚拟机偷偷的把MySQL安装一遍机智如我~把这次安装的详细过程,以及遇到的问题记录下来,分享给大家本篇博客要点如下:一. 准备工作二. 正式安装MySQL三. 安装中遇到的问题linux下安装MySql5.7.24一....

2020-04-16 20:48:04 3508 3

原创 数据结构与算法--使用Java实现数组队列和循环单链队列

本篇博客所涉及到的代码,均已上传到github项目github链接本篇博客涉及代码github链接上一篇通过Java实现二叉树的博客中:数据结构与算法–使用Java实现二叉树我们用到了一点队列的知识本篇博文,将通过数组,单向循环链表两种方式,使用Java实现队列,帮助大家进一步了解队列这种数据结构本篇博客要点如下:队列基本概念存储结构顺序存储结构链式存储结构使...

2020-04-13 20:26:02 247

原创 数据结构与算法--使用Java实现二叉树

上一篇博客中,使用Java实现了循环双链的LinkedList,博客链接如下:数据结构与算法–使用Java实现循环双链的LinkedList这篇博客,我们将使用Java.利用链表作为底层的数据结构,来实现重要的数据结构: 二叉树.本篇博客要点如下:树基本概念树的定义及相关概念二叉树存储结构顺序存储结构链式存储结构二叉树的遍历算法使用Java代码实现循环双链...

2020-03-31 10:45:46 330

原创 数据结构与算法--使用Java实现循环双链的LinkedList

上一篇博客中,使用Java实现了单链的LinkedList,博客链接如下:数据结构与算法–使用Java实现单链的LinkedList但我们知道,在Java源码里LinkedList的是循环双链,并非上篇博客中的单链,为了能更深入的LinkedList本篇博客将用循环双链实现LinkedList的基本功能.本篇博客要点如下:双向链表简介基本概念存储结构使用Java代码实现循环双...

2020-03-26 17:35:13 415 1

原创 数据结构与算法--使用Java实现单链的LinkedList

上一篇博客中,使用Java实现了ArrayList的基本功能,博客链接如下:数据结构与算法–使用Java实现ArrayList今天继续实现另一种数据结构:LinkedList循序渐进,先用单链表实现~本篇博客要点如下:链表简介基本概念存储结构使用Java代码实现单链的LinkedListList接口Node类的引入实现单链的LinkedList获取集合大小获取集合...

2020-03-24 20:15:39 219

原创 数据结构与算法--使用Java实现ArrayList

本篇博客要点如下:数组简介基本概念存储结构使用Java代码实现ArrayListList接口实现ArrayList构造方法获取集合大小获取集合元素判断集合是否包含指定元素判断集合是否为空集合数据插入集合数据删除集合数据替换一. 数组简介众所周知,ArrayList的底层是数组.因此,在实现ArrayList之前,我们有必要对数组做一个基本的了解...

2020-03-23 19:12:17 295

原创 计算机浮点运算精度问题的一些探讨

本篇博客要点如下:浮点运算常见的一些精度问题浮点运算精度问题产生的原因浮点精度丢失问题的几种解决方案浮点数原理的简要介绍参考链接一点思考浮点运算常见的一些精度问题相信各位在进行浮点型数据运算的时候,出现过一些超出理解,或者是不愿意出现的结果,比如下面这些示例:...

2020-03-16 17:04:20 1312 1

原创 如何使用Java最快捷的找出两个大量数据List集合的不同元素

本篇博客介绍了几种能够找出List集合中不同元素的方法, 并通过性能对比和源码分析的方式来介绍几种方式的区别, 希望大家遇到类似的需求能够选择合适的方法,少走弯路

2020-03-06 16:56:20 2106 4

原创 Kafka(七) --Kafka 2.0.0及以上版本常用命令总结

本篇博客要点如下:一.环境准备二.Kafka2.1.1常用命令总结启动Kafka停止Kafka查看kafka消息列表创建topic删除topic消息生产消息消费查看某个topic详情修改分区数三.可能会用到的其它命令通过命令行的方式修改Kafka topic配置快速定位某个topic异常的分区消费端从任意指定的偏移量开始消费数据使用指定的消费者组进行消费四...

2020-02-24 18:22:29 1654

原创 VMware14虚拟机黑屏问题解决

本篇博客要点如下: 一. 黑屏问题解决方案及原理浅析 重置 Winsock 目录 启动虚拟机打印] 删除虚拟机的.lck文件夹 二. 参考资料

2020-01-09 10:19:29 784

原创 Kafka(六) ----使用Java api监控Kafka消费者组的消费积压

Kafka学习笔记(五) --使用java api监控新版Kafka消费者组的消费积压正式开篇之前,先简单介绍下该需求产生的背景:随着部署在生产环境中的kafka消费端应用越来越多通过人工的方式(去机房使用Kafka监控工具或者命令行查看消费端是否有数据积压状况)越来越让我烦躁,不仅浪费宝贵的工作时间还会受到各种各样的操作限制影响心情.于是,决定采用自动监控的方式,通过一套程序监控所有生产...

2020-01-07 16:33:41 4643 4

原创 Kafka(五)----记一次Kafka实时ETL程序CPU占用率过高的线上问题排查

Kafka实时ETL程序CPU占用率过高的线上问题排查本篇博客要点如下:问题描述问题排查Kafka Manager界面查看基本信息CPU占用率过高问题定位问题进程定位问题线程定位问题线程堆栈信息全部线程的堆栈信息问题进程GC信息问题解决一. 问题描述收到运维电话反馈,Kafka实时ETL程序部署的机器CPU占用率居高不下.同时,每天的定时邮件校验数据条数与源...

2019-10-10 19:59:34 3133

原创 记一次maven打包失败:Compilation failure

记一次maven打包失败:Compilation failure本篇文章要点如下:一.maven打包报错详情二.将本地jar包上传到nexus上传普通的第三方jar包上传snapshots jar包三.打包方式使用springboot方式打包使用maven方式打包一.maven打包报错详情问题背景 : B项目依赖于A项目,并且两个项目都能在本地正常运行. 现在对...

2019-10-08 17:34:46 7556

原创 Windows环境下安装Jenkins最新稳定版本2.176.3

Windows环境下安装Jenkins最新稳定版本2.176.3本篇文章要点如下:一.Jenkins简介二.Jenkins安装安装准备配置Java环境变量安装Tomcat安装配置Maven正式安装下载解压Jenkins安装包jenkins配置初始化三.遇到的问题Tomcat安装启动后出现中文乱码四.参考资料一.Jenkins 简介Jenkins官网对...

2019-09-17 17:05:09 1763 1

原创 一次因Mongo分片键引发的线上血案

前情提要 :一套已经正式上线的程序(在生产环境上锤炼了一个多月,期间,程序稳定性,数据准确性性能良好).因为业务所需,需要修改配置,额外部署一套到新的集群修改完配置,确认无误之后,部署执行. 然后惨案就开始了~本篇博客要点如下:一. 报错及问题解决报错信息问题解决二. 问题分析和Mongo分片的深度验证问题分析Mongo分片的深度验证创建包含分片键的Mongo集合分...

2019-09-02 18:59:33 3011 3

spark-assembly

spark正常运行所需要的jar包,适用于spark1版本, 一个jar包中包含所有使用spark编程所需要的关键类,功能超级强大! spark-assembly-1.52-bc1.3.1-hadoop2.6.0-bc1.3.1.jar

2018-05-29

spark在读取文件夹时对里面的文件进行过滤

发表于 2018-10-23 最后回复 2018-10-23

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除