2020年07月_阿龙先生啊

12月 11月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创【ETL工具】StreamSets 定时调度

Streamsets是一款大数据实时采集和ETL工具，可以实现不写一行代码完成数据的采集和流转。通过拖拽式的可视化界面，实现数据管道(Pipelines)的设计和定时任务调度，Kettle缺点是通过定时运行，实时性相对较差。需求：定时的开启一个管道流，此处希望也可以定时的关闭。目前找到的方式就是下面的这个组件，以下的案例也是基于此组件展开。

2020-07-25 12:23:34 2878 10

Streamsets是一款大数据实时采集和ETL工具，可以实现不写一行代码完成数据的采集和流转。通过拖拽式的可视化界面，实现数据管道(Pipelines)的设计和定时任务调度。最大的特点有：可视化界面操作，不写代码完成数据的采集和流转内置监控，可是实时查看数据流传输的基本信息和数据的质量强大的整合力，对现有常用组件全力支持，包括50种数据源、44种数据操作、46种目的地。对于Streamsets来说，最重要的概念就是数据源(Origins)、操作(Processors)、目的地(Destinati

2020-07-24 18:49:27 4508 5

原创【Linux】出现 -BASH-4.2# 问题的解决方法

问题：误删/root 下的文件，LINUX 出现 -BASH-4.2# 问题的解决方法1.root 用户下，在根目录创建 /root 目录　　mkdir /root2. 复制 .bashrc 以及 .bash_profile俩个文件到root目录下　　cp /etc/skel/.bashrc /root　　cp /etc/skel/.bash_profile /root3.关闭Xshell ，重新打开啊就好了......

2020-07-15 09:59:04 4645 2

原创 Ranger 和 Ranger Audit 审计功能模块介绍

目录一、Ranger 介绍1、Ranger概念2、权限模型二、Ranger Aduit审计功能模块详解1、Ambari 中 Ranger config2、Ranger Audit 功能模块介绍一、Ranger 介绍1、Ranger概念Ranger 使用了一种基于属性的方法定义和强制实施安全策略。当与 Apache Hadoop 的数据治理解决方案和元数据仓储组件Apache Atlas一起使用时，它可以定义一种基于标签的安全服务，通过使用标签对文件和数据资产进行分类，并

2020-07-11 16:02:16 4981 18

原创 HDP中 Ranger 整合Kerberos进行细粒度的权限访问控制

一、Ranger 权限问题1、 Ranger 是什么？ranger则是针对组件内的权限，比如HDFS的读写执行，Hive和Hbase的读写更新，yarn的队列资源使用权，目前ranger只支持 hdfs，hive，hbase，kafka，yarn等组件，针对于组和用户对资源的访问权限进行细粒度的控制。2、遇到的问题安装 Ambari 时安装了 Ranger 但是没有配置权限，所以出现了下面的问题：Error:Error while comiling statement: FAIL.

2020-07-07 22:40:20 3654 3

原创【ETL工具】Kettle 中添加 Kerberos 认证

Kerberos客户端支持两种认证方式，一是使用 principal + Password，二是使用 principal + keytab，前者适合用户进行交互式应用，例如hadoop fs -ls这种，后者适合服务，例如yarn的rm、nm等对于 HDFS的访问认证，我们使用了 principal + keytab

2020-07-05 19:53:16 2905

原创 Ranger 简介与安装

目录一、Ranger是什么1、Ranger介绍2、Ranger模块二、基于Ambari安装Ranger Apache Ranger目前是Apache下的顶级项目，目的是通过制定策略(policies)实现对Hadoop组件的集中式安全管理。用户可以通过Ranager实现对集群中数据的安全访问。 Ranger由三个模块组成：Ranger portal: 提供给用户进行安全管理的界面Ranger plugin: 嵌入在需要安全控制的组件进程中，提供两种功能：

2020-07-04 09:55:26 4185 1

Ambari用Ansible自动化部署大数据集群文档

【Ambari】Ansible自动化部署大数据集群.docx

2024-04-04

ambari使用ansible自动化安装

ansible自动化安装ambari-server, 自动化安装脚本

2024-04-04

Prometheus+Alert+Grafana打造企业级监控系统

2024-03-09

Java最新大厂面试宝典

秋招金九银十快到了，发现网上很多Java面试题都没有答案，所以花了很长时间搜集整理出来了这套Java面试题大全~ 这套互联网 Java 工程师面试题包括了：MyBatis、ZK、Dubbo、EL、Redis、MySQL、并发编程、Java面试、Spring、微服务、Linux、Springboot、SpringCloud、MQ、Kafka 面试专题 ———————————————— 版权声明：本文为CSDN博主「进阶的架构师」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。原文链接：https://blog.csdn.net/qq13321123/article/details/131416951

2023-10-11

程序猿面试简历模板精选

好的简历无疑是程序员面试的加分项，但是什么样的简历才算是一份好的简历呢？程序员的简历应该着重展示其技能和经验，吸引潜在雇主的关注。程序猿面试简历模板精选10份简历模板，在简历的技能部分，列出你熟练掌握的编程语言和技术。可以根据申请的职位，调整技能列表，突出与目标职位相关的技能。尽量使用具体的数据和统计来说明你在项目中取得的成就。例如，优化代码使其运行速度提高了多少倍，或者改进系统导致用户增长了多少。如果你有参与开源项目或贡献的经历，可以在简历中加以展示。这可以显示你对编程社区的积极参与和对开源技术的贡献。如果你获得过相关领域的认证或荣获奖项，可以在简历中加以突出。提供你的GitHub或其他代码库链接，让招聘人员查看你的代码并评估你的编程能力。

2023-10-10

Windows-MySQL5.7安装部署手册

2023-10-08

k8s集群网络解决方案 calico.yaml k8s

calico是一个比较有趣的虚拟网络解决方案，它完全利用路由规则实现动态组网，通过BGP协议通告路由。

2022-10-26

harbor-https-cfssl生成证书

harbor-https cfssl 生成证书

2022-05-28

dbeaver-ce-6.3.1-win32.win32.x86_64.zip

连接 Hive ，SQL 执行神器， dbeaver是免费和开源（GPL）为开发人员和数据库管理员通用数据库工具。易用性是该项目的主要目标，是经过精心设计和开发的数据库管理工具。免费、跨平台、基于开源框架和允许各种扩展写作（插件）。它支持任何具有一个JDBC驱动程序数据库

2020-02-14

SublimeText3_Build3083_x64_XiaZaiBa.zip

Sublime Text 还是一款跨 OS X、Linux 和 Windows 三大平台的文字/代码编辑器。拥有高效、没有干扰的界面，在编辑方面的多选、宏、代码片段等功能，以及很有特色的Minimap。　　Sublime Text 是一个代码编辑器，也是HTML和先进的文本编辑器。　　漂亮的用户界面和非凡的功能，例如迷你地图，多选择，Python的插件，代码段，等等。　　完全可自定义键绑定，菜单和工具栏。　　Sublime Text的主要功能包括：拼写检查，书签，完整的 Python API ，Goto 功能，即时项目切换，多选择，多窗口等等

2019-08-15

eclipse-jee-2018-09-win32-x86-64.zip

ecliPSe classic 是eclipse的标准版，Eclipse Classic的带有source建议使用Eclipse Classic，需要插件自己安装配置即可.Eclipse 还包括插件开发环境（Plug-in Development Environment，PDE），这个组件主要针对希望扩展 Eclipse 的软件开发人员，因为它允许他们构建与 Eclipse 环境无缝集成的工具。由于 Eclipse 中的每样东西都是插件，对于给 Eclipse 提供插件，以及给用户提供一致和统一的集成开发环境而言，所有工具开发人员都具有同等的发挥场所。

2019-08-12

npp.6.9.2.Installer.zip

otepad++ 内置支持多达27种语法高亮度显示（包括各种常见的源代码、脚本，能够很好地支持。nfo文件查看），还支持自定义语言。　　可自动检测文件类型，根据关键字显示节点，节点可自由折叠/打开，还可显示缩进引导线，代码显示得很有层次感；　　可打开双窗口，在分窗口中又可打开多个子窗口，允许快捷切换全屏显示模式（F11），支持鼠标滚轮改变文档显示比例；　　提供了一些有用工具，如邻行互换位置、宏功能等；　　可显示选中文本的字节数（而不是一般编辑器所显示的字数，这在某些情况下，比如软件本地化很方便）。