你的世界是你创造的结果

StreamSets 实现LDAP统一认证登录部署配置的实现StreamSets Data Collector TM是一种轻量级,功能强大的设计和执行引擎,可实时传输数据。使用数据收集器来路由和处理数据流中的数据。实现该过程的动机StreamSets用户认证Data Collector 可以基于LDAP或文件对用户帐户进行身份验证。最佳实践是在组织中使用LDAP。默认情况下,Data Collector使用基于文件的身份验证。Data Collector 提供了几个角色,这些角色确定用户可以执行的

记录一次GitHub托管托管文件相关步骤和指令kylin@kylin MINGW64 /d/2.Work/Ww-Jsfzb$ git initInitialized empty Git repository in D:/2.Work/Ww-Jsfzb/.git/kylin@kylin MINGW64 /d/2.Work/Ww-Jsfzb (master)$ lltotal 4drwxr-xr-x 1 kylin 197121 0 9月 22 10:28 LocalFiles/drwxr

1、在线安装zshsudo apt-get install zsh2、查看系统中有的shellcat /etc/shells | lolcat3、临时切换shell/bin/zsh类似/bin/bash4、修改默认shellchsh -s /bin/zsh同理chsh -s /bin/bash5、zsh快速上手目前常用的 Linux 系统和 OS X 系统的默认 Shell 都是 bash，但是真正强大的 Shell 是深藏不露的 zsh， 这货绝对是马车中的跑车，跑车中的飞行车

1 基础篇2 系统操作篇3 系统管理篇4 Shell篇5 文本操作篇6. 服务管理篇完整版-Linux基础知识体系图

由于RedHat是收费产品，如果虚拟机搭建使用了RedHat的镜像，最好是进行yum源的切换，切换后使用Centos的yum源。1、下载所需要的rpm安装包https://mirrors.aliyun.com/centos/7/os/x86_64/Packageswget https://mirrors.aliyun.com/centos/7/os/x86_64/Packages/yum-metadata-parser-1.1.4-10.el7.x86_64.rpmwget https://mi.

1、安装WSL 21.1 Windows系统版本需要WSL 2 仅适用于 Windows 10 版本 18917 或更高版本。Windows版本验证，命令提示符中用ver检测：C:\Users\kylin>verMicrosoft Windows [版本 10.0.18362.778]1.2 Windows系统更新和预览体验计划开启具体相关操作可以参考https://docs.microsoft.com/zh-cn/windows/wsl/wsl2-install下的相关视频.

博文目录Ubuntu18.04(Binoc)安装CM6.3.1+CDH6.3.21 初始化系统1.1 设置root用户密码1.2 系统软件更新1.3 安装ssh服务1.4 ssh本地免密登陆设置1.4 设置静态IP地址1.5 Windows Terminal 添加SSH连接1.6 更换阿里源Ubuntu18.04(Binoc)安装CM6.3.1+CDH6.3.21 初始化系统1.1 设置root用户密码kylin@ubuntu:~$ sudo passwd root[sudo] kylin 的密码

Bash on Ubuntu on Windows查看当前Ubuntu版本：lsb_release -a按照以下命令步骤依次执行进行升级：sudo dpkg --force depends -P lxd; sudo dpkg --force depends -P lxd-clientsudo nano /etc/update-manager/release-upgrades然后，把 Prompt 的值由 lts 修改成 normal 即可。(Ctrl+提示命令)sudo do-relea

如果有一个很大的文件，你想把其分割成一些小的文件，那么split这个命令就是干这件事的了。[root@bdpadmin spilt_test]# lltotal 20284-rw-r--r--. 1 root root 20766931 Apr 13 17:21 Python-3.5.5.tgz[root@bdpadmin spilt_test]# ls -l Python-3.5.5.t...

0. 问题描述无论什么情况导致Cloudera Manager的管理员用户由于密码登录异常，当需要重置admin密码时，就可以按照这篇文章逐步操作执行。1. 解决办法1.1 查看Cloudera Manager服务的数据库配置文件登录Cloudera Manager所在的服务器，查看/etc/cloudera-scm-server/db.properties配置，获取CM数据库的用户名和...

Linux相关命令：> 、| 、tr 、sort 、uniq 、sed 等对文件处理。#文件处理（bash）PD000731_陈麒@IT-13 MINGW64 /d/CCPD-G8.6/Panda (master)$ history > history.txt#删除文本中数字--这里目的是删除行号PD000731_陈麒@IT-13 MINGW64 /d/CCPD-G8.6/P...

这里介绍 linux ll、cat等命令以管道命令结合awk在结果中输出指定列的操作：#指定输出第一列和第九列$ ll | awk -F' ' '{print $1,$9}' #列之间是空格符$ ll | awk -F',' '{print $1,$9}' #列之间是逗号符#定输出最后一列$ ll | awk -F' ' '{print $NF}' #列之间是空格符$ ll | aw...

博文目录0. Jenkins1. 功能特点2. 下载启动2.1 下载2.2 启动2.2.1 启动部署方式一2.2.2 启动部署方式二2.2.3 Jenkins服务自动开启和关闭脚本3. 服务配置0. JenkinsJenkins是一个开源软件项目，是基于Java开发的一种持续集成工具，用于监控持续重复的工作，旨在提供一个开放易用的软件平台，使软件的持续集成变成可能。11. 功能特点构建...

博文目录Linux下安装Kettle1. 介绍1.1. 目的1.2. 范围2. 安装准备2.1. 用户规划2.2. 目录规划2.3. 安装包准备2.4. 环境变量配置3. 开始安装4. 安装检查Linux下安装Kettle1. 介绍1.1. 目的此文档为环境 ETL Server 安装 Kettle 提供操作指引。1.2. 范围此文档仅限 Linux 环境安装。供 ETL 开发维护...

Azkaban curl命令Azkaban除了Web页面可视化操作工作流之外，换可以使用curl命令调用Azkaban接口代码以指令模式进行工程和工作流的相关操作。shell模式下登录鉴权$ curl -k -X POST --data "action=login&username=admin&password=admin" http://10.80.36.30:8090...

Yarn管理的MapReduce、Spark并行化任务Kill[root@bdpcm01 ~]# yarn application -kill application_1548925847050_1635244Killing application application_1548925847050_1635244Yarn Shell[root@bdpnamenodemaster ~]#...

Spark Submit[root@bdpcm01 bin]# cat extract-all.sh #!/usr/bin/env bashexport HADOOP_USER_NAME=impala#service nameservice_name=$1; shiftbin=$(dirname $0)conf=${bin}/../confversion=`cat ${co...

Kill yarn application script[root@bdpnamenodemaster edw]# cat kill_app.sh #!/usr/bin/env bashfor jobId in `yarn application -list 2>/dev/null | tail -n +3 | grep "RUNNING" | awk '{print $1}'` ;...

博文目录Python3-WebAppHTTP请求的生命周期Demo托管GitHub地址WebApp实战Day-1 搭建开发环境Day-2 编写Web App骨架Day-3 编写ORM设计背景与思路创建连接池封装SELECT操作封装INSERT,UPDATE,DELETE操作创建Field类创建元类ModelMetaclass创建基类ModelDay-4 编写models初始化数据库表Day-5 编...

一行Python代码搞定局域网内文件共享与传输前提：环境中有Python安装，并配置环境变量。1、共享目录：Windows下，在要共享文件目录下，shift+鼠标右键，在此处打开命令行窗口(CMD);2、服务开启：python3 -m http.server 9527 #后面是端口号，端口号随意； python2 中可以使用 python -m SimpleHTTPServer 9527...

Git-dpkg速查表Git日常开发使用中的总结1、本地Git环境初始化PD000731_陈麒@IT-13 MINGW64 /d/CCPD-G8.6/Panda$ git config --global user.name "chenqi"PD000731_陈麒@IT-13 MINGW64 /d/CCPD-G8.6/Panda$ git config --global user.e...

GitLab 安装教程GitLab 是一个用于仓库管理系统的开源项目，使用Git作为代码管理工具，并在此基础上搭建起来的web服务。GitLab 版本分ee与ce : ee指企业版, ce是社区版GitLab在线安装GitLab InstallationGitLab线下安装GitLab下载rpmgitlab’s reposGitLab安装$ rpm -ivh gi...

Git从本地资源库提交到远程资源库的简单方案脚本#!/bin/bash#本地资源库路径LocalRepositories="/d/CCPD-G8.6/Panda" cd $LocalRepositoriesgit status -sread -r -p "继续提交？ [Y/N] " input1case $input1 in [yY][eE][sS]|[yY]) ech...

*数据建模及存储*数据采集(Sqoop)“”"一般来讲，Sqoop 支持自定义形式的查询式导入。举例来说， Sqoop 的导入任务可以包含任意的 SQL，具体到这个例子就是 join 语句。然而，这种导入仅限简单查询语句，不支持自定义的投影，where 子句中不能包含 OR 条件。在这种情况下，我们还需要指定额外的参数（如 --split-by）来保证查询的并行化。不过这样做的确避免了编...

大数据平台数据处理流程一、.XML文件处理 (jupiter)ftp文件服务器上传xml文件：自动消息日志通过 ftp 服务器将定义好类别的 xml文件主动推送到 bdpetl01/02 服务下的 /data/ftpdata/… 路径目录下；（包含主题：fabprocessdata、modprocessdata、tracedata）linux系统进行初步的文本处理：linux系统通过脚本对...

Linux文件操作常用命令一、新建操作：mkdir abc #新建一个文件夹touch abc.sh #新建一个文件echo “abc” > test.txt #新建一个文件，并将abc写入。这里用到了重定向符二、查看操作1.查看目录：ll #显示目录文件详细信息du -h 文件/目录 #查看大小pwd #显示路径2.查看文件内容：cat|head|tail命令ca...

Linux服务基本点检脚本：get_oracle_status.sh#!/usr/bin/kshsource_sql_page="select status from v\$instance;"a=`sqlplus / as sysdba <<!set heading offset ver offset feedback off$source_sql_page...

录制和回放终端会话开始录制会话：[root@bdpadmin ~]# script -t 2> timing.log -a output.sessionScript started, file is output.session#…需要停止录制：[root@bdpadmin scripts]# exitexitScript done, file is output.sessi...

Linux Network1.打印网络接口列表[root@bdpadmin etc]# ifconfig | cut -c-10 | tr -d ' ' | tr -s '\n'bond0bond1eth0eth1eth2eth3lo2.查看IP地址的分配与现实[root@bdpadmin etc]# ifconfigor[root@bdpadmin etc]# ifco...

Linux Find Command[root@bdpadmin ~]# find -maxdepth 1 -type f -print #文件[root@bdpadmin ~]# find -maxdepth 1 -type d -print #目录[root@bdpadmin ~]# find -maxdepth 1 -type l -print #链接[root@bdpcm0...

FTP 日志上传方式脚本编写vi /tmp/sendsyslog.sh#!/usr/bin/shecho "begin send file " `date`cd /var/log pro(){echo "XXXXXXXXXxxxx" $1ftp -n <<!open 10.81.129.97user logserver Admin@123binarycd...

* WSL安装Ubuntu桌面环境1、切换源root@kylin:~# cp /etc/apt/sources.list /etc/apt/sources.list.bakroot@kylin:~# vim /etc/apt/sources.listdeb http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe m...

远程Linux服务器界面化（VNC）1、检查安装服务器rpm -qa | grep vnc如果返回信息中有tigervnc-server，说明已安装了VNC；如果没有：yum install tigervncyum install tigervnc-server2 、VNC配置文件vim /etc/sysconfig/vncservers (Old)vim /lib/...

Linux后台执行命令：nohup 和 & 的使用说明nohup 命令说明nohup 是 no hungup 的缩写，意思是“不挂断”。我们在使用Xshell等工具，远程执行Linux脚本时，有时候会由于网络问题，导致失去连接，终端断开，程序运行一半就意外结束了。这种时候，就可以用``nohup` 指令来运行指令，使程序可以忽略挂起信号继续运行。语法格式：nohup Comm...

About Jenkins Server[edwetl@edwetl1 jenkins]$ crontab -l#每5分钟执行一次*/5 * * * * /home/edwetl/jenkins/auto_jenkins_restart.sh > /home/edwetl/jenkins/jenkins_check.log#每小时第5分钟执行一次5 * * * * /home/ed...

Linux如何查看和清空操作历史记录1、查看历史记录：#history2、历史记录保存的位置：#cat /root/.bash_history3、对于查询不到刚刚执行的命令，是因为还在缓存中，将缓存写入文件：#history -w4、如果不想保存历史记录：#history -c5、可以通过修改 #vim /etc/profile ,中HISTSIZE的大小来改变记录历史的记录数。...