eyeofeagle的博客_根哥的博客_CSDN博客-linux系统,编程语言-java,linux编程-shell领域博主

原创 Ansible批量安装CDH集群

文章目录1, 规划概览a, 服务拆分：多个小角色b, 目录结构，使用帮助2, 具体操作内容3, 具体模板内容 1, 规划概览 a, 服务拆分：多个小角色 b, 目录结构，使用帮助 [vagrant@c7 ansible-cdh-el7-playbook]$ tree . ├── ansible7...

2020-05-14 16:42:58 330 0

原创常用web服务器：状态监控status页面

文章目录1, httpd2, tomcat3, nginx 1, httpd 编辑/etc/httpd/conf/httpd.conf ，解开关于server-status的注释，并修改Allow 指令允许所有ip访问重启httpd,使服务生效 2, tomcat 修改配置文件: conf/...

2020-04-30 16:57:09 508 0

原创 Linux防删除，恢复删除

文章目录1，ext3, ext4文件系统： extundelete2，xfs 文件系统：xfsdump,xfsrestore 1，ext3, ext4文件系统： extundelete 工具简介：http://extundelete.sourceforge.net/ # 1,从elel仓库安装 y...

2020-04-29 19:03:26 395 0

原创 Hbase Shell 调用java代码：通过比较器，强过滤查询

1，在hbase shell里面查询：过滤字段值列值比较器 + 比较符号: SingleColumnValueFilter + CompareFilter.CompareOp http://hbase.apache.org/1.4/apidocs/org/apache/hadoop/hbas...

2020-04-22 17:51:14 425 0

原创 Shell编程：return 返回脚本调用的状态码

需求：如何调用一个脚本或函数，并判断任务是否执行成功 wang@wang-T58-V:~/sh/test-invoke-scripts$ cat slave.sh #!/bin/bash #name: slave.sh test_fun(){ ls /var/lib/docker re...

2020-04-21 12:30:33 435 0

原创 Apache Kylin使用REST api定时构建cube

kylin_cube_cron.sh #!/bin/bash set -x resumefile=/tmp/kylin_resume.sh checkfile=/tmp/kylin_status_check.sh echo -n "" > $resumefile ec...

2020-04-20 16:49:43 296 0

原创 hbase数据结构模型

文章目录1，数据结构2，存储目录结构 1，数据结构 hbase 表= multi-dimensional map (多维度的Map： kv对) row: 一条数据记录 row的结构如下：有序的存储(按rowkey的字典序, a->z ) ( rowkey1: { 列组: {列名: “...

2020-04-14 10:46:13 216 0

原创 maven 打包第三方jar包到本地仓库

需求：使用mvn package打包时，不能把idea中配置的第三方依赖jar包打进项目里面，所有想到把这个第三方依赖包保存在本地仓库中，并配置 < dependency>为设置好的本地依赖测试: 把mysql-jdbc-connector-5.5.jar 安装到本地仓库，并重...

2020-04-03 16:05:11 284 0

原创 Hbase使用压缩:snappy,lz4

1, 查看系统支持的压缩格式 [root@cdh-node1 ~]# hbase org.apache.hadoop.util.NativeLibraryChecker Java HotSpot(TM) 64-Bit Server VM warning: Using incremental CMS...

2020-03-30 16:18:30 328 0

原创 Centos6 搭建lnmp环境

文章目录1, 安装软件包2，配置nginx使用fastcgi3，测试lnmp 1, 安装软件包 #首先删除httpd yum -y remove httpd #安装仓库源 yum -y install epel-release yum -y install nginx mysql mysql-s...

2020-03-13 18:45:03 311 0

原创 linux不删除文件：替换rm命令

linux系统没有回收站机制，删除文件就很难找回，如果把系统的/bin/rm文件替换为自定义的脚本，则可以做到回收站的功能 ########## 第一步：备份系统的/bin/rm文件 ########## mv /bin/rm /bin/rm.bak ########## 第二步：编写/...

2020-03-09 19:03:48 432 0

原创 linux发送邮件通知

由于监控系统要求，需要及时收到系统运行状态，发邮件是一个很好的方式 1, linux配置 yum -y install mailx #配置邮件验证信息 cat >> /etc/mail.rc <<EOF [root@eadage ~]# tail /etc/mail.r...

2020-03-05 00:07:42 363 0

原创 keepalived, haproxy实现高可用，负载均衡

文章目录1，拓扑结构a, 使用单个nginx反向代理两个tomcat测试单个nginx反向代理b, 使用两个haproxy反向代理两个tomcat测试两个(keepalived+haproxy)反向代理 1，拓扑结构 a, 使用单个nginx反向代理两个tomcat 主机 ip 端口说明 ...

2020-03-04 18:59:46 325 0

原创 ansible自动化运维2: playbook

基本使用 ##1，编写playbook的yaml文件 [root@eadage ansible]# cat t1.yaml - hosts: docker2 remote_user: root tasks: - name: create empty file fil...

2020-03-02 11:02:58 338 0

原创 Centos安装LAMP环境

文章目录1, cent6: lamp (yum)a, 软件包安装b, 查看php编译参数c, 查看php模块化配置文件1, cent6: lamp (src) 1, cent6: lamp (yum) 服务名版本 a) httpd httpd-2.2.15-69.el6.cent...

2020-02-24 15:39:28 222 0

原创 zabbix安装使用

文章目录1，cent7安装zabbix2，zabbix配置主机监控a, 添加主机b, 添加application, item, triggerc, 添加action：发送邮件I, 邮箱设置：生成授权码，开启smtp服务II, 添加action, 发送邮件3，测试 1，cent7安装zabbix ...

2020-02-13 17:43:31 209 0

原创 Kerberos认证下: hbase,hive连接

1, 使用kerberos认证: UserGroupInformation.loginUserFromKeytab(kerberosUser, keytabPath) import org.apache.hadoop.security.UserGroupInformation; 2, 具体代码 ...

2020-01-20 15:32:37 388 0

原创 CDH启用kerberos认证

文章目录1，集群架构2, 安装kerberos服务3, CDH集群启用kerberosa, Administrator: securityb, Enable Kerberosc, 确认并勾选d, 填写kdc信息e, 略过CDH管理kerberos, 填写CDH管理员账号4, 使用kerberos认...

2020-01-20 10:52:59 878 0

原创 CDH集群: 数据恢复/备份

为防止hadoop集群因version等元数据丢失导致启动报错Namenode not format, 而使得所有数据丢失，需要数据业务备份使用CDH的数据主要为hive, hbase的各表，所以仅需要备份hive,hbase数据（以待hadoop重新格式化后无数据）测试hdfs重新格式化，...

2020-01-13 12:36:42 658 0

原创 centos 安装mysql8，配置root远程登陆, mysql忘记密码

文章目录1, yum安装,（忘记root密码）配置初始密码2，配置root远程登录 1, yum安装,（忘记root密码）配置初始密码 https://dev.mysql.com/doc/refman/8.0/en/linux-installation-yum-repo.html cat &...

2020-01-11 21:55:06 413 0

原创 httpd 密码验证

1，网站验证授权: 基于用户名/密码 #1，配置站点： [root@c7 conf.d]# grep DocumentRoot /etc/httpd/conf/httpd.conf # DocumentRoot: The directory out of which you will s...

2020-01-06 23:16:25 290 0

原创 linux源码编译

1, 内核升级,编译安装 wget https://mirrors.edge.kernel.org/pub/linux/kernel/v5.x/linux-5.4.7.tar.xz tar -xf linux-5.4.7.tar.xz -C /usr/src/ cd /usr/src ln...

2020-01-05 20:48:46 201 0

原创 Centos修复boot分区

1，对比boot分区: 完整的/损坏的 [root@localhost ~]# lsblk NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT sr0 11:0 1 1024M 0 rom sda 8:0 0 ...

2020-01-05 15:10:14 536 0

原创 centos6/7单用户模式, 自定义boot安装镜像, 模拟微型linux系统

文章目录1，centos 6/7但用户模式cent6cent7 1，centos 6/7但用户模式使用场景: 忘记密码，系统启动异常(网络配置错误,磁盘挂载异常) cent6 #centos6(开机bootloader读取配置文件: /etc/grub.cfg) [root@c6 ...

2020-01-04 22:33:02 272 0

原创 solr入门实践

1, 运行solr程序官方指南：https://lucene.apache.org/solr/guide/8_3/solr-tutorial.html 说明：在今日(2020,1,1)，最新版为8.4.0 , 而国内的镜像都是最新版，但8.4的文档却没有，只好参照8.3版的文档，实践证明这两...

2020-01-01 03:34:17 225 0

原创 Linux重复上一个命令最后一个参数

调用方法具体内容快捷键 (Esc . ) 或 (Alt .) 命令参数 !$ 或 $_ [root@eadage ~]# cat b.txt 123 aa [root@eadage ~]# more !$ more b.txt ...

2019-12-31 16:02:28 845 0

原创 sqoop实现类理解：抽数到hbase

1, 官网指南 a, 获取源码 http://sqoop.apache.org/docs/1.4.7/SqoopDevGuide.html -->git源码：https://git-wip-us.apache.org/repos/asf/sqoop.git b, sqoop抽数到...

2019-12-30 22:41:47 243 0

原创 Centos7.3安装sqlserver2017

官网指南：　https://docs.microsoft.com/en-us/sql/linux/quickstart-install-connect-red-hat?view=sql-server-2017 1, 系统要求条目要求系统版本 RHEL...

2019-12-30 18:38:33 311 0

原创 openssl使用指南:自签证书,加密

文章目录1, openssl使用帮助2, 创建CA，签发证书2, SSL通信 1, openssl使用帮助类别值对称加解密 openssl [enc -]des -k 123456 -in a.txt -out a.txt.crpy 单向加...

2019-12-30 00:36:18 281 0

原创自建DNS服务器

文章目录1, 正向解析a, 安装配置b, 测试dns服务2, 反向解析 1, 正向解析 a, 安装配置类型值附加说明1 附加说明2 软件包 bind, bind-libs, bind-utils 配置重载 rndc re...

2019-12-29 19:07:05 1256 0

原创 httpd源码编译, 配置vhost

文章目录1, 源码编译httpd2，配置httpd的vhost(虚拟主机)a, 基于hostnameb, 基于portc, 基于IP 1, 源码编译httpd 官网指南：http://httpd.apache.org/docs/2.4/install.html # 1，下载依赖源码包: a...

2019-12-29 16:45:00 212 1

原创 Intersystem : sql使用

1, Embedded SQL Class sql2.demo.EmbSql Extends %Persistent { /// 1,执行sql查询: 返回单个值 ClassMethod t1() As %Integer { &sql(SELECT COUNT(...

2019-12-27 16:43:10 312 0

原创 Centos查询下载:　依赖包

1, 安装缺失的.so文件 #1, 安装过程提示缺失.so文件：比如缺失libz.so.1()(64bit) [root@iris ~]# yum provides "libz.so.1()(64bit)" Loaded plugins: fastestmirror L...

2019-12-20 14:34:20 437 0

原创 InterSystem Ensemble: 代码调试

1, 代码trace 第一步：　在代码中设置trace (BS,BO 或BP) set obj=##class(xx.xx).%New() set tStream = "" d ##class(%ZEN.Auxiliary.jsonProvider).%Writ...

2019-12-19 10:34:47 265 0

原创 InterSystem Ensemble: BS-> BP-> BO

1, BS：数据输入端(webservice) File --> New --> Production–> Business Service: 选择soap inbound adapter Class test.LisInBS Extends EnsLib.SOAP.Serv...

2019-12-17 12:15:14 281 0

原创 InterSystem Ensemble配置：一个BS ->三个BO

1, 第三方业务接口：数据流出端 a, EMR端数据接口 b, Lis端数据接口 2, Ensemble处理消息

2019-12-09 15:32:25 336 0

原创 InterSystem cache安装配置

1, 内存，磁盘要求操作系统内存安装目录磁盘大小 REHL7 2G 1.5 GB( 实际占用3G左右) 2, 自动化安装查看本机的文档：http://localhost:57772/csp/docbook/DocBook.UI.Pag...

2019-12-05 16:16:44 385 0

原创 InterSystem Object Script语法简介

1, 基本语法 a, 数据类型：变量赋值 b,逻辑控制：选择/循环 c, 常用函数 2, 类与对象

2019-12-05 09:47:51 236 0

原创 CentOS 6,7 自定义service：设置开机启动

1, service脚本启动原理 Centos服务器启动流程： POST加电自检 --> boot sequence(BIOS) --> bootloader(MBR)–>加载内核: chroot -->设置启动级别，启动init程序和各开机启动程序 servic...

2019-12-03 15:12:12 872 0

原创使用DbVisualizer可视化连接hbase

背景介绍 hbase shell命令行显示的数据是16进制的，不方便查看，而且在命令行下操作也不方便，所以可以通过phoenix来jdbc连接，使用sql查询数据，而https://www.dbvis.com/download/10.0就是一个较好的客户端连接工具 CDH中为hbase...

2019-11-26 12:05:42 447 0