自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 Ansible批量安装CDH集群

文章目录1, 规划概览a, 服务拆分:多个小角色b, 目录结构,使用帮助2, 具体操作内容3, 具体模板内容 1, 规划概览 a, 服务拆分:多个小角色 b, 目录结构,使用帮助 [vagrant@c7 ansible-cdh-el7-playbook]$ tree . ├── ansible7...

2020-05-14 16:42:58 330 0

原创 常用web服务器:状态监控status页面

文章目录1, httpd2, tomcat3, nginx 1, httpd 编辑/etc/httpd/conf/httpd.conf ,解开关于server-status的注释,并修改Allow 指令允许所有ip访问 重启httpd,使服务生效 2, tomcat 修改配置文件: conf/...

2020-04-30 16:57:09 508 0

原创 Linux防删除,恢复删除

文章目录1,ext3, ext4文件系统: extundelete2,xfs 文件系统:xfsdump,xfsrestore 1,ext3, ext4文件系统: extundelete 工具简介:http://extundelete.sourceforge.net/ # 1,从elel仓库安装 y...

2020-04-29 19:03:26 395 0

原创 Hbase Shell 调用java代码:通过比较器,强过滤查询

1,在hbase shell里面查询:过滤字段值 列值比较器 + 比较符号: SingleColumnValueFilter + CompareFilter.CompareOp http://hbase.apache.org/1.4/apidocs/org/apache/hadoop/hbas...

2020-04-22 17:51:14 425 0

原创 Shell编程:return 返回脚本调用的状态码

需求: 如何调用一个脚本或函数,并判断任务是否执行成功 wang@wang-T58-V:~/sh/test-invoke-scripts$ cat slave.sh #!/bin/bash #name: slave.sh test_fun(){ ls /var/lib/docker re...

2020-04-21 12:30:33 435 0

原创 Apache Kylin使用REST api定时构建cube

kylin_cube_cron.sh #!/bin/bash set -x resumefile=/tmp/kylin_resume.sh checkfile=/tmp/kylin_status_check.sh echo -n "" > $resumefile ec...

2020-04-20 16:49:43 296 0

原创 hbase数据结构模型

文章目录1,数据结构2,存储目录结构 1,数据结构 hbase 表= multi-dimensional map (多维度的Map: kv对) row: 一条数据记录 row的结构如下:有序的存储(按rowkey的字典序, a->z ) ( rowkey1: { 列组: {列名: “...

2020-04-14 10:46:13 216 0

原创 maven 打包第三方jar包到本地仓库

需求: 使用mvn package打包时,不能把idea中配置的第三方依赖jar包打进项目里面,所有想到把这个第三方依赖包保存在本地仓库中,并配置 < dependency>为设置好的本地依赖 测试: 把mysql-jdbc-connector-5.5.jar 安装到本地仓库,并重...

2020-04-03 16:05:11 284 0

原创 Hbase使用压缩:snappy,lz4

1, 查看系统支持的压缩格式 [root@cdh-node1 ~]# hbase org.apache.hadoop.util.NativeLibraryChecker Java HotSpot(TM) 64-Bit Server VM warning: Using incremental CMS...

2020-03-30 16:18:30 328 0

原创 Centos6 搭建lnmp环境

文章目录1, 安装软件包2,配置nginx使用fastcgi3,测试lnmp 1, 安装软件包 #首先删除httpd yum -y remove httpd #安装仓库源 yum -y install epel-release yum -y install nginx mysql mysql-s...

2020-03-13 18:45:03 311 0

原创 linux不删除文件:替换rm命令

linux系统没有回收站机制,删除文件就很难找回,如果把系统的/bin/rm文件替换为自定义的脚本,则可以做到回收站的功能 ########## 第一步: 备份系统的/bin/rm文件 ########## mv /bin/rm /bin/rm.bak ########## 第二步: 编写/...

2020-03-09 19:03:48 432 0

原创 linux发送邮件通知

由于监控系统要求,需要及时收到系统运行状态,发邮件是一个很好的方式 1, linux配置 yum -y install mailx #配置邮件验证信息 cat >> /etc/mail.rc <<EOF [root@eadage ~]# tail /etc/mail.r...

2020-03-05 00:07:42 363 0

原创 keepalived, haproxy实现高可用,负载均衡

文章目录1,拓扑结构a, 使用单个nginx反向代理两个tomcat测试单个nginx反向代理b, 使用两个haproxy反向代理两个tomcat测试两个(keepalived+haproxy)反向代理 1,拓扑结构 a, 使用单个nginx反向代理两个tomcat 主机 ip 端口说明 ...

2020-03-04 18:59:46 325 0

原创 ansible自动化运维2: playbook

基本使用 ##1,编写playbook的yaml文件 [root@eadage ansible]# cat t1.yaml - hosts: docker2 remote_user: root tasks: - name: create empty file fil...

2020-03-02 11:02:58 338 0

原创 Centos安装LAMP环境

文章目录1, cent6: lamp (yum)a, 软件包安装b, 查看php编译参数c, 查看php模块化配置文件1, cent6: lamp (src) 1, cent6: lamp (yum) 服务名 版本 a) httpd httpd-2.2.15-69.el6.cent...

2020-02-24 15:39:28 222 0

原创 zabbix安装使用

文章目录1,cent7安装zabbix2,zabbix配置主机监控a, 添加主机b, 添加application, item, triggerc, 添加action:发送邮件I, 邮箱设置: 生成授权码,开启smtp服务II, 添加action, 发送邮件3,测试 1,cent7安装zabbix ...

2020-02-13 17:43:31 209 0

原创 Kerberos认证下: hbase,hive连接

1, 使用kerberos认证: UserGroupInformation.loginUserFromKeytab(kerberosUser, keytabPath) import org.apache.hadoop.security.UserGroupInformation; 2, 具体代码 ...

2020-01-20 15:32:37 388 0

原创 CDH启用kerberos认证

文章目录1,集群架构2, 安装kerberos服务3, CDH集群启用kerberosa, Administrator: securityb, Enable Kerberosc, 确认并勾选d, 填写kdc信息e, 略过CDH管理kerberos, 填写CDH管理员账号4, 使用kerberos认...

2020-01-20 10:52:59 878 0

原创 CDH集群: 数据恢复/备份

为防止hadoop集群因version等元数据丢失导致启动报错Namenode not format, 而使得所有数据丢失,需要数据业务备份 使用CDH的数据主要为hive, hbase的各表,所以仅需要备份hive,hbase数据(以待hadoop重新格式化后无数据) 测试hdfs重新格式化,...

2020-01-13 12:36:42 658 0

原创 centos 安装mysql8,配置root远程登陆, mysql忘记密码

文章目录1, yum安装,(忘记root密码)配置初始密码2,配置root远程登录 1, yum安装,(忘记root密码)配置初始密码 https://dev.mysql.com/doc/refman/8.0/en/linux-installation-yum-repo.html cat &...

2020-01-11 21:55:06 413 0

原创 httpd 密码验证

1, 网站验证授权: 基于用户名/密码 #1,配置站点: [root@c7 conf.d]# grep DocumentRoot /etc/httpd/conf/httpd.conf # DocumentRoot: The directory out of which you will s...

2020-01-06 23:16:25 290 0

原创 linux源码编译

1, 内核升级,编译安装 wget https://mirrors.edge.kernel.org/pub/linux/kernel/v5.x/linux-5.4.7.tar.xz tar -xf linux-5.4.7.tar.xz -C /usr/src/ cd /usr/src ln...

2020-01-05 20:48:46 201 0

原创 Centos修复boot分区

1,对比boot分区: 完整的/损坏的 [root@localhost ~]# lsblk NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT sr0 11:0 1 1024M 0 rom sda 8:0 0 ...

2020-01-05 15:10:14 536 0

原创 centos6/7单用户模式, 自定义boot安装镜像, 模拟微型linux系统

文章目录1,centos 6/7但用户模式cent6cent7 1,centos 6/7但用户模式 使用场景: 忘记密码,系统启动异常(网络配置错误,磁盘挂载异常) cent6 #centos6(开机bootloader读取配置文件: /etc/grub.cfg) [root@c6 ...

2020-01-04 22:33:02 272 0

原创 solr入门实践

1, 运行solr程序 官方指南:https://lucene.apache.org/solr/guide/8_3/solr-tutorial.html 说明:在今日(2020,1,1),最新版为8.4.0 , 而国内的镜像都是最新版,但8.4的文档却没有,只好参照8.3版的文档,实践证明这两...

2020-01-01 03:34:17 225 0

原创 Linux重复上一个命令最后一个参数

调用方法 具体内容 快捷键 (Esc . ) 或 (Alt .) 命令参数 !$ 或 $_ [root@eadage ~]# cat b.txt 123 aa [root@eadage ~]# more !$ more b.txt ...

2019-12-31 16:02:28 845 0

原创 sqoop实现类理解:抽数到hbase

1, 官网指南 a, 获取源码 http://sqoop.apache.org/docs/1.4.7/SqoopDevGuide.html -->git源码:https://git-wip-us.apache.org/repos/asf/sqoop.git b, sqoop抽数到...

2019-12-30 22:41:47 243 0

原创 Centos7.3安装sqlserver2017

官网指南: https://docs.microsoft.com/en-us/sql/linux/quickstart-install-connect-red-hat?view=sql-server-2017 1, 系统要求 条目 要求 系统版本 RHEL...

2019-12-30 18:38:33 311 0

原创 openssl使用指南:自签证书,加密

文章目录1, openssl使用帮助2, 创建CA,签发证书2, SSL通信 1, openssl使用帮助 类别 值 对称加解密 openssl [enc -]des -k 123456 -in a.txt -out a.txt.crpy 单向加...

2019-12-30 00:36:18 281 0

原创 自建DNS服务器

文章目录1, 正向解析a, 安装配置b, 测试dns服务2, 反向解析 1, 正向解析 a, 安装配置 类型 值 附加说明1 附加说明2 软件包 bind, bind-libs, bind-utils 配置重载 rndc re...

2019-12-29 19:07:05 1256 0

原创 httpd源码编译, 配置vhost

文章目录1, 源码编译httpd2,配置httpd的vhost(虚拟主机)a, 基于hostnameb, 基于portc, 基于IP 1, 源码编译httpd 官网指南:http://httpd.apache.org/docs/2.4/install.html # 1, 下载依赖源码包: a...

2019-12-29 16:45:00 212 1

原创 Intersystem : sql使用

1, Embedded SQL Class sql2.demo.EmbSql Extends %Persistent { /// 1,执行sql查询: 返回单个值 ClassMethod t1() As %Integer { &sql(SELECT COUNT(...

2019-12-27 16:43:10 312 0

原创 Centos查询下载: 依赖包

1, 安装缺失的.so文件 #1, 安装过程提示缺失.so文件:比如缺失libz.so.1()(64bit) [root@iris ~]# yum provides "libz.so.1()(64bit)" Loaded plugins: fastestmirror L...

2019-12-20 14:34:20 437 0

原创 InterSystem Ensemble: 代码调试

1, 代码trace 第一步: 在代码中设置trace (BS,BO 或BP) set obj=##class(xx.xx).%New() set tStream = "" d ##class(%ZEN.Auxiliary.jsonProvider).%Writ...

2019-12-19 10:34:47 265 0

原创 InterSystem Ensemble: BS-> BP-> BO

1, BS:数据输入端(webservice) File --> New --> Production–> Business Service: 选择soap inbound adapter Class test.LisInBS Extends EnsLib.SOAP.Serv...

2019-12-17 12:15:14 281 0

原创 InterSystem Ensemble配置:一个BS ->三个BO

1, 第三方业务接口:数据流出端 a, EMR端数据接口 b, Lis端数据接口 2, Ensemble处理消息

2019-12-09 15:32:25 336 0

原创 InterSystem cache安装配置

1, 内存,磁盘要求 操作系统 内存 安装目录磁盘大小 REHL7 2G 1.5 GB( 实际占用3G左右) 2, 自动化安装 查看本机的文档:http://localhost:57772/csp/docbook/DocBook.UI.Pag...

2019-12-05 16:16:44 385 0

原创 InterSystem Object Script语法简介

1, 基本语法 a, 数据类型:变量赋值 b,逻辑控制:选择/循环 c, 常用函数 2, 类与对象

2019-12-05 09:47:51 236 0

原创 CentOS 6,7 自定义service:设置开机启动

1, service脚本启动原理 Centos服务器启动流程: POST加电自检 --> boot sequence(BIOS) --> bootloader(MBR)–>加载内核: chroot -->设置启动级别,启动init程序和各开机启动程序 servic...

2019-12-03 15:12:12 872 0

原创 使用DbVisualizer可视化连接hbase

背景介绍 hbase shell命令行显示的数据是16进制的,不方便查看,而且在命令行下操作也不方便,所以可以通过phoenix来jdbc连接,使用sql查询数据,而https://www.dbvis.com/download/10.0就是一个较好的客户端连接工具 CDH中为hbase...

2019-11-26 12:05:42 447 0

提示
确定要删除当前文章?
取消 删除