皎夜既明-CSDN博客

nfs – 网络存储架构介绍NFS概述网络文件系统（Network File System，NFS），一种使用于分散式文件系统的协议，由Sum公司开发，于1984年向外公布。功能是通过网络让不同的机器、不同的操作系统能够彼此分享个别的数据，让应用程序在客户端通过网络访问位于服务器磁盘中的数据，是在Unix系统间实现磁盘文件共享的一种方法。 NFS 的基本原则是“容许不同的客户端及服务端通过一组RPC分享相同的文件系统”，它是独立于操作系统，容许不同硬件及操作系统的系统共同进行文件的分享。 NFS基于

2021-03-23 11:51:01 260 1

原创 CentOS安装k8s1.19

一、系统环境准备（所有节点）1.关闭防火墙systemctl stop firewalldsystemctl disable firewalld2.关闭 selinuxsed -i 's/enforcing/disabled/' /etc/selinux/config # 永久setenforce 0 # 临时3.关闭 swapswapoff -a # 临时sed -ri 's/.*swap.*/#&/' /etc/fstab # 永久4.修改主机名hostname

2020-12-04 16:17:54 818 1

原创 Hbase删除命名空间脚本

Hbase没办法直接删除namespace，需要先把命名空间下的表都删了才能删除，网上没找到现成的脚本，所以自己写了个，如果有问题，欢迎指出来。运行时需要传入namespace的名称。#!/bin/bash#读取命名空间下的所有表名list_tables(){/opt/newland/core/hbase/bin/hbase shell << EOFlist_namespace_tables "$1"EOF}#删除该命名空间下的表drop_tables(){/opt/new

2020-10-13 11:27:47 2504

原创将kylin嵌入iframe

kylin version 2.6.6vim tomcat/conf/web.xml加入关于X-Frame-Options的filter配置，从而允许跨域的iframe的请求。<filter> <filter-name>httpHeaderSecurity</filter-name> <filter-class>org.apache.catalina.filters.HttpHeaderSecurityFilter&lt

2020-09-16 15:02:21 304

原创利用动态分区、full join以及coalesce函数将ODS层数据处理成DWD层数据

ods层数据抽取请参考我的另一篇文章sqoop自定义日期采集数据脚本假设在已经导入ODS层的情况下，我现在需要生成一张对应的DWD层表，即不重复的最新数据的表，因为ODS层默认导入的是昨天一天内更新的数据，而我们的分区是create_time转换的日期，所以我们需要更新DWD层里面对应的老数据以及添加昨天的新数据。下面的表名字段名等都是例子，不规范，请按自己公司的标准命名。set hive.default.fileformat=Orc;set hive.exec.dynamic.partition

2020-09-11 16:20:50 596

原创 sqoop自定义日期采集数据脚本

#!/bin/bashsource /etc/profiledate1=$1date2=$2if [ ! -n "$1" ] ;then echo "请输入起始日期"fiif [ ! -n "$2" ] ;then echo "请输入结束日期"fi#hive配置#账号名account=root#hive的数据库名hive_database=trade_ods#hive的表明hive_table=trade#昨天的日期，作为分区yestday=`date

2020-09-11 15:43:35 641

原创 Kylin使用LDAP登入认证、添加角色授权

文章目录一、编辑kylin.properties1.通过kylin的内部方法生成LDAP加密的密码2.修改kylin.properties二、通过phpldapadmin增加对应的组和人一、编辑kylin.propertiesKylin version 2.6.61.通过kylin的内部方法生成LDAP加密的密码cd $KYLIN_HOME/tomcat/webapps/kylin/WEB-INF/libjava -classpath kylin-server-base-\<versioin

2020-09-01 17:13:18 1132 2

原创 ElasticSearch与LDAP的安装和安全认证

文章目录一、使用Docker安装ES和Kibana1.创建网络2.安装ES3.安装Kibana4.汉化Kibana二、使用Docker安装openLDAP和phpldapadmin1.安装openLDAP2.安装phpldapadmin3.验证是否安装成功三、破解ES XPack1.将复制到自己机器上2.使用反编译工具luyten打开（其他的应该也行）3.将编辑好的文件传回docker容器里4.进入ES容器5.申请License6.加载License四、ES与LDAP的认证1.编辑elasticsearch

2020-09-01 11:56:01 2129 2

原创 CentOS和Ubuntu安装官网Docker

安装官网docker文章目录安装官网docker一、centos1.安装yum拓展工具2.添加官网docker源3.查看软件版本4.安装指定的版本5.设置开机启动二、ubuntu1.更新2.安装支持工具3.下载认证4.添加仓库数据5.安装一、centos1.安装yum拓展工具yum install -y yum-utils device-mapper-persistent-data lvm22.添加官网docker源yum-config-manager --add-repo https://d

2020-09-01 11:24:05 327

原创开源大数据开发平台DataSphereStudio&Linkis踩坑记录

DataSphere Studio（DSS）是微众银行开源的一站式大数据开发平台，开源于19年7月左右，目前市面上只发现这一个产品，，基于公司需求，我们调研后发现基本满足现有的需求，于是安装，安装过程踩了些坑，记录分享下。环境：centOS7DSS 0.7.0Linkis 0.9.31.spark任务请求资源报错，版本不兼容微众使用的hadoop版本是2.7.2，spark使用的是2.4.3，spark内hadoop的相关的包是2.7.3版本，在安装成功后请求spar...

2020-06-09 10:59:50 13404 12

原创 centOS 7安装Ambari2.6.2 HDP2.6.5 大数据集群搭建

本文基于root用户操作一、安装环境准备操作系统 centos7.6三台服务器以上主机名IP映射配置 vi /etc/hosts#添加如下地址映射及FQDN（ambari注册时需要）192.168.133.XX nl-bd1192.168.133.XX nl-bd2192.168.133.XX nl-bd3 配置ip,修改ifcfg-ens192 vi /etc/sysconfig/network-scripts/ifcfg-ens192 #修改为.

2020-06-02 17:03:41 432

原创 linux centOS7安装mysql5.7

下载tar包，这里使用wget从官网下载 wgethttps://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.22-linux-glibc2.12-x86_64.tar.gz 将mysql安装到/usr/local/mysql下 # 解压 tar -xvfmysql-5.7.22-linux-glibc2.12-x86_64.tar.gz # 移动 mvmysql-5.7.22-linux-glibc2...

2020-06-02 15:23:38 418

原创使用Apache Atlas结合CDH管理hive元数据，以及beeline的hive-hook问题的解决

编译。在官网下载好需要的包之后进行编译，这部分基本看官方安装文档就行。需要注意的是maven版本3.6以上的话，1.1和1.0编译会报错，本人亲试。1.2和2.0两个版本个人体验好像没什么差别，只有配置文件有点不一样（2.0是hbase2），其他地方都一样，连官网的文档都一样。一开始装2.0出错以为是版本问题，之后装的是1.2版本。另外我使用的是集群已有的ES和hbase，不用solr。下面是...

2019-09-30 11:22:50 5431 33

原创批量备份mysql数据库以及将mysql建表语句改为hive建表语句

#!/bin/bash############功能说明部分########################################脚本功能是按照每天对mysql数据库中所有表进行备份，备份文件为：数据库名-表名.sql#实例：backup/2016-08-25/uic-test.sql#测试数据还原实例：mysql -uroot -pprism%didi%dev%135 -h...

2019-07-25 17:47:37 967

原创本地jar包上传到nexus repository manager（maven私服仓库）

最近需要往公司自己搭建的maven上传jar包，搜了很多，最后成功了，分享一下。首先，修改自己本地maven的setting.xml配置文件，用户名和密码填公司私服仓库登入的账号密码。<servers> <server> <id>nexus-snapshots</id> &l...

2018-11-26 23:07:32 4470

原创 sqoop每天增量脚本

#!/bin/bashcur_date=`date +%Y-%m-%d`table=paydatebase=odshive_table=paydir=bigdata/public/odsif hdfs dfs -test -e /$dir/$tablethen dates=$(hdfs dfs -ls /$dir/$table) lastest=$(...

2018-08-18 17:38:49 3451

原创 kylin安装以及遇见到的一些问题和解决方法

环境:三台hadoop集群,hive,hbase,zookeeper三台机器内网互相通信,配置有一个外网ip,使用nginx端口映射kylin安装:安装部分参考文档:https://blog.csdn.net/seashouwang/article/details/77869773https://www.cnblogs.com/itboys/p/6322421.html1.从官...

2018-07-19 15:02:14 8247 2

ck978105293的博客

原创复杂风控场景（反洗钱）下，一些sql解决方案

原创 CentOS搭建NFS