cyg521的博客

原创 封装：保护数据的壁垒

封装是面向对象编程的第一原则之一。它是一种将数据（属性）和操作（方法）打包在一起并将其保护起来的方法。封装的目标是将对象的内部细节隐藏起来，只暴露必要的接口供外部使用。这种方式有助于防止外部代码直接访问和修改对象的状态，从而确保数据的完整性和安全性。

原创 数仓以及数仓分层

1、数仓概念数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。 为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。2、数仓为何要分层合理的数据仓库分层一方面能够降低耦合性，提高重用性，可读性可维护性，另一方面也能提高运算的效率，影响到数据需求迭代的速度，近而影响到产品决策的及时性。建立数据分层可以提炼公共层，避免烟囱

原创 制作本地centos镜像源相关操作

备份原本的yum repo文件，执行mv /etc/yum.repo.d /etc/yum.repo.d.bakmkdir/etc/yum.repo.d#创建ISO镜像文件的挂载路径mkdir /home/iso/#挂载mount -o loop CentOS-7-x86_64-Everything-2003.iso /home/iso/挂载成功后，挂载的路径会生成相应的文件创建repo文件，vim /etc/yum.repo.d/centos.repo##...

原创 十进制和二进制数字之间的相互转换

原创 python升级带来的yum异常：File “/usr/bin/yum“, line 30

使用yum命令，突然报语法错误原因：这是因为yum采用python作为命令解释器，原来系统自带的python解释器为python2.7，然后我之前为了方便将python默认的解释器设为了python3.6，导致按python3.6解析2.7的语法出错了。这里我使用的python版本为3.6.8解决方法：修改/usr/bin/yum文件中的第一行为#!/usr/bin/python2.7可能你的系统不是2.7，通过tab键补全python命令就可以看到你有哪些python版本，选一个低版本的

原创 docker容器部署mysql

docker容器部署mysql1、下载镜像文件2、创建docker实例并启动3、参数详解1、下载镜像文件docker pull mysql:5.7.30这里下载的是mysql5.7.30版本，也可以选择其他版本2、创建docker实例并启动docker run --name mysql --restart=always -p 3308:3306 \-v /home/mydata/mysql/log:/var/log/mysql \-v /home/mydata/mysql/data:/va

原创 Linux搭建GitLab

1、安装依赖:yum -y install policycoreutils openssh-server openssh-clients postfixyum install -y policycoreutils-python2、下载GitLab安装包并安装wget https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el7/gitlab-ce-11.3.3-ce.0.el7.x86_64.rpmrpm -ivh gitlab-ce

原创 Linux系统安装/卸载Anaconda3

1、需要准备的环境依赖Debian apt-getinstalllibgl1-mesa-glxlibegl1-mesalibxrandr2libxrandr2libxss1libxcursor1libxcomposite1libasound2libxi6libxtst6 RedHat yuminstalllibXcompositelibXcursorlibXilibXtstlibXrandralsa-libmesa-libEGLlibXdamage...

原创 java自增、自减 java ++ -- -= +=

java中有简写的运算符：+= ，-= ，*= ， /=n += 1 相当于 n = n +1;n -= 1 相当于 n = n -1另外java中还提供了 ++(自增) --(自减) 运算public class LearnOneDay { public static void main(String[] agrs){ int x=1; int y=1; x += 1; y = y +1 ; Sys.

原创 CDH6.2.1CM6.2.1版本部署操作文档

1简介1.1Cloudera Data Hub介绍CDH是最完整、测试最全面和最流行的Apache Hadoop及相关项目发布版本。 CDH包含Hadoop核心元素：可扩展存储和分布式计算引擎，同时提供了Web接口和企业级功能。 CDH基于Apache许可证开源协议，提供了包括批处理、交互式SQL、交互式查询和基于角色的访问控制一站式Hadoop大数据解决方案。CDH优势：灵活 — 存储任意类型数据，同时可以利用多种计算框架（批处理、交互式SQL、文本检索、机器学习...

原创 Centos使用yum安装图形化界面

1、使用yum安装Gnome包：输入命令：yum groupinstall"GNOME Desktop""Graphical Administration Tools" 输入命令后等待下载，然后一路y下去2、设置系统启动等级 systemctl get-default#获取当前系统运行形式，会显示multi-user.target（命令行终端）或者：graphical.targetsystemctlset-default graphical.targe...

原创 资源下载——cdh版本下载、maven的pom.xml配置、时间转换器等工具、在线编译器等

cdh版本下载地址：http://archive.cloudera.com/cdh5/cdh/5/maven项目中的pom.xml配置网址http://mvnrepository.com数据分析平台：友盟网：https://www.umeng.com/talkingdata：http://www.talkingdata.com/数据展示：highcharts：http://www.hcharts.cn/时间转换：http://tool.chinaz.com/Tools/uni

原创 k8s常用命令之rook

安装配置rook-ceph使用rook toolkubectl apply -f toolbox.yaml进入rook容器：kubectl -n rook-ceph exec -it $(kubectl -n rook-ceph get pod -l "app=rook-ceph-tools" -o jsonpath='{.items[0].metadata.name}') bash进入容器之后执行的命令ceph statusceph osd statusceph osd .

原创 centos系统静态IP设置

IP文件路径为：（注意文件名称一般为ifcfg-xxxx)vim /etc/sysconfig/network-scripts/ifcfg-ens33IP文件内容：TYPE=EthernetPROXY_METHOD=noneBROWSER_ONLY=noBOOTPROTO=static #配置静态DEFROUTE=yesIPV4_FAILURE_FATAL=noIPV6INIT=yesIPV6_AUTOCONF=yesIPV6_DEFROUTE=yesIPV6_FAILUR.

原创 无法在驱动器0的分区1上安装windows10的解决方法

　1、在当前安装界面按住Shift加F10调出命令提示符窗口；　　　　2、输入diskpart，按回车执行；　　　　3、进入DISKPART命令模式，输入list disk回车，列出当前磁盘信息；　　　　4、要转换磁盘0格式，则输入select disk 0回车，输入clean，删除磁盘分区；　　　　5、输入convert gpt则转为GPT；　　　　6、最后输入exit回车退出命令提示符，返回安装界面继续安装系统。...

原创 卸载清理k8s、docker

kubeadm reset -fmodprobe -r ipiplsmodrm -rf ~/.kube/rm -rf /etc/kubernetes/rm -rf /etc/systemd/system/kubelet.service.drm -rf /etc/systemd/system/kubelet.servicerm -rf /usr/bin/kube*rm -rf /et...

原创 解释python中 r‘‘, b‘‘, u‘‘, f‘‘ 的含义

字符串前加 rr"" 的作用是去除转义字符.即如果是“\n”那么表示一个反斜杠字符，一个字母n，而不是表示换行了。以r开头的字符，常用于正则表达式，对应着re模块。 s = r'Hello, \n"Bart"' s1 = 'Hello, \n"Bart"' print(s) print(s1)输出:Hello, \n"Bart"Hello,...

原创 CentOS7.7挂载硬盘

查看硬盘的挂载情况[root@localhost /]# fdisk -l | grep 'dev'Disk /dev/sda: 479.6 GB, 479559942144 bytes, 936640512 sectors/dev/sda1 * 2048 1026047 512000 83 Linux/dev/sda2 102...

原创 shell脚本修改指定文件中的指定内容

sed -i 's/修改前的内容/想要修改成的内容/g' FileName

原创 flink入门（1）

flink简介flink是什么？Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台，提供支持流处理和批处理两种类型应用的功能。flink来历Apache flink来自于柏林理工大学的一个研究性项目，在2014年被Apache孵化器接受，然后迅速成为了Apache Software Funcdation的顶级项目之一。flink特点现有的开源计算...

原创 window10配置本地maven库，无法找到JDK问题解决

已将JAVA_HOME配置到正确的目录，仍然在Windows 10中收到以下错误。我知道有类似的问题，但他们似乎没有一个明确的解决方案来解决这个问题在Windows 10上。错误：The JAVA_HOME environment variable is not defined correctlyThis environment variable is needed to run th...

原创 java的枚举定义以及使用方法介绍

原始的接口定义常量——一般定义常量的方法public interface IConstants { String MON = "Mon"; String TUE = "Tue"; String WED = "Wed"; String THU = "Thu"; String FRI = "Fri"; String SAT = "Sat"; St

原创 Hadoop：设置单个节点群集

目的本文档介绍如何设置和配置单节点Hadoop安装，以便您可以使用Hadoop MapReduce和Hadoop分布式文件系统（HDFS）快速执行简单的操作。先决条件支持的平台支持GNU / Linux作为开发和生产平台。已经在具有2000个节点的GNU / Linux群集上演示了Hadoop。Windows也是一个支持的平台，但以下步骤仅适用于Linux。要在Windows上设置Hadoop，请

原创 Hadoop 需要匹配的Java版本介绍

Hadoop Java版本本文主要参照Java版本在HadoopJavaVersions中描述点击打开链接https://wiki.apache.org/hadoop/HadoopJavaVersionsApache Hadoop的2.7及更高版本需要Java 7.它是在OpenJDK和Oracle（HotSpot）的JDK / JRE 上构建和测试的。

原创 Hive安装和配置

Hive的运行需要在Hadoop环境下Hive使用Hadoop，所以：您必须在您的路径中安装Hadoopexport HADOOP_HOME=此外，在创建hive表时，必须使用以下命令HDFS创建/tmp和/user/hive/warehouse（又名hive.metastore.warehouse.dir），并设置它们权限chmod g+w ， $ $