- 博客(25)
- 收藏
- 关注
原创 封装:保护数据的壁垒
封装是面向对象编程的第一原则之一。它是一种将数据(属性)和操作(方法)打包在一起并将其保护起来的方法。封装的目标是将对象的内部细节隐藏起来,只暴露必要的接口供外部使用。这种方式有助于防止外部代码直接访问和修改对象的状态,从而确保数据的完整性和安全性。
2023-09-15 15:11:21
156
原创 数仓以及数仓分层
1、数仓概念数据仓库,英文名称为Data Warehouse,可简写为DW或DWH。数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。它是单个数据存储,出于分析性报告和决策支持目的而创建。 为需要业务智能的企业,提供指导业务流程改进、监视时间、成本、质量以及控制。2、数仓为何要分层合理的数据仓库分层一方面能够降低耦合性,提高重用性,可读性可维护性,另一方面也能提高运算的效率,影响到数据需求迭代的速度,近而影响到产品决策的及时性。建立数据分层可以提炼公共层,避免烟囱
2021-03-29 16:07:20
1126
原创 制作本地centos镜像源相关操作
备份原本的yum repo文件,执行mv /etc/yum.repo.d /etc/yum.repo.d.bakmkdir/etc/yum.repo.d#创建ISO镜像文件的挂载路径mkdir /home/iso/#挂载mount -o loop CentOS-7-x86_64-Everything-2003.iso /home/iso/挂载成功后,挂载的路径会生成相应的文件创建repo文件,vim /etc/yum.repo.d/centos.repo##...
2020-10-16 16:29:11
432
原创 python升级带来的yum异常:File “/usr/bin/yum“, line 30
使用yum命令,突然报语法错误原因:这是因为yum采用python作为命令解释器,原来系统自带的python解释器为python2.7,然后我之前为了方便将python默认的解释器设为了python3.6,导致按python3.6解析2.7的语法出错了。这里我使用的python版本为3.6.8解决方法:修改/usr/bin/yum文件中的第一行为#!/usr/bin/python2.7可能你的系统不是2.7,通过tab键补全python命令就可以看到你有哪些python版本,选一个低版本的
2020-08-10 16:40:07
244
原创 docker容器部署mysql
docker容器部署mysql1、下载镜像文件2、创建docker实例并启动3、参数详解1、下载镜像文件docker pull mysql:5.7.30这里下载的是mysql5.7.30版本,也可以选择其他版本2、创建docker实例并启动docker run --name mysql --restart=always -p 3308:3306 \-v /home/mydata/mysql/log:/var/log/mysql \-v /home/mydata/mysql/data:/va
2020-08-03 14:17:39
198
原创 Linux搭建GitLab
1、安装依赖:yum -y install policycoreutils openssh-server openssh-clients postfixyum install -y policycoreutils-python2、下载GitLab安装包并安装wget https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el7/gitlab-ce-11.3.3-ce.0.el7.x86_64.rpmrpm -ivh gitlab-ce
2020-07-24 18:16:49
161
原创 Linux系统安装/卸载Anaconda3
1、需要准备的环境依赖Debian apt-getinstalllibgl1-mesa-glxlibegl1-mesalibxrandr2libxrandr2libxss1libxcursor1libxcomposite1libasound2libxi6libxtst6 RedHat yuminstalllibXcompositelibXcursorlibXilibXtstlibXrandralsa-libmesa-libEGLlibXdamage...
2020-07-24 15:39:51
19307
1
原创 java自增、自减 java ++ -- -= +=
java中有简写的运算符:+= ,-= ,*= , /=n += 1 相当于 n = n +1;n -= 1 相当于 n = n -1另外java中还提供了 ++(自增) --(自减) 运算public class LearnOneDay { public static void main(String[] agrs){ int x=1; int y=1; x += 1; y = y +1 ; Sys.
2020-06-03 13:47:46
523
原创 CDH6.2.1CM6.2.1版本部署操作文档
1简介1.1Cloudera Data Hub介绍CDH是最完整、测试最全面和最流行的Apache Hadoop及相关项目发布版本。 CDH包含Hadoop核心元素:可扩展存储和分布式计算引擎,同时提供了Web接口和企业级功能。 CDH基于Apache许可证开源协议,提供了包括批处理、交互式SQL、交互式查询和基于角色的访问控制一站式Hadoop大数据解决方案。CDH优势:灵活 — 存储任意类型数据,同时可以利用多种计算框架(批处理、交互式SQL、文本检索、机器学习...
2020-05-21 17:33:30
1994
原创 Centos使用yum安装图形化界面
1、使用yum安装Gnome包:输入命令:yum groupinstall"GNOME Desktop""Graphical Administration Tools" 输入命令后等待下载,然后一路y下去2、设置系统启动等级 systemctl get-default#获取当前系统运行形式,会显示multi-user.target(命令行终端)或者:graphical.targetsystemctlset-default graphical.targe...
2020-05-21 10:55:50
1378
原创 资源下载——cdh版本下载、maven的pom.xml配置、时间转换器等工具、在线编译器等
cdh版本下载地址:http://archive.cloudera.com/cdh5/cdh/5/maven项目中的pom.xml配置网址http://mvnrepository.com数据分析平台:友盟网:https://www.umeng.com/talkingdata:http://www.talkingdata.com/数据展示:highcharts:http://www.hcharts.cn/时间转换:http://tool.chinaz.com/Tools/uni
2020-05-20 20:14:17
255
原创 k8s常用命令之rook
安装配置rook-ceph使用rook toolkubectl apply -f toolbox.yaml进入rook容器:kubectl -n rook-ceph exec -it $(kubectl -n rook-ceph get pod -l "app=rook-ceph-tools" -o jsonpath='{.items[0].metadata.name}') bash进入容器之后执行的命令ceph statusceph osd statusceph osd .
2020-05-20 18:23:23
540
原创 centos系统静态IP设置
IP文件路径为:(注意文件名称一般为ifcfg-xxxx)vim /etc/sysconfig/network-scripts/ifcfg-ens33IP文件内容:TYPE=EthernetPROXY_METHOD=noneBROWSER_ONLY=noBOOTPROTO=static #配置静态DEFROUTE=yesIPV4_FAILURE_FATAL=noIPV6INIT=yesIPV6_AUTOCONF=yesIPV6_DEFROUTE=yesIPV6_FAILUR.
2020-05-18 09:33:46
228
原创 无法在驱动器0的分区1上安装windows10的解决方法
1、在当前安装界面按住Shift加F10调出命令提示符窗口; 2、输入diskpart,按回车执行; 3、进入DISKPART命令模式,输入list disk回车,列出当前磁盘信息; 4、要转换磁盘0格式,则输入select disk 0回车,输入clean,删除磁盘分区; 5、输入convert gpt则转为GPT; 6、最后输入exit回车退出命令提示符,返回安装界面继续安装系统。...
2020-05-13 09:41:02
16886
1
原创 卸载清理k8s、docker
kubeadm reset -fmodprobe -r ipiplsmodrm -rf ~/.kube/rm -rf /etc/kubernetes/rm -rf /etc/systemd/system/kubelet.service.drm -rf /etc/systemd/system/kubelet.servicerm -rf /usr/bin/kube*rm -rf /et...
2020-05-04 09:54:19
2452
原创 解释python中 r‘‘, b‘‘, u‘‘, f‘‘ 的含义
字符串前加 rr"" 的作用是去除转义字符.即如果是“\n”那么表示一个反斜杠字符,一个字母n,而不是表示换行了。以r开头的字符,常用于正则表达式,对应着re模块。 s = r'Hello, \n"Bart"' s1 = 'Hello, \n"Bart"' print(s) print(s1)输出:Hello, \n"Bart"Hello,...
2020-04-24 10:51:30
487
原创 CentOS7.7挂载硬盘
查看硬盘的挂载情况[root@localhost /]# fdisk -l | grep 'dev'Disk /dev/sda: 479.6 GB, 479559942144 bytes, 936640512 sectors/dev/sda1 * 2048 1026047 512000 83 Linux/dev/sda2 102...
2020-04-14 22:34:41
301
原创 flink入门(1)
flink简介flink是什么?Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台,提供支持流处理和批处理两种类型应用的功能。flink来历Apache flink来自于柏林理工大学的一个研究性项目,在2014年被Apache孵化器接受,然后迅速成为了Apache Software Funcdation的顶级项目之一。flink特点现有的开源计算...
2020-02-27 14:53:07
152
原创 window10配置本地maven库,无法找到JDK问题解决
已将JAVA_HOME配置到正确的目录,仍然在Windows 10中收到以下错误。我知道有类似的问题,但他们似乎没有一个明确的解决方案来解决这个问题在Windows 10上。错误:The JAVA_HOME environment variable is not defined correctlyThis environment variable is needed to run th...
2019-12-27 16:00:10
634
原创 java的枚举定义以及使用方法介绍
原始的接口定义常量——一般定义常量的方法public interface IConstants { String MON = "Mon"; String TUE = "Tue"; String WED = "Wed"; String THU = "Thu"; String FRI = "Fri"; String SAT = "Sat"; St
2018-01-18 10:05:05
549
原创 Hadoop:设置单个节点群集
目的本文档介绍如何设置和配置单节点Hadoop安装,以便您可以使用Hadoop MapReduce和Hadoop分布式文件系统(HDFS)快速执行简单的操作。先决条件支持的平台支持GNU / Linux作为开发和生产平台。已经在具有2000个节点的GNU / Linux群集上演示了Hadoop。Windows也是一个支持的平台,但以下步骤仅适用于Linux。要在Windows上设置Hadoop,请
2018-01-09 10:48:16
401
原创 Hadoop 需要匹配的Java版本介绍
Hadoop Java版本本文主要参照Java版本在HadoopJavaVersions中描述点击打开链接https://wiki.apache.org/hadoop/HadoopJavaVersionsApache Hadoop的2.7及更高版本需要Java 7.它是在OpenJDK和Oracle(HotSpot)的JDK / JRE 上构建和测试的。
2018-01-09 10:40:56
12427
原创 Hive安装和配置
Hive的运行需要在Hadoop环境下Hive使用Hadoop,所以:您必须在您的路径中安装Hadoopexport HADOOP_HOME=此外,在创建hive表时,必须使用以下命令HDFS创建/tmp和/user/hive/warehouse(又名hive.metastore.warehouse.dir),并设置它们权限chmod g+w , $ $
2018-01-08 16:40:47
454
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人