大数据
文章平均质量分 64
大数据学习笔记
我不是忘尘
一只喜欢古风歌的程序猿
展开
-
什么是数据仓库总线架构
数据仓库总线的主要目标是将复杂的数据仓库分析过程分解为各个可管理的组件,并且在这些组件之间形成良好的协作和交互,使得整个数据仓库的架构更加灵活、可扩展和易于维护。总线的主要功能是将各个组件连接起来,形成一个单一的、共享的数据传输媒介,使得各个组件互联互通,从而实现系统级别的数据共享和通信。因此,数据仓库总线的名称来源于计算机总线这一基本概念,强调了数据仓库中不同部分之间的交互、协作和共享性,旨在为数据仓库的设计和实现提供一个可扩展、开放的架构。原创 2023-04-25 14:08:14 · 335 阅读 · 0 评论 -
从零开始搭建个人大数据集群(5)——HBASE安装
从零开始搭建个人大数据集群——环境准备篇从零开始搭建个人大数据集群(1)——zookeeper从零开始搭建个人大数据集群(2)——HDFS 从零开始搭建个人大数据集群(3)——YARN从零开始搭建个人大数据集群(4)——HIVE安装前的准备1.安装好zookeeper和hadoop2.准备好hbase-2.3.5-bin.tar.gz解压安装包cd /opt/packagestar -zxf hbase-2.3.5-bin.tar.gz -C ../appsln -s hbase-2原创 2021-06-08 22:13:37 · 602 阅读 · 4 评论 -
从零开始搭建个人大数据集群(6)——SPARK安装
从零开始搭建个人大数据集群——环境准备篇从零开始搭建个人大数据集群(1)——zookeeper从零开始搭建个人大数据集群(2)——HDFS 从零开始搭建个人大数据集群(3)——YARN从零开始搭建个人大数据集群(4)——HIVE从零开始搭建个人大数据集群(5)——HBASE安装前的准备1.安装好zookeeper和hadoop2.准备好spark-2.4.8-bin-hadoop2.7.tgz解压安装包cd /opt/packagestar -zxf spark-2.4.8-bin-h原创 2021-06-08 22:12:44 · 274 阅读 · 1 评论 -
从零开始搭建个人大数据集群(7)——KAFKA安装
从零开始搭建个人大数据集群——环境准备篇从零开始搭建个人大数据集群(1)——zookeeper从零开始搭建个人大数据集群(2)——HDFS 从零开始搭建个人大数据集群(3)——YARN从零开始搭建个人大数据集群(4)——HIVE从零开始搭建个人大数据集群(5)——HBASE从零开始搭建个人大数据集群(6)——SPARK安装前的准备1.安装好zookeeper2.准备好kafka_2.12-2.6.2.tgz解压安装包cd /opt/packagestar -zxf kafka_2.1原创 2021-06-08 22:11:58 · 144 阅读 · 0 评论 -
从零开始搭建个人大数据集群(9)——KAFKA管理工具安装(cmak)
从零开始搭建个人大数据集群——环境准备篇从零开始搭建个人大数据集群(1)——zookeeper从零开始搭建个人大数据集群(2)——HDFS 从零开始搭建个人大数据集群(3)——YARN从零开始搭建个人大数据集群(4)——HIVE从零开始搭建个人大数据集群(5)——HBASE从零开始搭建个人大数据集群(6)——SPARK从零开始搭建个人大数据集群(7)——KAFKA之前安装过另一个kafka可视化管理工具kafka-eagle,那个界面做的很漂亮,功能也很强大,但确实不适合在虚拟机上启动,内存原创 2021-06-08 22:11:16 · 263 阅读 · 0 评论 -
从零开始搭建个人大数据集群(1)——zookeeper安装
从零开始搭建个人大数据集群——环境准备篇我准备搭建的是高可用集群,所以要先安装zookeeper环境准备1.由于zookeeper的选举机制是leader选举,要求 可用节点数量 > 总节点数量/2 。注意 是 > , 不是 ≥。所以需要用三台虚拟机来装,当然内存足够任性的话选五台也不是不行,我这里就用三台,主机名分别为hd1,hd2,hd32.准备好安装包我选用的版本是apache-zookeeper-3.5.9-bin.tar.gz,下载链接:https://mirrors.tu原创 2021-06-08 22:08:28 · 284 阅读 · 0 评论 -
从零开始搭建个人大数据集群——环境准备篇
1.至少准备三台虚拟机(我用五台)并按如下文章做好配置服务器配置NTP时钟同步我是用hadoop用户来安装集群,如果用root用户的话可以不用管这一步Linux/CentOS 配置普通用户配置免密切换root2.所有虚拟机之间配置免密登录3.准备好存放安装包及安装软件的目录,以及存放数据的目录我存放软件包的位置是/opt/packages,安装目录是/opt/apps数据目录是/data 且/data目录的权限要设置为755,权限太大的话安装HDFS的时候会报错4.下载好各个软件包推荐在清原创 2021-06-08 22:07:31 · 504 阅读 · 0 评论 -
Oracle查看所有表空间的数据使用情况
SELECT Upper(F.TABLESPACE_NAME) "表空间名", D.TOT_GROOTTE_MB "表空间大小(M)", D.TOT_GROOTTE_MB - F.TOTAL_BYTES "已使用空间(M)", To_char(Round(( D.TOT_GROOTTE_MB - F.TOTAL_BYTES ) / D.TOT_GROOTTE_MB * 100, 2), '990.99')转载 2021-03-17 09:46:48 · 417 阅读 · 0 评论 -
Linux下MySQL主从架构版本升级(5.7.31->5.7.33)——冷升级
目录前言下载并上传MySQL停应用升级从库停止备份停止从MySQL继承旧版本的配置启动并升级从MySQL登录并验证slave关闭slave升级主库查看master状态修改从库配置升级成功前言做的项目上线之前做漏洞扫描,发现MySQL5.7.31有漏洞,要升级到最新版本,查了下当前最新的是5.7.33,因为是主从结构的,没有这类升级经验,就在网上找了很多帖子,清一色都是先升级从再升级主,最终切换了主从,分析之后发现这种升级方式主要是考虑到升级期间MySQL会写入数据,而我们是可以把往MySQL写数据的应用原创 2021-03-04 22:44:23 · 2068 阅读 · 1 评论 -
Linux部署MySQL主从/主备(5.7.31版本)
目录一、部署前准备1.开放3306端口或直接关闭防火墙①查看防火墙状态②开放3306端口③重新加载防火墙规则④查看已开放端口下载并上传MySQL安装包到服务器创建MySQL安装目录并解压添加MySQL用户和组二、开始部署部署主MySQL创建my.cnf文件一、部署前准备1.开放3306端口或直接关闭防火墙因为MySQL主从之间需要通信,所以必须开放各自的端口,默认情况下是3306端口①查看防火墙状态firewall-cmd --state②开放3306端口firewall-cmd --zone原创 2021-03-04 21:56:22 · 2322 阅读 · 4 评论 -
AIX7.2系统安装openssh7.5
目录前言备份当前版本的ssh文件创建openssh安装包目录进入目录解压开始安装前言最开始对服务器做过一次安全检查,查出openssh的scp存在高危漏洞,于是就把包含scp服务的openssh-client卸载了,后来再做安全检查的时候又查出AIX上安装的Oracle有高危漏洞需要打补丁,但是Oracle打补丁的时候会调用scp……于是在开始在网上搜怎么装,但国内能搜到的AIX相关文章都太老了,无奈之下去看了IBM官方的英文文档解决了这个问题参考文档:https://www.ibm.com/supp原创 2021-03-01 13:14:09 · 1331 阅读 · 5 评论 -
Oracle通过存储过程解析CLOB中的XML
目录仅解析XML中某个标签中的值解析XML并将值插入表中格式化日期解析XML取标签值存储过程实现插入执行仅解析XML中某个标签中的值-- Created on 2020-12-23 by 20161 declare -- Local variables here --创建xml解析器实例xmlparser.Parser xmlPar xmlparser.Parser := xmlparser.newParser; --定义DOM文档 xDoc原创 2020-12-23 18:05:20 · 1424 阅读 · 0 评论 -
MySQL数据同步,出现Slave_SQL_Running:no和slave_io_running:no问题的解决方法
Slave_SQL_Running:nostop slave; SET GLOBAL SQL_SLAVE_SKIP_COUNTER=1; start slave; show slave status\G slave_io_running:no解决方法一如果用的是虚拟机转载 2020-12-19 15:55:03 · 240 阅读 · 4 评论 -
Hive 数据的导入与导出
目录数据导入load 加载数据**将hdfs中的文件load到表中****将本地文件load到表中**select加载数据动态分区**设置动态分区参数****创建原始表和分区表****开启自动分区****查询数据动态插入student_dyna表****查看分区目录:**数据导出将数据写入文件系统**将数据写入一个文件****将数据写入多个文件****从一张表中导出两个文件到不同的路径**、**通过hive -e 命令导出****hive -f sqlfile 大规模SQL**数据导入load 加载数据原创 2020-05-31 12:41:45 · 1002 阅读 · 0 评论