- 博客(10)
- 收藏
- 关注
RSS订阅原创 大数据进阶相关重要原理-个人整理笔记
HDFS1.HDFS概念：分布式文件存储系统，可通过线性添加机器扩充存储能力，有高容错性、适合大数据处理的优点，缺点为不适合小文件存储、不适合低延迟的数据访问。2.HDFS的原理：把数据文件切分成大小等大的BLOCK块，把BLOCK块以多副本的行式存放在多个DATANODE上，在NAMENODE上保存数据文件与BLOCK块的映射和BLOCK块和DATANODE的映射，读取时从多个DATANODE上读取使负载均衡（就近原则读取）。3.HDFS的组件及作用：（1）NAMENODE 作用：管理HDFS的名
2020-08-22 12:40:47
778
1
原创 Oracle学习及工作笔记整理
Oracle由Oracle数据库和Oracle实例组成Oracle数据库是存储数据的物理存在Oracle实例=进程+进程所使用的共享内存池（SGA SYSTEM GLOBAL AREA）系统全局区一个或多个实例可以访问一个数据库，一个实例只能访问一个数据库连接数据库：connect scott/H123 ,connect sys/Hyx960411 as sysdba，显示当前用户show user1.&的作用：select * from table where name=’&n
2020-08-22 12:33:13
2097
原创 大数据生态圈学习笔记
第一章 生态圈概述1.Hadoop版本区别：Hadoop1.0：HDFS+MapReduceHadoop2.0：HDFS+YARN+(MapReduce+Others)2.分布式存储系统HDFS（Hadoop Distributed File System）：提供高可靠性、高扩展性、高吞吐率的数据存储服务。3.资源管理系统YARN（YetAnother Resource Negotiator）：集群资源的统一管理和调度，是的多个计算架构可以运行在一个集群中。4.分布式计算框架MapReduce：
2020-08-22 12:30:15
480
1
原创 数据仓库-维度建模第三版笔记整理
第一章 简介1.数据仓库和商业智能（Data Warehousing and Business Intelligence,DW/BI）系统2.信息用作两个目的：操作型记录的保存和分析型决策的制定；操作型系统保存数据，一般一次处理一条事务记录；DW/BI系统使用数据，一次处理多条事务。3.DW/BI系统的基本业务需求：①．DW/BI系统要能方便的存取信息：系统的内容必须是易于理解。②．DW/BI系统必须以一致的形式展现信息：数据必须是可信的，通过数据清洗确保质量。③．DW/BI系统必须能适应变化：
2020-08-22 12:22:14
550
原创 阿里-大数据之路整理笔记
注：此为阿里架构，如有冒犯，多多包涵。概述1.数据采集层：①．数据采集体系：Aplus.JS是Web端日期采集技术方案；UserTrack是APP端日期采集技术方案。②．在传输方面采用TimeTunnel（TT），它既包括数据库的增量数据传输，也包括日志数据的传输，其作为数据传输服务的基础架构，既支持实时流式计算，也支持各种时间窗口的批量计算，通过数据库同步工具（DataX和同步中心，同步中心是基于DataX的易用性封装的）直连异构数据库来抽取各种时间窗口的数据。2.数据计算层：①．数据计算层.
2020-08-22 12:19:42
984
原创 centOS7在Hadoop2.10下安装分布式Hbase
一、启动集群HADOOP和ZK二、下载Hbase安装包：网址（注意看一下hadoop与Hbase的版本哈，需匹配）https://mirror.bit.edu.cn/apache/hbase/2.2.5/hbase-2.2.5-bin.tar.gz直接WGET或者下载到本地上传服务器都可三、解压：tar -zxvf hbase-2.2.5-bin.tar四、完成后进入配置环节：进入hbase安装目录下的conf注：我是将已解压好的文件MV成好写一点的名字，如hbase1.配置hbase-env
2020-08-22 11:51:38
414
原创 centOS 7 实践安装 hive 3.1.2
安装前准备：保证 hadoop 正常运行+保证 mysql 正常运行注意事项：hive仅仅是一个客户端工具，不存在集群概念，因此安装的时候无需每台机器安装，哪个节点需要使用，就安装在哪个节点上，多个节点安装的时候mysql的元数据库一定要相同（即要在同一个mysql同一个库上），否则各个客户端获取的数据不一致。一、下载hive安装包：因安装MYSQL时下载了WGET，所以不在使用本地下载，上传至服务器的方式，直接WGET就OK：wget https://mirrors.tuna.tsinghua.ed
2020-08-21 23:03:28
397
原创 centOS7基于Hadoop安装Mysql
一、下载MYSQL：1.查看是否安装wget：wget http://www.baidu.com2.如果没有安装，执行安装：yum install wget3.再次执行wget测试是否安装成功：wget http://www.baidu.com二、下载MYSQL：wget https://dev.mysql.com/get/mysql57-community-release-el7-9.noarch.rpm注:在哪个目录下执行，下载就在哪个目录三、进行repo的安装：rpm -ivh mysq
2020-08-21 23:01:38
597
原创 centOS 7 实践对zookeeper3.1.14的环境搭建
一、下载安装包：zookeeper-3.4.14.tar二、通过XFTP上传至某个服务器节点三、解压四、在安装目录下创建文件夹及文件：1.创建data文件夹：此文件夹下创建myid文件，里面仅记录节点ID，用于选举使用2.创建dataLog文件夹五、配置zoo.cfg文件：/zk/conf/下1.将文件zoo_sample.cfg 改成zoo.cfg文件：mv zoo_sample.cfg zoo.cfg2.重写zoo.cfg：六、配置环境变量（配置完成后source profile）
2020-08-20 23:06:35
162
原创 centOS7实践安装hadoop2.10完全分布式环境搭建
一、安装VM虚拟机：VMware-workstation-full-15.5.6-16341506二、新建CENTOS7虚拟机：安装过程略，使用版本：CentOS-7-x86_64-Everything-2003三、调配OS7网络：1.查看自己的IP地址：2.调配虚拟机选择模式:3.启动虚拟机4.修改OS7网络配置：vi /etc/sysconfig/network-scripts/ifcfg-ens33注：本次搭建为一台NN，四台DN模式，所以五台虚拟机均需分配静态地址，我的为131-
2020-08-20 23:05:12
675
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人