- 博客(8)
- 问答 (1)
- 收藏
- 关注
原创 7 | 史上最全大数据笔记-Hive函数
先来看一下这个需求:求每个部门的员工信息以及部门的平均工资。在mysql中如何实现呢FROM empJOIN (FROM emp) tfrom emp A;通过这个需求我们可以看到,如果要查询详细记录和聚合数据,必须要经过两次查询,比较麻烦。这个时候,我们使用窗口函数,会方便很多。那么窗口函数是什么呢?-1) 窗口函数又名开窗函数,属于分析函数的一种。-2) 是一种用于解决复杂报表统计需求的函数。
2024-06-04 12:49:32
870
原创 4 | 史上最全大数据笔记-Hive(上)
hive是一个构建在Hadoop上的数据仓库工具(框架),可以将结构化的数据文件映射成一张数据表,并可以使用类sql的方式来对这样的数据文件进行读,写以及管理(包括元数据)。FaceBook网站每天产生海量的结构化日志数据,为了对这些数据进行管理,并且因为机器学习的需求,产生了hive这门技术,并继续发展成为一个成功的Apache项目。Hive常用的安装分三种,分别是内嵌模式、本地模式和远程模式。# --nodeps: 强制卸载,RPM卸载程序的时候,如果这个程序被其他的程序依赖,是无法卸载的。
2024-06-02 11:35:27
493
原创 3 | 史上最全大数据笔记-Yarn
第一代Hadoop,由分布式存储系统HDFS和分布式计算框架MapReduce组成,其中,HDFS由一个NameNode和多个DataNode组成,MapReduce由一个JobTracker和多个TaskTracker组成。对应Hadoop版本为Hadoop 1.x和0.21.X,0.22.x。为克服Hadoop 1.0中HDFS和MapReduce存在的各种问题而提出的,针对Hadoop 1.0中的MapReduce在扩展性和多框架支持方面的不足,提出了全新的资源管理框架YARN.
2024-06-01 13:31:10
861
原创 2 | 史上最全大数据笔记-ZooKeeper
1. zookeeper是一个为分布式应用程序提供的一个分布式开源协调服务框架。是Google的Chubby的一个开源实现,是Hadoop和Hbase的重要组件。主要用于解决分布式集群中应用系统的一致性问题。2. 提供了基于类似Unix系统的目录节点树方式的数据存储。3. 可用于维护和监控存储的数据的状态的变化,通过监控这些数据状态的变化,从而达到基于数据的集群管理4. 提供了一组原语(机器指令),提供了java和c语言的接口。
2024-05-29 12:29:44
615
原创 1 | 史上最全大数据笔记-HDFS
最近几年,IT行业最火的名词中,少不了"大数据"、"人工智能"、"云计算"、"物联网"、"区块链"等等这些名词。针对于"大数据"这个名词,现在更是全国老百姓,老少皆知的一个词语。但是什么是大数据,除了IT行业的专业人士外,其他人乃至其他行业的人,除了能说出"数据量大"之外,好像真的不能再更深层次的解释了。维基百科:数据规模巨大到无法通过人工在合理的时间内达到截取,管理,处理并整理成为人类所解读的信息。麦肯锡全球研究所:一种规模大到在获取、存储、管理、分析方面都大大超出了传统数据库软件工具能力范围的数据集合。
2024-05-27 22:36:37
1156
原创 VMware-workstation12 安装 CentOS-6.7
VMware-workstation-full-12.5.7.20721版本上安装CentOS-6.7-x86_64-bin-DVD1系统的全部详细过程过程
2023-04-10 10:23:49
346
1
空空如也
我现在用node.js已经获取sql的数据,现在如何在前台展现?
2023-06-01
人脸识别的课堂实时考勤系统
2022-03-20
TA创建的收藏夹 TA关注的收藏夹
TA关注的人