![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Linux
文章平均质量分 72
Hinomoto Oniko
这个作者很懒,什么都没留下…
展开
-
Hadoop 4:Hive
Apache Hive是一款建立在Hadoop之上的开源数据仓库系统,可以将存储在Hadoop文件中的结构化、半结构化数据文件映射为一张数据库表,基于表提供了一种类似SQL的查询模型,称为Hive查询语言(HQL),用于访问和分析存储在Hadoop文件中的大型数据集。也就是数据驱动决策的制定。元数据(Metadata),又称中介数据、中继数据,为描述数据的数据(data about data),主要是描述数据属性(property)的信息,用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。原创 2023-05-13 09:36:22 · 354 阅读 · 0 评论 -
Hadoop 3:YARN
通过为每个组织分配专门的队列,然后再为每个队列分配一定的集群资源,这样整个集群就可以通过设置多个队列的方式给多个组织提供服务了。队列内部又可以垂直划分,这样一个组织内部的多个成员就可以共享这个队列资源了,在一个队列内部,资源的调度是采用的是先进先出(FIFO)策略。现在,如果B用户在其他作业仍在运行时开始第二个作业,它将与B的另一个作业共享其资源,因此B的每个作业将拥有资源的四分之一,而A的继续将拥有一半的资源。简单通俗点来说,就是一个个队列有独立的资源,队列的结构和资源是可以进行配置的。原创 2023-05-08 06:15:00 · 486 阅读 · 0 评论 -
Hadoop 2:MapReduce
Spill阶段:当内存中的数据量达到一定的阀值的时候,就会将数据写入本地磁盘,在将数据写入磁盘之前需要对数据进行一次排序的操作,如果配置了combiner,还会将有相同分区号和key的数据进行排序。key是每一行的起始位置偏移量,value是本行的文本内容。然后是Reduce聚合阶段,通过程序对并行的结果进行最终的汇总计算,得出最终的结果。所谓“分而治之”就是把一个复杂的问题,按照一定的“分解”方法分为等价的规模较小的若干部分,然后逐个解决,分别找出各部分的结果,然后把各部分的结果组成整个问题的最终结果。原创 2023-05-02 03:15:00 · 1249 阅读 · 0 评论 -
Hadoop 1:Apache Hadoop、HDFS
HDFS中的文件在物理上是分块存储(block)的,默认大小是128M(134217728),不足128M则本身就是一块(块的大小就等于文件本身的大小)。也可以说大数据首先要解决的问题就是海量数据的存储问题。对于每个块,namenode返回具有该块所有副本的datanode位置地址列表,并且该地址列表是排序好的,与客户端的网络拓扑距离近的排序靠前。因为数据以管道的方式,顺序的沿着一个方向传输,这样能够充分利用每个机器的带宽,避免网络瓶颈和高延迟时的连接,最小化推送所有数据的延时。原创 2023-04-27 09:00:00 · 949 阅读 · 0 评论 -
VMWare 移动Linux CentOS 7虚拟机后连不上网怎么办
VMWare 移动Linux CentOS 7虚拟机后连不上网,ifconfig命令只出现lo不出现有IP地址的ens33,jps命令也出现了jps command not found。重新启动网络服务,刷新包含java_home等参数的配置文件后,就正常了,jps出现的也是之前启动过的各类jar包等服务。研究hadoop的时候发现虚拟机太大了,于是把3台节点的虚拟机剪切粘贴到移动硬盘上,但是出现了上不了网的问题。原创 2023-01-25 17:45:05 · 1627 阅读 · 1 评论 -
linux docker运行run rocketmq rocketmq-console nacos 命令
docker run --name rmqconsole -e "JAVA_OPTS=-Drocketmq.namesrv.addr=192.168.195.130:9876 -Dcom.rocketmq.sendMessageWithVIPChannel=false" -Duser.timezone='Asia/Shanghai'" -v /usr/config/rmqconsole/localtime:/etc/localtime -p 8079:8080 -t styletang/rocketmq-c原创 2023-01-10 20:55:59 · 366 阅读 · 0 评论