hadoop日志【4】----50G数据

最新推荐文章于 2020-10-12 11:44:31 发布
最新推荐文章于 2020-10-12 11:44:31 发布
阅读量1.2k 收藏
点赞数
分类专栏： 实践手册 大数据笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xqj198404/article/details/9663847
版权

以前测试的数据量最大的才8G左右，而且还是在sqlserver中的数据量

一般运行都在30分钟左右

而sqlserver运行同样的逻辑更快，最多8分钟


决定测试一下能体现hadoop集群优越性的数据量

然后就搞了一个50G的数据表

果然效果明显，sqlserver运行一次需要至少5个小时，hadoop跑完一个流程则需要2个半小时，看来30G是自己使用的硬件在两种方案上的临界点了

今天就准备测试一下

无人境域
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据云计算技术 hadoop实战培训（共56页）.ppt
09-04
一天产生4.5G 的日志，2 年需要4.2G * 2 * 365 = 3.0T 解决方案： 为了方便系统命令查看日志，不压缩，总共需要3.0T 的空间，刚好有一些2U 的服务器，每台共1T 的磁盘空间。 为了避免系统盘坏掉影响服务器使用，对...
mysql
weixin_41973331的博客
09-06 138
定义SQL结构化查询语言(Structured Query Language)。SQL是用于访问数据库的标准化语言语法SQL语句可以单行或多行书写，以分号结尾关键字、函数名、列名和索引名不区分大小写数据库的名字、表名、别名区分大小写注释单行注释– 注释内容约束是作用于表中字段上的规则，用于限制存储在表中的数据可以在创建表/修改表的时候添加约束功能加快数据检索的速度，提高效率缺点创建和维护索引都需要消耗时间，消耗的时间长短取决于表中数据量的多少会占用磁盘空间。
Hadoop中TeraSort算法分析
npucloud的专栏
05-18 1094
<br /><br />1、概述<br />1TB排序通常用于衡量分布式数据处理框架的数据处理能力。Terasort是Hadoop中的的一个排序作业，在2008年，Hadoop在1TB排序基准评估中赢得第一名 ，耗时209秒。那么Terasort在Hadoop中是怎样实现的呢？本文主要从算法设计角度分析Terasort作业。<br />2、算法思想<br />实际上，当我们要把传统的串行排序算法设计成并行的排序算法时，通常会想到分而治之的策略，即：把要排序的数据划成M个数据块（可以用Hash的方 法做到），
mapreduce下的wordcount和terasort对比
qq_44273296的博客
07-23 455
要求： 1，选取wordcount和sort两个程序，每个程序五个输入数据集 2，wordcount数据集(20M,100M,500M,1G,2G) 3，sort数据集(20M,100M,500M,1G,2G) 4，对每个程序分别对比程序执行时间 5，选几个重要的性能计数器(6个以上)，观察性能计数器的变化 6，画图表，总结分析 一、操作过程： Wordcount操作 （1）使用dd命令产生5个文...
企业大数据平台的集群的大小与配置
hxtxgfzs的博客
09-23 1万+
基本组件： Zookeeper 分布式协作框架 HDFD存储海量数据 YARN集群资源管理 资源调度 MapReduce并行计算框架 分为： 测试集群 机器数量： 5台-10台 机器的配置：（大数据平台的瓶颈：内存）hBash权威指南  1、内存  不低于24G 32G以上  Zookeeper节点（2G） HDFS （NameNode  每100万个文件需要1G内存；企业级
CDH集群 HDFS数据存储 更换目录
马丘
08-09 6885
1.问题梳理： CDH集群中，数据文件位置默认在 /dfs/dn 中，这个目录所属的盘符是 /，但是 ‘/’只有50G大小，还有其他各种文件的日志什么的，空间很紧张。今天启动脚本上传文件到hive，因为空间问题一直报错。查阅了资料，需要将CDH集群 HDFS数据存储 更换目录。 通过命令查看各个盘符 占用情况 df -h 我当时占用100%。必须更换数据目录。 2. 处理 1. 定位思路 先将...
尚gg大数据项目实战电商数仓系统开发教程.txt
07-24
15_数仓采集_日志生成代码编写.avi4 |* G) Z3 J4 ]/ b9 z$ @ 16_数仓采集_Logback日志打印控制.avi 17_数仓采集_服务器准备.avi 18_数仓采集_Hadoop安装.avi 19_数仓采集_项目经验之HDFS多目录配置.avi 20_数仓采集_...
大数据处理技术简介.pptx
12-24
…… 10G 10G …… 10G 10G 10G 10G 10G 10G …… 10G 10G 10G 10G 10G 10G 心跳（HeartBeat ） Master（主管） Secondary master （副主管） Client（用户程序） 读取元数据 读取数据 云（ Cloud ） Master作用： ...
YARN的Log Aggregation原理
走在前往架构师的路上
05-11 3094
文章目录前言Log Aggregation日志的汇聚日志的retain策略Log Aggregation的查询Log Aggregation流程图 前言 在大数据的时代，我们想从数据中去分析提炼出有价值的东西，背后有时是成百上千个任务的运算结果。在一些比较大的数据平台的规模下，出一份第二天的详尽的数据报表信息，需要前一天跑上数十万级别的任务数。更直接地来说，我们的计算平台单日内需要调度并执行完这...
大数据系列教程_硬件配置及软件列表
AShang_BigData的专栏
12-06 4094
大数据系列教程_软硬件配置
大数据量处理
shuijinglianyi的专栏
03-05 3135
    我从事软件开发已经三年时间了，对系统分析一直存在着一种莫名的热爱，一直希望在这个领域有所突破，也是自己的一个突破，到目前为止，我参与的大型项目的开发也有几个，都已经被很多客户使用，其中我作为系统分析人员的是几个模块，针对题目所示的大数据量处理我在分析过程中主要从三个方面进行考虑：表结构的设计程序的性能数据库的设置  对于大数据量的处理人们最关注也许就是操作时的性能问题，曾经
Hadoop 集群规模要多大
weixin_30906671的博客
07-26 1135
转载于:https://www.cnblogs.com/fanweisheng/p/11249762.html
hadoop集群数据存储_使用分布式存储和hadoop集群管理海量数据
weixin_26713457的博客
10-12 2126
hadoop集群数据存储Stepping into the world of Big Data and Distributed Computing进入大数据和分布式计算世界Recently, I started my journey as the ARTH Learner in the program “ARTH -2020” under the guidance of ‘The World Re...
Hadoop在运行几个T数据量时报堆内存溢出
bbaiggey_bigdata的博客
03-10 4025
问题描述: Hadoop提交作业，运行几个T数据量，由于数据量巨大，造成HADOOP频频的报出JAVA堆内存溢出。 错误日志： Error: java.lang.OutOfMemoryError: Java heap space at sun.net.www.http.ChunkedInputStream.processRaw(ChunkedInputStream.java:354)
大数据的Hadoop集群环境节点数设置
changjiang366的博客
10-15 7426
关于hadoop集群的硬件资源     大数据是当下最火热的名词，但真的大数据落地可行性方案估计更多也就是看几张报表，写几个T－SQL语句罢了，然后开始炒作我们xxx项目利用大数据技术……如是等等。这样才能跟上时代赶上潮流，自己戴上大数据的帽子。在资本市场宣扬一番，得到更多的关注而已。 其实，大数据的概念或者是技术架构并没有最终的定论，各方说法都有争议并且持续存在着。而大多数真正可以落地的...
100万条数据占用多少空间
热门推荐
jing_xin的专栏
02-26 3万+
比如你数据库某一张表有三个字段：一个long型，一个varchar（100） 型，一个date型。 long型占用8个字节（一个字节8位），data占用8字节。 那么一行占用：8+100+8=116Byte。 那么100万行，大约有110M。这是三列。如果你是10列，你就可以粗略估计出来了...
grep hadoop-hadoop-namenode-master.log
最新发布
04-23
在这个例子中，我们要在hadoop-hadoop-namenode-master.log文件中查找特定的字符串。具体使用方法为：在终端中输入以下命令： grep "hadoop-hadoop-namenode-master.log" 文件名 这将在指定的文件中搜索包含...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值