Prime_DSC_MentionCalcSpark性能调优

最新推荐文章于 2021-11-22 22:04:35 发布
最新推荐文章于 2021-11-22 22:04:35 发布
阅读量168 收藏
点赞数
分类专栏： Spark调优 文章标签： Spark调优
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/iteye_15241/article/details/82654736
版权

Prime_DSC_MentionCalcSpark系统简介

 

实现功能 : 根据条件(siteId, startTime, endTime, campaignId, folder)从HBase数据源中读取文本数据作为输入,把提交的关键词作为条件,输出在文本中关键词提及的次数

 

存在问题 : 对于大数据量的计算时间较长.

 

解决思路 : 

  1. 把HBase结果反射成TweetBean修改成TweetBean的setXXX的方式构造TweetBean

    1. 当有5W条数据,通过反射转成TweetBean需要60s,通过TweetBean的setXX的方法需要20s

  2. 把读取HBase的所有字段改成读取HBase的需要的字段

    1. 当有5W条数据,读取所有字段时需要60s,读取需要的字段需要25s

  3. 从UC取DC数据时,不使用map函数,替换成mapPartition函数,这样使用可以从HBase批量取数据,仅需要一次HBase连接即可

  4. 存储计算结果,使用foreachPartition函数. 当遍历Iterator时不是每次在循环里面都存储计算结果,而是在循环外面维护队列,批量存储结果

  5. 根据Spark集群资源,合理利用Spark集群的资源,如资源越多,集群计算能力越强.而比较合理的机器资源和任务并行度的关系是 : 任务数 = 机器CPU核数 * (2 或者 3), 所以设置RDD的分区数为集群CPU核数 * 2

  6. 从HBase读取数据的并行度跟表的region数相关.默认情况下,建表时只有一个region,而当region越来越大时,需要split成两个region,region越多split的阈值越大,导致很多数据都存在一个region中.此时如果需要查询一张表,假设该表有5个region,则会有5个线程同时查询5个region的数据,但是如果其中一个region很大,是其他region的10倍,则该region的读取是其他region读取性能的10倍,导致整个任务的delay. 解决该问题的方法可以先通过预分区和对rowkey使用hash/MD5等算法使数据均匀的分布在各个region,这样在读取数据时可以根据数据均匀分配而更好的并发读取数据.

iteye_15241
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python中prime_Python prime
weixin_39972151的博客
12-22 2646
最新项目auto reload_prime----autoreload_prime应该与大多数服务器一起工作的自动重新加载模块(从tornado修补)。要安装autoreload_prime，只需执行以下操作 ...2020-12-22已阅读: n次PIAPI模块代表(Cisco)Prime Infrastructure API。该模块实现了piapi类，该类有助于使用可以请求数据或请求操作的简单...
matlab如何用prime求质数,质数(Prime_Number)
weixin_39825854的博客
03-21 3107
一、定义质数(prime number)又称素数，有无限个。一个大于1的自然数，除了1和它本身外，不能被其他自然数整除，换句话说就是该数除了1和它本身以外不再有其他的因数;否则称为合数。二、相关定理在一个大于1的数a和它2倍之间(即区间(a, 2a]中)必存在至少一个素数。存在任意长度的素数等差数列。(格林和陶哲轩，2004年)一个偶数可以写成两个数字之和，其中每一个数字都最多只有9个质因数。(挪...
vulnhub-prime_series_level_1渗透测试
遇事不决冲冲冲
11-22 6232
环境搭建 官网https://www.vulnhub.com/entry/prime-1,358/ 将VMX文件(VMWare 文件格式详解 .VMX .VMSD .VMDK )直接拖进来 思路 扫描网站路径与敏感文件，通过不断的提示找到一个可用的fuzz工具。利用fuzzing爆破参数发现了可利用进行文件包含的参数file，这里再得到提示后，在仅有的一个php文件中利用secrettier360参数fuzzing系统敏感文件，找到一个密码后在wordpress页面进行登录，找到一个可以写入内容的页面，写
质数(Prime_Number)
无限迭代中......
12-18 4113
一、定义 质数(prime number)又称素数，有无限个。一个大于1的自然数，除了1和它本身外，不能被其他自然数整除，换句话说就是该数除了1和它本身以外不再有其他的因数;否则称为合数。 二、相关定理 在一个大于1的数a和它2倍之间（即区间(a, 2a]中）必存在至少一个素数。 存在任意长度的素数等差数列。（格林和陶哲轩，2004年） 一个偶数可以写成两个数字之和，其中每一个数字都最多...
python中prime_在Python中是否为Prime
weixin_29480659的博客
01-14 4385
质数在诸如密码学的许多应用中起着核心作用。因此，有必要在各种应用程序中使用Python程序检查素数。质数是一个除自身以外没有其他任何因素的数字。下面将看到可以找出给定数字是否为质数的程序。方法我们采用以下方法来确定数字是否为质数。开始时检查是否为正。因为只有正数可以是质数。我们将数字除以所有数字，并将其除以给定数字小于2的一个数字。如果此范围内任何数字的余数变为零，则它不是质数。示例x=23i...
python中prime函数_prime numb的Python函数
weixin_30054883的博客
01-13 6778
我想写一个函数，它返回在给定数之前存在的素数的个数。函数count_primes(100)应返回25我写了一个代码，从25改为23。函数跳过41和71，同时计算1到100之间的所有其他质数。有人能解释一下为什么我的代码跳过41和71吗。我的代码是import mathdef count_primes(num):current_number = 4number_of_prime = 2while c...
判断素数 is_prime()
脚踏实地，仰望星空
03-09 3268
1.donnot use this if x is very large or small int is_prime(int x) { int i; for(i = 2;i * i { if(x%i == 0) return 0; } return 1; } 2.better way int is_prime(int x) { int i,m; assert(x >=
is_prime（素数判断）
热门推荐
天亮说晚安
03-20 1万+
基本素数判别法：正整数n是一个素数，当且仅当它不能被任何一个小于sqrt（n）的素数整除。 bool is_prime(int u) { int i; if (u <= 1) return false; if (u == 2) return true; if (u %2 == 0) return false; for (int
判断素数(is_prime)
weixin_51966535的博客
08-24 4338
判断素数(is_prime) 素数，也叫质数，指在大于1的自然数中，除了1和该数自身外，无法被其他自然数整除的数。与之相对的是合数。 代码implement /* c、完成一个判断整数是否素数的函数，即，输入一个整数，判断其是否素数。 */ #include<stdio.h> #include<stdbool.h> #include<math.h> bool is_prime(int num); int main() { //读取数字 int n
prime_number.rar_prime numb
09-20
在这个名为"prime_number.rar_prime numb"的压缩包中，包含了一个用于判断素数的程序，它可以帮助用户快速地检查输入的正整数是否为素数。 主要的程序文件是`prime_number.cpp`，这是一个C++源代码文件。C++是一种...
5_prime_algorithm_compare.rar_C prime_prime
09-14
"5_prime_algorithm_compare.rar_C _prime_prime"这个压缩包文件涉及到C语言实现的5种不同的算法，用于在N个自然数范围内查找素数，并对它们的速度进行了比较。以下是这5种算法的详细介绍，以及它们在效率上的差异：...
prime_number.rar_All Out_Prime number
09-14
标题中的"prime_number.rar"表明这是一个关于质数的压缩包文件，而"All Out"可能意味着该程序或资源全面地处理了质数相关的各种问题。"Prime number"是关键词，直接指出了主题——质数。 在计算机科学和数学领域，...
RSAMultiPrimePrivateCrtKeySpec.rar_The Prime_crt key
09-23
The key specification of a RSA multi-prime private key with the Chinese Remainder Theorem (CRT) information values used.
Find_The_Prime.rar_The Prime_prime number vhdl
09-20
本项目“Find_The_Prime.rar_The Prime_prime number vhdl”显然是一个使用VHDL编写的电路设计，其目标是实现一个素数搜寻器。下面我们将深入探讨VHDL编程、素数的概念以及如何在硬件中实现素数检测。 1. VHDL基础...
数据分析的核心技能和方法
07-19
数据分析的核心技能和方法
毕业设计javajsp人寿保险销售网站(ssh)-qkrp源码含文档工具包
07-19
毕业设计javajsp人寿保险销售网站(ssh)-qkrp源码含文档工具包 后台是ssh框架，页面是jsp，数据库mysql，jdk1.8，开发工具用ecplise、myecplise、sts、idea都可以 平湖人寿保险公司保险销售网站分为用户和管理员两个部分 前台部分（用户界面）： 1、资讯浏览功能： （1）新闻资讯浏览 （2）新闻资讯查询 （3）公司简介 （4）通知公告 2、用户登录注册功能： （1）注册 （2）登录 3、用户管理功能 （1）个人信息管理 （2）订单管理 4、保险购买功能： （1）保险产品浏览 （2）保险产品查询 （3）保险产品购买 后台管理（管理员界面） 1、管理员登录功能： 管理员在管理员登录界面输入用户名和密码，即可登录管理员的界面。 2、资讯管理功能： （1）新闻资讯管理 （2）公司简介管理 （3）通知公告管理 3、保险产品管理： （1）保险产品信息管理 （2）保险产品查询 4、会员管理： （1）会员删除 （2）会员级别管理 5、统计管理： （1）保险产品销售量统计 （2）有效会员数量统计 包含：源码、数据库脚本、论文、环境工具包、相同框架项目的安装教程
毕业设计javajsp公共课考试系统(ssh)-qlkrp源码工具包
最新发布
07-19
毕业设计javajsp公共课考试系统(ssh)-qlkrp源码工具包 后台是ssh框架，页面是jsp，数据库mysql，jdk1.8，开发工具用ecplise、myecplise、sts、idea都可以 题库 试卷信息管理 阅卷 统计功能 包含：源码、数据库脚本、环境工具包、相同框架项目的安装教程（在说明文档中）
揭秘黑箱：YOLO预测结果的可解释性探究
07-19
YOLO（You Only Look Once）是一种流行的实时对象检测系统，最初由 Joseph Redmon 等人在 2015 年提出。它的核心思想是将对象检测任务视为一个回归问题，直接从图像像素到边界框坐标和类别概率的映射。YOLO 以其快速和高效而闻名，特别适合需要实时处理的应用场景。 以下是 YOLO 的一些关键特点： 1. **单次检测**：YOLO 模型在单次前向传播中同时预测多个对象的边界框和类别概率，不需要多次扫描图像。 2. **速度快**：YOLO 非常快速，能够在视频帧率下进行实时检测，适合移动设备和嵌入式系统。 3. **端到端训练**：YOLO 模型可以从原始图像直接训练到最终的检测结果，无需复杂的后处理步骤。 4. **易于集成**：YOLO 模型结构简单，易于与其他视觉任务（如图像分割、关键点检测等）结合使用。 5. **多尺度预测**：YOLO 可以通过多尺度预测来检测不同大小的对象，提高了检测的准确性。 YOLO 已经发展出多个版本，包括 YOLOv1、YOLOv2（也称为 YOLO9000）、YOLOv3、YOLOv4 和 YOLOv5 等。
def is_prime(n): if n < 2: return False for i in range(2, int(n ** 0.5) + 1): if n % i == 0: return False return True def prime_substr(num): result = [] for i in range(len(num)): for j in range(i+1, len(num)+1): sub_num = int(num[i:j]) if is_prime(sub_num): result.append(sub_num) return result if __name__ == '__main__': num = input("请输入一个正整数：") prime_sub_nums = prime_substr(num) if prime_sub_nums: print(sum(prime_sub_nums)) else: print(0)测试这个程序的运行时间
06-12
为了测试这个程序的运行时间，我们可以使用Python的time模块中的time()函数来记录程序开始和结束的时间，并计算二者的差值来得到程序的运行时间。代码如下： ```python import time def is_prime(n): if n < 2: return False for i in range(2, int(n ** 0.5) + 1): if n % i == 0: return False return True def prime_substr(num): result = [] for i in range(len(num)): for j in range(i+1, len(num)+1): sub_num = int(num[i:j]) if is_prime(sub_num): result.append(sub_num) return result if __name__ == '__main__': num = input("请输入一个正整数：") start_time = time.time() # 记录程序开始时间 prime_sub_nums = prime_substr(num) end_time = time.time() # 记录程序结束时间 total_time = end_time - start_time # 计算程序运行时间 if prime_sub_nums: print(sum(prime_sub_nums)) else: print(0) print("程序的运行时间为：{:.4f}秒".format(total_time)) # 输出程序运行时间 ``` 我们运行这段代码，输入一个正整数，程序会输出它的所有素数子串的和，并且输出程序的运行时间。注意，程序运行时间会受到计算机性能和输入数据的影响。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值