多线程的数量设定

最佳线程数目 = ((线程等待时间+线程CPU时间)/线程CPU时间 )* CPU数目
CPU核数为4核,一个任务线程cpu耗时为20ms,线程等待(网络IO、磁盘IO)耗时80ms,那最佳线程数目:( 80 + 20 )/20 * 4 = 20。也就是设置20个线程数最佳。

线程的等待时间越大,线程数就要设置越大

1、CPU密集型:操作内存处理的业务,一般线程数设置为:CPU核数 + 1 或者 CPU核数*2。核数为4的话,一般设置 5 或 8

2、IO密集型:文件操作,网络操作,数据库操作,一般线程设置为:cpu核数 / (1-0.9),核数为4的话,一般设置 40

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
在《爬虫/蜘蛛程序的制作(C#语言)》一文中,已经介绍了爬虫程序实现的基本方法,可以说,已经实现了爬虫的功能。只是它存在一个效率问题,下载速度可能很慢。这是两方面的原因造成的: 1. 分析和下载不能同步进行。在《爬虫/蜘蛛程序的制作(C#语言)》中已经介绍了爬虫程序的两个步骤:分析和下载。在单线程的程序中,两者是无法同时进行的。也就是说,分析时会造成网络空闲,分析的时间越长,下载的效率越低。反之也是一样,下载时无法同时进行分析,只有停下下载后才能进行下一步的分析。问题浮出水面,我想大家都会想到:把分析和下载用不同的线程进行,问题不就解决了吗? 2. 只是单线程下载。相信大家都有用过网际快车等下载资源的经历,它里面是可以设置线程的(近年版本默认是10,曾经默认是5)。它会将文件分成与线程相同的部分,然后每个线程下载自己的那一部分,这样下载效率就有可能提高。相信大家都有加多线程,提升下载效率的经历。但细心的用户会发现,在带宽一定的情况下,并不是线程越多,速度越快,而是在某一点达到峰值。爬虫作为特殊的下载工具,不具备多线程的能力何以有效率可谈?爬虫在信息时代的目的,难道不是快速获取信息吗?所以,爬虫需要有多线程(可控数量)同时下载网页。 好了,认识、分析完问题,就是解决问题了: 多线程在C#中并不难实现。它有一个命名空间:System.Threading,提供了多线程的支持。 要开启一个新线程,需要以下的初始化: ThreadStart startDownload = new ThreadStart( DownLoad ); //线程起始设置:即每个线程都执行DownLoad(),注意:DownLoad()必须为不带有参的方法 Thread downloadThread = new Thread( startDownload ); //实例化要开启的新类 downloadThread.Start();//开启线程 由于线程起始时启动的方法不能带有参,这就为多线程共享资源添加了麻烦。不过我们可以用类级变量(当然也可以使用其它方法,笔者认为此方法最简单易用)来解决这个问题。知道开启多线程下载的方法后,大家可能会产生几个疑问: 1. 如何控制线程数量? 2. 如何防止多线程下载同一网页? 3. 如何判断线程结束? 4. 如何控制线程结束? 下面就这几个问题提出解决方法: 1. 线程数量我们可以通过for循环来实现,就如同当年初学编程的打点程序一样。 比如已知用户指定了n(它是一个int型变量)个线程吧,可以用如下方法开启五个线程 Thread[] downloadThread;//声名下载线程,这是C#的优势,即组初始化时,不需要指定其长度,可以在使用时才指定。这个声名应为类级,这样也就为其它方法控件它们提供了可能 ThreadStart startDownload = new ThreadStart( DownLoad );//线程起始设置:即每个线程都执行DownLoad() downloadThread = new Thread[ n ];//为线程申请资源,确定线程 for( int i = 0; i < n; i++ )//开启指定数量线程 { downloadThread[i] = new Thread( startDownload );//指定线程起始设置 downloadThread[i].Start();//逐个开启线程 } 好了,实现控制开启线程是不是很简单啊? 2. 下面出现的一个问题:所有的线程都调用DonwLoad()方法,这样如何避免它们同时下载同一个网页呢? 这个问题也好解决,只要建立一下Url地址表,表中的每个地址只允许被一个线程申请即可。具体实现: 可以利用据库,建立一个表,表中有四列,其中一列专门用于存储Url地址,另外两列分别存放地址对应的线程以及该地址被申请的次,最后一列存放下载的内容。(当然,对应线程一列不是必要的)。当有线程申请后,将对应线程一列设定为当前线程编号,并将是否申请过一列设置为申请一次,这样,别的线程就无法申请该页。如果下载成功,则将内容存入内容列。如果不成功,内容列仍为空,作为是否再次下载的依据之一,如果反复不成功,则进程将于达到重试次(对应该地址被申请的次,用户可设)后,申请下一个Url地址。主要的代码如下(以VFP为例): CREATE TABLE (ctablename) ( curl M , ctext M , ldowned I , threadNum I ) &&建立一个表ctablename.dbf,含有地址、文本内容、已经尝试下载次线程标志(初值为-1,线程标志是从0开始的整)四个字段 cfullname = (ctablename) + '.dbf'&&为表添加扩展名 USE (cfullname) GO TOP LOCATE FOR (EMPTY( ALLTRIM( ctext ) ) AND ldowned < 2 AND ( threadNum = thisNum OR threadNum = - 1) ) &&查找尚未下载成功且应下载的属于本线程权限的Url地址,thisNum是当前线程的编号,可以通过参传递得到 gotUrl = curl recNum = RECNO() IF recNum <= RECCOUNT() THEN &&如果在列表中找到这样的Url地址 UPDATE (cfullname) SET ldowned = ( ldowned + 1 ) , threadNum = thisNum WHERE RECNO() = recNum &&更新表,将此记录更新为已申请,即下载次加1,线程标志列设为本线程的编号。 cfulltablename = (ctablename) + '.dbf' USE (cfulltablename) SET EXACT ON LOCATE FOR curl = (csiteurl) &&csiteurl是参,为下载到的内容所对应的Url地址 recNumNow = RECNO()&&得到含有此地址的记录号 UPDATE (cfulltablename) SET ctext = (ccontent) WHERE RECNO() = recNumNow &&插入对应地址的对应内容 ctablename = (ctablename) + '.dbf' USE (ctablename) GO TOP SET EXACT ON LOCATE FOR curl = (cnewurl) &&查找有无此地址 IF RECNO() > RECCOUNT() THEN &&如果尚无此地址 SET CARRY OFF INSERT INTO (ctablename) ( curl , ctext , ldowned , threadNum ) VALUES ( (cnewurl) , "" , 0 , -1 ) &&将主页地址添加到列表 好了,这样就解决了多线程中,线程冲突。当然,去重问题也可以在C#语言内解决,只根建立一个临时文件(文本就可以),保存所有的Url地址,差对它们设置相应的属性即可,但查找效率可能不及据库快。 3. 线程结束是很难判断的,因为它总是在查找新的链接。用者认为可以假设:线程重复N次以后还是没有能申请到新的Url地址,那么可以认为它已经下载完了所有链接。主要代码如下: string url = ""; int times = 0; while ( url == "" )//如果没有找到符合条件的记录,则不断地寻找符合条件的记录 { url = getUrl.GetAUrl( …… );//调用GetAUrl方法,试图得到一个url值 if ( url == "" )//如果没有找到 { times ++;//尝试次自增 continue; //进行下一次尝试 } if ( times > N ) //如果已经尝试够了次,则退出进程 { downloadThread[i].Abort; //退出进程 } else//如果没有尝试够次 { Times = 0; //尝试次归零处理 } //进行下一步针对得到的Url的处理 } 4. 这个问题相对简单,因为在问题一中已经建议,将线程声名为类级组,这样就很易于控制。只要用一个for循环即可结束。代码如下: for( int i = 0; i < n; i++ )//关闭指定数量n的线程 { downloadThread[i].Abort();//逐个关闭线程 } 好了,一个蜘蛛程序就这样完成了,在C#面前,它的实现原来如此简单。 这里笔者还想提醒读者:笔者只是提供了一个思路及一个可以实现的解决方案,但它并不是最佳的,即使这个方案本身,也有好多可以改进的地方,留给读者思考。 最后说明一下我所使用的环境: winXP sp2 Pro VFP 9.0 Visual Studio 2003 .net中文企业版 本文来自CSDN博客,转载请标明出处:http://blog.csdn.net/peter1_jiang/archive/2007/10/23/1839137.aspx
java对⼤据的处理 最近做了⼀个项⽬,据量每次处理在两百万左右,这⾥记录⼀下最近开发时处理⼤量据的思路,主要思路是将⼤据化⼩,多次处理, 不⾜之处还请指出。 ⽂件读取:⾸先是⼀个⽂件上传,据⼊库,10-200万条不等,这⾥主要考虑到⼀次性读取,JVM分配出来的栈内存不⼀定会够(个⼈对 内存这⼀块还是处于⼀知半解的状态,所以⽐较谨慎,若诸位⼤神有好的认知,希望评论留下地址分享⼀下),是依⾏读取据,设定⼀个 批量值,当读取的据达到⼀定量之后,执⾏批量⼊库操作,清空集合,再接着读取。 //读取⽂件内容 while((s = br.readLine())!=null){ //判断是否达到单次处理量 if(num%leadingNum==0&&num!=0){ int a = stencDao.insertBatch(listBean); if(a!=leadingNum){ flag = false; } //清空集合 listBean.clear(); } String value = s.trim(); //将读取到的内容放⼊集合中 if(!value.equals("")){ StencilCustomer bean = new StencilCustomer(); bean.setCustomerPhone(value); bean.setLinkStencilId(id); listBean.add(bean); num ++; } } 据处理:这⾥的思路也是将据⼩化然后处理,这⾥使⽤了多线程设定单个线程处理量,然后开启多个线程处理,这⾥需要考虑你的服 务器的承载能⼒,如果线程开得太多了,处理不过来,会出现蹦死的情况。例如200万据,我开了20个线程,单个线程处理600条。 //建⽴⼀个线程池 ThreadPoolExecutor threadPool = new ThreadPoolExecutor( minTaskNumber, maxTaskNumber, 3L, TimeUnit.SECONDS, new ArrayBlockingQueue<Runnable>(minTaskNumber), new ThreadPoolExecutor.DiscardOldestPolicy()); //当正在执⾏的线程达到最⼤执⾏线程的时候等待 boolean flag = true; while(flag){ Thread.sleep(1000);//休眠2ms查询⼀次 int c = threadPool.getActiveCount();//线程池中活动中的线程数量 if(c<maxTaskNumber){ flag = false; } } 上⾯的代码是我对线程池的⼀个控制,控制服务器⼀直最⼤线程执⾏,Thread.sleep(1000);⽤while的时候,这个休眠最好不要去掉,去 掉之后很影响执⾏效率。
支持下载 m3u8 链接或文件为 mp4 或 ts 格式,并提供丰富的命令行选项。m3u8 downloader 开源的命令行 m3u8/HLS/dash 下载器,支持普通 AES-128-CBC 解密,多线程,自定义请求头等。支持简体中文,繁体中文和英文,完全免费。 开源免费 m3u8 下载工具 m3u8 downloader 中文版开源免费 m3u8 下载工具 m3u8 downloader 中文版 m3u8 downloader 特色: 不支持优酷视频解密 支持AES-128-CBC加密自动解密 支持多线程下载 支持下载限速 支持断点续传 支持Master List 支持直播流录制(BETA) 支持自定义HTTP Headers 支持自动合并 (二进制合并或使用ffmpeg合并) 支持选择下载m3u8中的指定时间段/分片内容 支持下载路径为网络驱动器的情况 支持下载外挂字幕轨道、音频轨道 支持仅合并为音频 自动使用系统代理(可禁止) 提供SimpleG简易的GUI生成常用参 命令行选项 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 N_m3u8DL-CLI.exe [OPTIONS] --workDir Directory 设定程序工作目录 --saveName Filename 设定存储文件名(不包括后缀) --baseUrl BaseUrl 设定Baseurl --headers headers 设定请求头,格式 key:value 使用|分割不同的key&value --maxThreads Thread 设定程序的最大线程(默认为32) --minThreads Thread 设定程序的最小线程(默认为16) --retryCount Count 设定程序的重试次(默认为15) --timeOut Sec 设定程序网络请求的超时时间(单位为秒,默认为10秒) --muxSetJson File 使用外部json文件定义混流选项 --useKeyFile File 使用外部16字节文件定义AES-128解密KEY --useKeyBase64 Base64String 使用Base64字符串定义AES-128解密KEY --useKeyIV HEXString 使用HEX字符串定义AES-128解密IV --downloadRange Range 仅下载视频的一部分分片或长度 --liveRecDur HH:MM:SS 直播录制时,达到此长度自动退出软件 --stopSpeed Number 当速度低于此值时,重试(单位为KB/s) --maxSpeed Number 设置下载速度上限(单位为KB/s) --enableDelAfterDone 开启下载后删除临时文件夹的功能 --enableMuxFastStart 开启混流mp4的FastStart特性 --enableBinaryMerge 开启二进制合并分片 --enableParseOnly 开启仅解析模式(程序只进行到meta.json) --enableAudioOnly 合并时仅封装音频轨道 --disableDateInfo 关闭混流中的日期写入 --noMerge 禁用自动合并 --noProxy 不自动使用系统代理 --disableIntegrityCheck 不检测分片数量是否完整 m3u8 downloader 是一款由 .Net 开发的一个简单易用的 m3u8 下载器,现在很多视频网站的视频都分割成了小片段,其 m3u8 就是来记录这一堆地址的文件,使用本下载器可以快速的下载并合并成一个完整的视频文件。
### 回答1: 假设我们有一个多线程应用程序,每个线程都需要使用相同的 API token 来访问某个服务。我们可以使用线程安全的方式来共享这个 token。 一种方法是将 token 存储在一个全局变量中,并使用锁来保证每个线程访问该变量时的原子性。例如,我们可以使用 Python 中的 threading 库: ```python import threading TOKEN = "my_api_token" TOKEN_LOCK = threading.Lock() def use_token(): with TOKEN_LOCK: # 使用 TOKEN 访问 API pass # 创建多个线程并启动它们 threads = [] for i in range(10): thread = threading.Thread(target=use_token) thread.start() threads.append(thread) # 等待所有线程完成 for thread in threads: thread.join() ``` 在上面的示例中,我们将 token 存储在全局变量 TOKEN 中,并使用 threading.Lock() 创建一个锁对象 TOKEN_LOCK。然后在每个线程中,我们使用 with 语句来获取锁对象,这样可以确保每个线程在访问 TOKEN 变量时是安全的。 当一个线程获取到锁对象时,其他线程将被阻塞,直到该线程释放锁对象。这样可以确保每个线程都能够安全地访问 TOKEN 变量,而不会与其他线程产生冲突。 需要注意的是,使用全局变量和锁来共享 token 只是其中的一种解决方案。我们还可以考虑使用线程本地存储(Thread-Local Storage)或者单例模式等其他的技术来实现共享 token 的方式。具体的实现方式会根据具体的应用场景和编程语言而有所不同。 ### 回答2: 多线程公用token案例中,多个线程需要同时访问一个共享的token资源。在这种情况下,需要确保多个线程能够正确地并发访问和更新token,且不会出现据竞争和错误的结果。 首先,可以创建一个全局的token变量,作为公共资源。在访问和更新token时,需要采取适当的同步机制来保证线程安全。可以使用互斥锁或信号量来实现线程间的互斥操作。在每个线程中访问或更新token之前,需要先获取锁或信号量,操作完成后再释放锁或信号量。 其次,需要考虑在多线程环境下对token的使用和更新策略。可以使用条件变量或线程信号量来控制线程的执行顺序和条件等待。例如,可以设定一个条件,当token的值满足一定条件时,线程可以执行相应的操作,否则需要等待条件满足。这样可以确保线程合适的时机执行,避免了不必要的等待和资源浪费。 另外,还可以利用队列或缓冲区来处理并发请求。当多个线程同时请求token时,可以将请求按照先后顺序加入到队列或缓冲区中,并由一个线程作为调度者负责分发token。这样可以避免竞争和冲突,并确保所有线程都能够公平地使用token。 综上所述,多线程公用token案例需要通过合适的同步机制、条件等待和任务分发等策略来保证线程安全和公平性。通过合理的设计和实现,可以确保多线程能够正确地并发使用共享的token资源,提高系统的性能和可靠性。 ### 回答3: 多线程公用token案例是指多个线程同时操作一个共享的token对象。在这种情况下,线程之间会竞争和共享token的资源,可能会产生冲突和并发安全问题。 为了解决多线程公用token的问题,可以采取以下方法: 1. 锁机制:可以使用互斥锁或信号量等机制来保证多个线程对token对象的访问互斥进行,每次只有一个线程能够获得token的使用权,其他线程需要等待。这样能够避免并发冲突问题。 2. 线程安全的据结构:可以使用线程安全的据结构来管理token,例如使用ConcurrentHashMap或ConcurrentLinkedQueue等,并采用原子操作来实现对token的安全访问。 3. 同步方法或关键字:可以使用synchronized关键字修饰对token的操作方法,使得每个线程在执行该方法时,都会获得token的独占访问权,其他线程需要等待。 4. 使用线程池:可以使用线程池来管理多线程的执行,通过控制线程池中线程数量和调度机制,来控制并发的访问token对象,从而减少冲突。 5. 分配独立的token对象:可以为每个线程分配独立的token对象,让每个线程操作自己的token对象,避免多个线程之间的竞争和冲突。 总之,多线程公用token的案例需要注意并发安全问题,并采取相应的安全措施,以保证线程之间对token的访问安全和正确。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值