并发
AA强
程序员转行项目管理,忐忑进行中
展开
-
java并发编程总结(一)并发编程挑战
1、多线程目的:让程序运行更快2、并发挑战:a、上下文切换:cpu通过时间片分配算法循环执行任务,当前任务执行一个时间片后会切换到下一个任务。任务从保存到再加载的过程就是一次上下文切换$vmstat 1解决:CAS算法(重点)使用最少线程:避免创建不要的线程,比如任务很少,倒是创建了很多线程来处理,这样会造成大量线程都处于等待状态。sudo -u admin /op...原创 2019-03-05 14:56:16 · 119 阅读 · 0 评论 -
Semaphore 用法
信号量主要有两种用途:1. 保护一个重要(代码)部分防止一次超过 N 个线程进入。如果你将信号量用于保护一个重要部分,试图进入这一部分的代码通常会首先尝试获得一个许可,然后才能进入重要部分(代码块),执行完之后,再把许可释放掉。比如这样:public class SemphoreTest { private static final int THREAD_COUNT = 3...原创 2019-03-04 18:25:28 · 422 阅读 · 0 评论 -
手动启动hadoop
/usr/soft/hadoop-2.7.1/sbin/start-dfs.sh/usr/soft/hadoop-2.7.1/sbin/start-yarn.sh原创 2019-03-26 10:29:04 · 525 阅读 · 0 评论 -
开机自动启动hadoop伪集群
编辑 mkdir /app[root@hadoop01 ~]#vim /app/hadoop-start.sh[root@hadoop01 ~]#chmod +x /app/hadoop-start.sh[root@hadoop01 ~]#chmod +x /etc/rc.d/rc.local[root@hadoop01 ~]#vim /etc/rc.d/rc.local文件尾部...原创 2019-03-26 10:31:42 · 237 阅读 · 0 评论 -
spark 二次排序 文件数据较大情况下
数据较大时,不能基于内存,可以基于spark框架实现x,2,9y,2,5x,1,3y,1,7y,3,1x,3,6z,1,4z,2,8z,3,7z,4,0p,4,7p,1,9p,6,0p,7,3package com.gao.mapreduceSparkimport org.apache.spark.SparkConfimport org.apache.s...原创 2019-08-28 17:34:23 · 215 阅读 · 0 评论