- 博客(11)
- 资源 (6)
- 收藏
- 关注
RSS订阅转载 VMWare14 安装Mac OS系统（图解）
一、准备工作【1】资源下载VMware Workstation Pro 14 已安装或自行安装Unlocker (链接: https://pan.baidu.com/s/1dG5jkuH 密码: 19gv) , 万一再失效了，附加一个 CSDN 下载地址 源文件>>>Mac OS X 10.11.cdr 镜像（ 链接：https://pan.baidu....
2019-04-22 20:00:29
577
2
原创 维度建模笔记
1、四步骤：确定业务过程：客户广告业务 确定最小粒度：每个账户的日消费快照 确定维度表：产品线维度、账户维度、 确定事实表：主键、可加型数值2、确保建模基于最细粒度，便于增加新的维度。2、维度表主要包含不可加的分类信息，用于筛选记录维度表可以拆分为多个，是否拆分取决于维度体系的相关性，例如月份与季度关系密切，可以一起放入日期维度表，而日期与行业完全无关，如果放一起就会产生m*n...
2019-04-21 17:28:59
296
原创 生产者消费者模型
//阻塞队列实现生产者消费者 static void consumerProducerTest1(){ LinkedBlockingQueue<Integer> queue=new LinkedBlockingQueue<Integer>(2); new Thread(new Runnable() { ...
2019-04-09 23:25:19
112
原创 hive查询案例
按一列分组按另一列排序直接使用row_number即可达到分组排序效果select id,up,row_number() over(partition by substring(id,1,2) order by up) from temp.setup_cleanup ;id up row_number13760778710 120 ...
2019-04-07 13:05:07
371
原创 锁
悲观锁：认为资源非常紧张，遇到共享中的资源直接挂起线程，等待唤醒。例如synchronized 乐观锁：认为资源很可能不紧张，遇到共享资源直接执行操作，如果结果与预期不一致则再次尝试，循环直到成功。例如CAS悲观锁遇到资源不紧张时，挂起唤醒线程相对来说资源消耗过大；乐观锁遇到资源紧张时执行一直无法成功，cpu自旋，消耗过大。公平锁指的是锁释放时，排队中的线程先lock的先获得锁。 非公平...
2019-04-07 02:48:24
123
原创 数据仓库建模
kimball建模：分析业务流程：客户产生消费 确定最小粒度：每天每个账户 确定维度表：账户信息表 确定事实表：账户消费表维度建模：星型模型、雪花模型！！星型模型：一张事实表（横表），关联多张维度表 雪花模型：将维度表拆分为符合范式的多张维度表范式建模：各表完全拆分，符合三范式维度建模、范式建模对比：维度建模（宽表）方便查询，减少关联，但是占空间，不利于更新，适用于面向下游...
2019-04-07 01:49:47
699
原创 hive数据压缩
hive表通常压缩为保存为orc文件，默认压缩方法为zlib（io.compression.codecs=org.apache.hadoop.io.compress.DefaultCodec），压缩比约为11%-- 创建orc压缩表CREATE TABLE `zxdm_dim.d_acct_info_backup_orc`( `acct_id` string, `acct_name...
2019-04-06 18:18:36
353
原创 akka并发通信、actor模型的理解
1、利用akka进行多节点分布式通信val ROLE="follower"//读取配置信息val config=ConfigFactory.load("Actors.conf");//创建ActorSystem，指定系统名称，所有节点上的actor所在的系统名必须相同val actorSystem=ActorSystem("Megalith",config.getConfig(RO...
2019-04-06 01:16:27
711
1
原创 多线程控制场景
1、控制并发数Semaphore主线程中创建信号量对象，Semaphore sem=new Semaphore(i); 作为参数传入子线程中 子线程中sem.acquire();获取信号量，获取成功后才能继续执行，限制了并行数目 子线程中sem.release();释放信号量，使其他在等待acquire的线程可以获取到信号量2、若干子线程都结束后再继续向下执行主线程CountDown...
2019-04-06 00:04:13
177
原创 拉链表的hive实现、mysql+kettle实现
hive实现=================================================================以下方法注意点：切片表每个字段都不可为空，空值必须使用其他字符串代替！！（因为在求更新表时使用了等值关联） 以下方法只反映了更新和增加，不能反映删除（可以增加一列将记录的删除转化为这一列的更新） 每次将失效记录的失效时间定为昨天，生效记录的生效时...
2019-04-03 17:17:09
1373
原创 java线程池原理，常见线程池
java线程池原理Executors类提供了FixedThreadPool、CachedThreadPool等线程池对象，都是基于ThreadPoolExecutor产生的。Executor接口定义了execute()，子接口ExecutorService又定义了submit()，抽象类AbstractExecutorService继承了该子接口，调用execute()实现了submit(...
2019-04-02 21:01:12
410
spark2.0编译版-适用于hive2.3的hive on spark
2018-09-26
chromedriver2.28文件（另附其他所有版本无须的下载地址）
2017-03-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人