- 博客(13)
- 收藏
- 关注
RSS订阅原创 Spark源码分析
Spark源码分析 join是否会出现Shuffle简答题： 以下代码：import org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}object JoinDemo { def main(args: Array[String]): Unit = { import org.apache.spark.HashPartitioner val conf = new SparkConf(
2021-01-20 00:32:36
142
原创 数仓实战作业（二）
作业题：1.用拉链表实现核心交易分析中DIM层商家维表，并实现该拉链表的回滚（自己构造数据，编写SQL，并要有相应的文字说明）2.在会员分析中计算沉默会员数和流失会员数 沉默会员的定义：只在安装当天启动过App，而且安装时间是在7天前 流失会员的定义：最近30天未登录的会员3. 在核心交易分析中完成如下指标的计算统计2020年每个季度的销售订单笔数、订单总额 统计2020年每个月的销售订单笔数、订单总额 统计2020年每周（周一到周日）的销售订单笔数、...
2020-11-25 12:57:57
1234
原创 数仓实战 作业
作业题：在会员分析中计算最近七天连续三天活跃会员数。 项目的数据采集过程中，有哪些地方能够优化，如何实现？连续值求解问题对表 dws_member_start_day 中的数据使用 row_number()函数进行排序，并且根据设备号 device_id分组，登录日期dt排序，用日期减去排名得到groupId 并限定如期最近7天，根据设备号和groupId分组，求出统计值cnt 大于等于 3的记录。WITH tmp as( SELECT ...
2020-11-16 14:01:28
469
原创 Kafka教程（搭建nginx+kafka module）
使用kafka做nginx日志收集器 主要需求如下需要收集的信息：用户ID（user_id） 时间（act_time） 操作（action，可以是：点击：click，收藏：job_collect，投简历：cv_send，上传简历：cv_upload） 对方企业编码（job_code）环境搭建：需要kafka +zookeeper 集群 ngnix + ngx_kafka_module + librdkafka资源链接：https://pan.baidu.com/s/1f6rCF4W..
2020-11-09 14:25:25
551
原创 Kafka学习教程(一)
Kafka介绍kafka是一个分布式，分区，多副本，基于zookeeper协调的分布式日志心态，常见的可以用于web/nginx日志，访问日志，消息服务等等。主要应用场景是：日志收集系统和消息系统kafka的设计目标以时间复杂度O(1)的方式提供消息持久化能力 高吞吐率 支持kafka server间的消息分区，及分布消费，保证每一个parttion内的消息顺序传输 支持离线数据处理 支持在线扩展消息传递模式有：点多点传递，发布-订阅模式，kafka是发布订阅模式对于现行中间件
2020-11-02 13:12:20
167
1
原创 redis 集群搭建
Redis3.0之后，Redis官方提供了完成的集群解决方案方案采用去中心化的方案 概念包括：sharding(分区)，replication(复制)，failover(故障转移)Redis5.0前采用redis-trib进行集群的创建和管理，需要ruby支持Redis5.0可以直接使用Redis-cli进行集群的创建和管理集群架构准备主机主机名 master1:8100 master2:8101 master3:8100 salve1:8102 .
2020-11-02 01:16:39
446
2
原创 redis学习教程（一）
redis 概述redis 是用C语言开发的一款基于内存的开源的键值对数据库，主要的应用场景是做系统缓存层，session分离，分布式锁，re任务队列，应用排行榜、乐观锁等等。 redis有丰富的数据类型，比较常用的有 字符串、散列、列表、集合、有序集合等。redis版本redis 2.6 服务端支持Lua建表redis 2.8 添加本分主从复制、发布订阅添加了pubsub命令，redis Sentinel生产可用redis 3.0 redis Cluster 官方分布式实现（Ruby）
2020-10-28 11:15:20
98
原创 java 实现归并排序算法
归并排序算法的核心思想是要将两个有序数组归并为一个有序数组，再归并排序的初始时，是对两个分别有一个元素的数组（一个元素显然是有序的）进行归并下边是时实现这个核心思想的java代码// 在下边的方法中 其实是对/** * * @param a 源数据 * @param b 目标数据 * @param i 数据块1的起始索引 * @param s 数据块2的起始索引 也是数据块1的结束索引+1 * @param h 数据块2的结束索引 */private static void
2020-07-09 00:28:33
256
原创 java两种方式实现快速排序算法讲解
两种实现都是在起始的时候选择数组段[low:high] 中的起始low(未变化)元素作为比较对象public static int partition(int[] a,int low,int high){ int temp = a[low]; while (low<high){ while (low<high && a[low]<=a[high]) high--; a[low] = a[high]
2020-07-08 00:50:23
201
原创 自行设计和实现一个 LRU (最近最少使用) 缓存机制
最近在学习算法的视频和题目，提高一下自己的算法方面的能力。分享一个关于LRU (最近最少使用) 缓存机制 的题 链接在此https://leetcode-cn.com/problems/lru-cache/下面是我用java实现的一个实例 亲测可用 ，可能会有bugpackage com.haozhen.lru;/** * author haozhen * email 624536203@qq.com */public class LRUCache { publi...
2020-06-28 23:26:25
346
原创 JPA 注解详解
废话不多说，直接上干货@Entity所在包 javax.persistence.Entity用法：标注于实体类声明类名前 指出该类为实体类@Table所在包 同上用法：1.当实体类与映射的数据库名不一致时，使用其进行标注说明@Table(name=”alias_name”)2.可选项catalog和schema用于设置所属数据库的目录和模式，通常为数据库名3.u...
2020-03-12 22:16:59
452
原创 **搭建osgi web 开发环境**
搭建osgi web 开发环境开发环境 java1.8 myeclipse Spring2014打开myeclipse的运行配置界面 选择 osgi framework 并在目标平台勾选以下bundle 1.org.eclipse.osgi 2.org.eclipse.equinox.console 3.org.apache.felix.gogo.command 4.o
2017-04-09 00:17:47
263
原创 解决tomcat 等一些服务端口被占用的问题
当服务的端口被占用后，该服务不会启动，第一种做法就是更改被占用端口的服务的端口号，这个很简单 现在不做讨论。第二种做法 是都占用端口的服务进行停用，首先对于一些系统服务最好不要有第二种做法。具体做法是 通过 运行 cmd 进入dos命令行中 输入netstat -aon 查看端口号 查找本地服务端口对应的PID 在通过输入 tasklist 查看PID 对应的进程名 通过
2017-04-08 23:30:46
210
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人