自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(8)
  • 资源 (1)
  • 问答 (2)
  • 收藏
  • 关注

原创 《Kafka实战》之生产者API使用(自定义分区器和序列化器)

1、自定义分区器    1.1 实现org.apache.kafka.clients.producer.Partitioner接口public int partition(String s, Object o, byte[] bytes, Object o1, byte[] bytes1, Cluster cluster)public void close()public void ...

2018-08-28 22:44:17 670

转载 java 中的锁 -- 偏向锁、轻量级锁、自旋锁、重量级锁

此博客为转载,原地址:https://blog.csdn.net/zqz_zqz/article/details/70233767最近在看Java基础知识时,看到了这片文章,相见恨晚,转载下来以后慢慢消化理解锁的基础知识如果想要透彻的理解java锁的来龙去脉,需要先了解以下基础知识。基础知识之一:锁的类型锁从宏观上分类,分为悲观锁与乐观锁。乐观锁乐观锁是一种乐观思想,即...

2018-08-27 13:58:14 150

原创 git服务器ip变更后的配置

在当前的项目目录下执行下面命令git remote -vgit remote remove origingit remote add origin git@newGitIp:name/project_name.git

2018-08-27 12:03:11 1396

原创 《Kafka实战》之生产者API使用(参数解释超详细)

package com.lyzx.kafka;import org.apache.kafka.clients.producer.KafkaProducer;import org.apache.kafka.clients.producer.Producer;import org.apache.kafka.clients.producer.ProducerRecord;import org...

2018-08-26 11:49:54 853

原创 《Kafka实战》之架构和设计逻辑

kafka架构图1、消息队列的类型  1.1 点对点        只有一个消费者做消费TopicA,其他消费者不能消费TopicA中的消息  1.2发布订阅    只要订阅了某个Topic的消费者都可以消费该Topic中的数据对于TopicA,可以由多个消费者订阅 也可以由多多个消费者消费,同一个组中的消费者不能重复消费eg:TopicA中有消息  M1 M2 M3...

2018-08-25 12:13:31 238

原创 《深入理解Spark》之Spark的整体运行流程

spark作为流行的计算框架,下面是其运行流程图,以Cluster模式为例Spark运行流程图,author:lyzx_hero1、通过spark-submit的方式提交作业,此时应用程序向master发送请求启动Driver程序    Driver程序负责对资源和任务的调度2、Master在资源充足的Worker上启动一个Driver进程    这里需要注意是Master找到资源充足的W...

2018-08-15 14:27:04 961

原创 java8之ForkJoin框架的使用

标题forkjoin框架最基本的介绍package com.lyzx.concurrent.threadPool;import java.util.concurrent.*;/** * 分支合并线程池(mapReduce 类似的设计思想)。适合用于处理复杂任务。 * 初始化线程容量与 CPU 核心数相关。 * 线程池中运行的内容必须是 ForkJoinTask 的子类型(Rec...

2018-08-11 12:10:05 1268

原创 maven打包插件

1、把所有的依赖jar都打进同一个jar包内<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:...

2018-08-08 19:40:42 1654

parquet文件测试

String[] access_log = { "111111", "22222", "33333", "44444", "55555", "666666", "777777", "888888", "999999", "101010" }; for(int i=0;i<1000;i++){ writer.write(groupFactory.newGroup() .append("log_id", Long.parseLong(access_log[0])) .append("idc_id", access_log[1]) .append("house_id", Long.parseLong(access_log[2])) .append("src_ip_long", Long.parseLong(access_log[3]))

2023-03-02

一份PPT看懂spark

适合初学者学习spark大数据技术,大公司内部技术分享时使用的PPT

2018-05-23

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除