- 博客(28)
- 收藏
- 关注
RSS订阅
原创 kafka启动报错:java.lang.OutOfMemoryError: Map failed
kafka原来启动运行的时候，集群启动时正常的，今天在用kafka测试的时候，启动kafka集群，其中的两个节点启动失败，报错如下：java.io.IOException: Map failed at sun.nio.ch.FileChannelImpl.map(FileChannelImpl.java:944) at kafka.log.AbstractInde...
2019-03-17 17:32:29
6984
原创 MySQL高级部分学习
MySQL高级部分学习1、docker 安装MySQL# 拉取MySQL镜像[root@spark ~]# docker pull mysql# 得到如下： 我本地原来已经拉取下来了Using default tag: latestlatest: Pulling from library/mysqlDigest: sha256:4a30434ce03d2fa396d0414f075...
2020-04-15 23:10:19
369
1
原创 hbase做分页
package com.example.demo;import org.springframework.boot.SpringApplication;import org.springframework.boot.autoconfigure.SpringBootApplication;@SpringBootApplicationpublic class DemoApplication...
2020-02-27 10:54:23
282
原创 Kafka学习--进阶05
参考：深入理解Kafka核心设计和实践原理9、 Kafka的多线程实现：KafkaProducer是线程安全的，但是KafkaConsumer不是线程安全的。多线程消费实例：package com.paojiaojiang.consumer;import kafka.consumer.ConsumerConfig;import kafka.consumer.KafkaStream;i...
2019-04-23 00:48:15
239
原创 Kafka学习--进阶04
参考：深入理解Kafka核心设计和实践原理7、消息的消费：消息的消费一般基于两种模式：push模式和pull模式，即主动推模式和主动拉模式。推模式是服务端主动将消息推送给消费者，拉模式是消费者主动从服务端发起请求来拉取消息。// 轮询拉取消息之前必须订阅topic 否则会报错。@Overridepublic ConsumerRecords<K, V> poll(long t...
2019-04-23 00:02:12
718
原创 Kafka学习--进阶03
参考：深入理解Kafka核心设计和实践原理7、Producer原理：先上图：整个生产者客户端是由两个线程 协调运行，这两条下城分别为主线程和sender线程。在主线程中由KafkaProducer创建消息，然后通过可能的拦截器、序列化器、分区器等将消息缓存到消息累加器中，sender线程负责从消息累加器中获取消息并将其发送到Kafka中。消息累加器主要是用来缓存消息以便sender线程可...
2019-04-22 00:56:56
1190
原创 Kafka学习--进阶02
参考：深入理解Kafka核心设计和实践原理5、分区分区器：为消息指定对应的分区。消息通过send()方法发往broker的过程中，还有可能经历拦截器、序列化器和分区器的才能到达broker上。如果发送的消息没有带partition的话那么就需要利用分区器家昂消息发往对应的partition中，分区器根据key这个字段计算partition的值。分区器对key进行哈希，利用MurmurHas...
2019-04-22 00:37:45
130
原创 Kafka学习--进阶01
参考：深入理解Kafka核心设计和实践原理1、基本概念Producer：负责生产消息，并将其push到Kafka中。Consumer：负责连接到Kafka并pull消息，对消息进行后续的处理。Broker: 服务得到代理节点，你的一个虚拟机可以看做是一个单独的Kafka Broker:一个或者多个broker可以看做是一个Kafka集群。Topic：逻辑概念，kafka的消息是以topi...
2019-04-22 00:22:26
176
原创 Kafka学习笔记--基础
参考：深入理解Kafka核心设计和实践原理8、数据保存策略每个partition物理上对应一个文件夹，此文件叫存储该partition中所有消息和索引文件；1、基于时间的保存策略：log.retition.hours=168(一周)2、基于大小的保存策略：log.retention.bytes=1073741824（1G）9、kafka的消费过程kafka提供了高级consumerAP...
2019-04-17 00:57:12
314
原创 Kafka学习笔记--基础
参考：深入理解Kafka核心设计和实践原理1、消息队列消息队列有两种模式：点对点（P2P）模式和发布订阅（Pub/Sub）模式。点对点模式是基于队列的，消息的产生者发送消息到队列，消息的消费者才能够这个队列中接收消息。发布订阅模式定义了如何向一个内容节点发布和订阅消息，这个内容的节点就是topic。topic可以看做是一个消息传递的中介，生产者将消息发送到这个topic，消息的消费者从这个to...
2019-04-17 00:46:43
237
原创 Java多线程学习--15
说明：参考《Java多线程核心技术》4、单例模式1、双检测机制的延迟加载单例模式public class DCLSingleton { private volatile static ThreadA threadA; public DCLSingleton() { } // 使用双检测机制来解决问题，既保证不需要同步代码的异步执行，又保证了单例的特性 ...
2019-01-11 00:43:17
103
原创 Java多线程学习--14
说明：参考《Java多线程核心技术》10、Timer定时器Time类的主要作用是设置计划任务，但封装任务的类却是TimerTask类，执行计划任务的的代码放入TimerTask的子类中。TimerTask是一个抽象类。1、执行一次某一任务：执行任务的时间晚于当前时间–在未来执行的效果schedule(TimerTask task, Date time):public class MyTa...
2019-01-11 00:43:12
132
原创 Java多线程学习--13
说明：参考《Java多线程核心技术》9、ReentrantReadWriteLock1、读读共享：读锁之间不排斥public class ReadShareService { private ReentrantReadWriteLock lock = new ReentrantReadWriteLock(); public void read() { try ...
2019-01-11 00:43:05
102
原创 Java多线程学习--12
说明：参考《Java多线程核心技术》8、Condition类Condition类：可以实现多路通知功能，也就是在一个Lock对象里面创建多个Condition(即对象监视器)实例，线程对象可以注册在指定的Condition中，从而可以有选择性的进行线程通知，在调度线程上更加灵活。public class ConditionService { private Lock lock = n...
2019-01-11 00:42:59
106
原创 Java多线程学习--11
说明：参考《Java多线程核心技术》7、类ThreadLocal变量值得共享可以使用public static变量的形式，所有的线程都使用同一个public static变量。ThreadLocal类主要解决的是每个线程板绑定自己的值，可以将ThreadLocal类比喻成全局存放数据的盒子，盒子中可以存储每个线程的私有数据。类ThreadLocal解决的是变量在不同线程间的隔离性，也就是不...
2019-01-11 00:42:51
133
原创 Java多线程学习--10
说明：参考《Java多线程核心技术》6、join在很多情况下，主线程创建并启动子线程，如果子线程要进行大量的耗时运算，主线程往往将早于子线程结束之前结束，这时，如果主线程想等待子线程执行完成之后再结束，比如子线程处理一个数据，主线程要取得这个数据中的值，就要用到join()方法了。public class JoinThread extends Thread { @Override...
2019-01-10 21:26:00
104
原创 Java多线程学习--09
说明：参考《Java多线程核心技术》5、生产者/消费者模式1、一个生产者一个消费者public class MyStack { private List list = new ArrayList(); synchronized public void push() { // push to stack try { if (list...
2019-01-10 21:15:34
98
原创 Java多线程学习--08
说明：参考《Java多线程核心技术》3、线程之间的通信1、wait/notify```public class WaitThread extends Thread{ private Object lock; public WaitThread(Object lock) { super(); this.lock = lock; }...
2019-01-10 20:57:10
111
原创 Java多线程学习--07
说明：参考《Java多线程核心技术》13、volatile关键字volatile关键字的作用：使变量在多个线程之间可见。如果不是在在多继承的情况下，使用继承Thread和实现Runnable接口没有多大的区别。但是一旦出现多继承的情况，则用实现Runnable的方式处理多线程是个很有必要的。public class PrintString implements Runnable{ ...
2019-01-10 20:50:19
127
原创 Java多线程学习--06
说明：参考《Java多线程核心技术》10、静态和非静态的synchronized关键字synchronized可以应用在static静态方法上，这样就相当于对当前的*.java文件对应的Class类进行加锁。public class ThreadB extends Thread{ @Override public void run(){ StaticSync...
2019-01-10 01:47:48
130
原创 Java多线程学习--05
说明：参考《Java多线程核心技术》7、同步代码块synchronized方法时对当前对象进行加锁，二synchronized代码块是对某一个对象进行加锁。当两个并发线程访问同一个对象object中的synchronized(this)同步代码块时，一段时间内只能有一个线程被执行，另一个线程必须等待当前线程执行完这个代码块后才能执行该代码块。public class ThreadA ext...
2019-01-10 01:40:46
77
原创 Java多线程学习--04
说明：参考《Java多线程核心技术》4、dirtyRead发生脏读情况是在读取变量时，此值已经被其他的线程给修改了。public class DirtyRead extends Thread{ private PublicVaria publicVaria; public DirtyRead(PublicVaria publicVaria) { super()...
2019-01-10 01:34:36
80
原创 Java多线程学习--03
说明：参考《Java多线程核心技术》7、线程的优先级源码： public final void setPriority(int newPriority) { // this thread's thread group. ThreadGroup g; // if the current thread is allowed to access this ...
2019-01-10 01:28:26
70
原创 Java多线程学习--02
说明：参考《Java多线程核心技术》4、基本概念currentThread()：可以返回代码段正在被那个线程调用的信息isAlive()：判断当前的线程是否处于活动状态sleep()：在指定的毫秒数内让当前"正在执行的线程"休眠Runnable runnable = new Runnable01();Thread thread = new Thread(runnable);Threa...
2019-01-10 01:18:59
94
原创 Java多线程技能--01
1、区分进程和线程进程：进程是操作系统结构的基础，是一次程序的进行，简单理解为OS中运行的exe程序。线程：进程中独立运行的子任务。可能一个进程中有许多的子任务，这些任务可以同时运行。比如：你在微信视频聊天的同时，可以给另一个人发微信表情。2、继承Thread类public class ThreadTest01 { public static void main(String[] ...
2019-01-10 01:09:02
95
原创 MySQL_纸上谈兵之入门2
这段时间忙于写毕业论文，读的书没有更新，计划写多线程方面的简单一些读书笔记。正则表达式正则表达式是用来匹配文本的特殊的串(字符串集)，也就是将一个模式(正则表达式)与一个文本串进行比较。基本字符匹配： SELECT prod_name WHRER products WHRER prod_name REGEXP‘1000’ ORDER BY prod_name; REGEXP...
2018-03-25 21:53:54
142
原创 MySQL_纸上谈兵之入门
小白一枚，纯属省事，读书笔记，谨慎用之。选择数据库： USE crashcourse;显示数据库： SHOW DATABASES;显示数据库内的表的列表： SHOW TABLES;显示表列： SHOW COLUMNS FROM customers； 检索数据SELECT语句：检索单个列： SELECT prod_name FROMpr...
2018-03-15 18:08:57
296
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人