- 博客(62)
- 资源 (16)
- 收藏
- 关注
RSS订阅原创 ActiveMQ 简介及安装使用,代码接口开发
ActiveMQ简介ActiveMQ是什么？ActiveMQ是Apache推出的，一款开源的，完全支持JMS1.1和J2EE 1.4规范的JMS Provider实现的消息中间件（Message Orientde Middleware，MOM）。ActiveMQ能干什么？最主要的功能就是：实现JMS Provider，用来帮助实现高可用、高性能、可伸缩、易用和安全的企业级面向消息服务的系统。ActiveMQ特点完全支持JMS1.1 和J2EE 1.4规范（持久化，XA消息，事物）。支持多种传
2021-05-25 18:03:50
263
原创 hive sql执行任务 查看application任务job目前进度多少，两种方法验证
一般我们知道当前跑到了多少步了，不知道总共有多少步。打开yarn 看到进度有多少了吗，50%，这就是进度。简单吧，还有个地方可以验证。点击applicationMaster，这样就能进入到上面那个界面了，然后点击job_12342423543525245，然后进去后，点击左边的maper task,看看有多少个任务，我这里有20个这样就能看到mapreduce有多少个,20个，当前进度是10步，所以刚好是50%，验证完毕...
2021-05-19 19:16:47
2761
原创 hive 实现job并发执行
hive里，同一sql里，会涉及到n个job，默认情况下，每个job是顺序执行的。如果每个job没有前后依赖关系，可以并发执行的话，可以通过设置该参数 set hive.exec.parallel=true，实现job并发执行，该参数默认可以并发执行的job数为8。set hive.exec.parallel=true;例如：sql="""set hive.exec.parallel=true;use database;select a,b,cfrom( select a1 as
2021-05-19 10:48:56
1051
原创 hive实现任务并行执行
hive.exec.parallel参数控制在同一个sql中的不同的job是否可以同时运行,默认为false.下面是对于该参数的测试过程:测试sql:select r1.afrom (select t.a from sunwg_10 t join sunwg_10000000 s on t.a=s.b) r1 join (select s.b from sunwg_100000 t join sunwg_10 s on t.a=s.b) r2 on (r1.a=r2.b);1Set hive.e
2021-05-18 22:53:31
1605
1
原创 cdh添加新的节点扩容
今天公司现有的6台服务器cdh已经满了，现在需要扩容，第一次用cdh 在生产环境使用jdk 安装，yum 源安装ntp 安装
2021-05-18 22:16:22
783
原创 Hive应用：外部分区表
Hive应用：外部分区表介绍Hive可以创建外部分区表。创建表的时候，分区要在建表语句中体现。建完之后，你不会在表中看到数据，需要进行分区添加，使用alter语句进行添加。然后数据才会显示。样例有如下的目录结构。建表语句：create external table Tbl_Custom(CustomID int,AreaID int,Name string,Gender int) partitioned by(city string) row format delimited fields te
2021-05-18 21:59:55
1417
原创 mysql如何快速查询一个数据库里面每个表有多少条记录
比如现在我有个数据库lzz，里面有很多表，我想要导出里面的数据，但是又怕表数据太多了太浪费时间，我就想如果知道每个表有多少条记录就好了，这样子对导出数据的时间也有个大概的估摸。怎么做到这件事呢？难道对每个表执行一下select count(*) from xxx?如果表大多，复制过来复制过去的麻烦死了。 我们知道，mysql里面有个自带的数据库information_schema，这个information_schema数据库里面的表存放的是你自己建立的数据库的元数据信息，什么元数据信息呢？比如：数
2021-05-18 10:57:35
2973
原创 datax mysql 到 hbase 时，rowkey和hbase 设置常量值的问题解决方案
记录今天在工作中遇到的问题，希望能解决一些道友遇到的同类问题。今天，将mysql的数据转移hbase里面去，选择的工具是datax。第一个问题：但是我遇到了问题，hbase的rowkey，中间有常量固定的一部分,它是几个字段拼接而成，后来知道，rowkey的时候，index设置为-1表示该处是常量，可以设置值。这样解决了第一个问题。第二个问题：将mysql数据插入到hbase里面时，需要在每一行加一个新的列属性，并且该列还是常量。后台左查查右查查，想到了转移其他地方。做数据清洗的方法，但是该方法太
2021-05-17 20:04:48
913
原创 spark读取hive文件数据，转换成hfile,最后落地到hbase
依赖<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/
2021-01-31 16:26:36
699
原创 MySQL、HBase、ES的特点和区别
MySQL、HBase、ES的特点和区别MySQL：关系型数据库，主要面向OLTP，支持事务，支持二级索引，支持sql，支持主从、Group Replication架构模型（本文全部以Innodb为例，不涉及别的存储引擎）。HBase：基于HDFS，支持海量数据读写（尤其是写），支持上亿行、上百万列的，面向列的分布式NoSql数据库。天然分布式，主从架构，不支持事务，不支持二级索引，不支持sql。ElasticSearch：ES是一款分布式的全文检索框架，底层基于Lucene实现，虽然ES也提供存储，
2021-01-23 12:25:30
2174
1
原创 flink 读取kafka到hdfs时，存储parquet文件格式，代码不报错，自动结束应用，缺少依赖或者报错Caused by:java.lang.NoClassDefFoundException
"我已经找到了一种通过Apache Flink在HDFS中读取parquet文件的方法。应该在pom.xml中添加以下依赖项org.apache.flinkflink-hadoop-compatibility_2.111.6.1org.apache.flinkflink-avro1.6.1org.apache.parquetparquet-avro1.10.0org.apache.hadoophadoop-mapreduce-client-core3.1.1org.apache.
2021-01-22 21:26:31
293
原创 Druid数据摄取
数据摄取Druid数据摄取分类批量（离线）数据摄取摄取本地文件摄取HDFS文件流式（实时）数据摄取Kafka索引服务方式摄取摄取配置文件结构说明主体结构数据解析模式数据源配置优化配置了解Druid WebUI生成 specDruid数据摄取分类Druid支持流式和批量两种方式的数据摄入，针对不同类型的数据，Druid将外部数据源分为两种形式：流式数据源指的是持续不断地生产数据的数据源。例如：消息队列、日志、文件等静态数据源指的是数据已经生产完毕，不会有新数据产生的数据源。
2021-01-22 21:21:40
290
原创 JAVA并发编程-并发包工具：Condition使用及详解，实现Produce-Consume模式
Condition简介在使用Lock之前，我们使用的最多的同步方式应该是synchronized关键字来实现同步方式了。配合Object的wait()、notify()系列方法可以实现等待/通知模式。Condition接口也提供了类似Object的监视器方法，与Lock配合可以实现等待/通知模式，但是这两者在使用方式以及功能特性上还是有差别的。Object和Condition接口的一些对比。摘自《Java并发编程的艺术》[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-yk
2021-01-17 18:02:01
422
1
原创 java并发编程-并发包工具：ReadWriteLock的使用及原理讲解
readWriteLock简介 现实中有这样一种场景：对共享资源有读和写的操作，且写操作没有读操作那么频繁。在没有写操作的时候，多个线程同时读一个资源没有任何问题，所以应该允许多个线程同时读取共享资源；但是如果一个线程想去写这些共享资源，就不应该允许其他线程对该资源进行读和写的操作了。针对这种场景，JAVA的并发包提供了读写锁ReentrantReadWriteLock，它表示两个锁，一个是读操作相关的锁，称为共享锁；一个是写相关的锁，称为排他锁，描述如下：线程进入读锁的前提条件：没有其他
2021-01-17 16:20:00
191
原创 java并发编程-并发包工具:Exchanger使用及原理、案例源码
Exchanger简介 Exchanger（交换者）是一个用于线程间协作的工具类。Exchanger用于进行线程间的数据交换。它提供一个同步点，在这个同步点两个线程可以交换彼此的数据。这两个线程通过exchange方法交换数据， 如果第一个线程先执行exchange方法，它会一直等待第二个线程也执行exchange，当两个线程都到达同步点时，这两个线程就可以交换数据，将本线程生产出来的数据传递给对方。因此使用Exchanger的重点是成对的线程使用exchange()方法，当有一对线程达到了同步
2021-01-17 12:08:35
196
原创 java并发编程-JAVA并发包工具: CyclicBarrier使用以及与CountDownLatch的区别，用CountDownLatch实现CyclicBarrier同样的功能
CyclicBarrier简介允许一组线程全部等待彼此达到共同屏障点的同步辅助。 循环阻塞在涉及固定大小的线程方的程序中很有用，这些线程必须偶尔等待彼此。 屏障被称为循环 ，因为它可以在等待的线程被释放之后重新使用。A CyclicBarrier支持一个可选的Runnable命令，每个屏障点运行一次，在派对中的最后一个线程到达之后，但在任何线程释放之前。 在任何一方继续进行之前，此屏障操作对更新共享状态很有用。实现原理：在CyclicBarrier的内部定义了一个Lock对象，每当一个线程调用awa
2021-01-17 11:12:31
95
原创 并发编程-java并发包工具：CountDownLatch的案例使用和原理讲解，让任务多线程并行化处理，提升任务的执行效率，串行化任务改并行化
CountDownLatch简介描述如下：它是一个同步工具类，允许一个或多个线程一直等待，直到其他线程运行完成后再执行。通过描述，可以清晰的看出，CountDownLatch的两种使用场景：场景1：让多个线程等待场景2：和让单个线程等待。CountDownLatch的使用和原理解析详细文章内容：https://zhuanlan.zhihu.com/p/958350991、CountDownLatch 概念CountDownLatch可以使一个获多个线程等待其他线程各自执行完毕后再执行。
2021-01-16 16:34:15
272
原创 并发编程-实现一个高并发的无锁队列（Lock-Free）
package com.ln.juc.custom;import java.util.concurrent.ConcurrentHashMap;import java.util.concurrent.ExecutorService;import java.util.concurrent.Executors;import java.util.concurrent.TimeUnit;import java.util.concurrent.atomic.AtomicInteger;import ja
2021-01-13 16:26:30
283
原创 Kafka使用详解-Consumer API（手动提交offset）-手动维护offset(事务维护)
手动维护offset需要依赖 <dependency> <groupId>org.springframework</groupId> <artifactId>spring-tx</artifactId> <version>5.0.8.RELEASE</version> </dependency>通过事务的方式维护
2021-01-08 12:21:55
439
原创 Kafka使用详解-Consumer API（手动提交offset）-异步提交offset（offset自动维护）
同步提交offset同步提交offset,可以重试package com.ln.kafka.custom;import org.apache.kafka.clients.consumer.ConsumerConfig;import org.apache.kafka.clients.consumer.ConsumerRecord;import org.apache.kafka.clients.consumer.ConsumerRecords;import org.apache.kafka.cli
2021-01-08 12:20:09
600
原创 Kafka使用详解-Consumer API（手动提交offset）-同步提交offset
同步提交offset同步提交offset,可以重试package com.ln.kafka.custom;import org.apache.kafka.clients.consumer.ConsumerConfig;import org.apache.kafka.clients.consumer.ConsumerRecord;import org.apache.kafka.clients.consumer.ConsumerRecords;import org.apache.kafka.cli
2021-01-08 12:18:34
563
原创 Kafka使用详解-Consumer API（自动提交offset）
自动提交offset每次按照offset设置的时间提交offset自动提交offset的相关参数：kafka自动提交是为了方便我们更加关注业务。 **enable.auto.commit:**是否开启自动提交offset功能。 auto.commit.interval.ms：自动提交offset的时间间隔。以下为自动提交的offset代码：offset设置成latest，offset由异步的方式提交offset，每次从最新的方式offset消费package com.ln.kafka.
2021-01-08 12:15:53
715
原创 Kafka使用详解-Producer API（同步发送数据）
同步发送意思：一条消息发送后，会阻塞当前线程，直至返回ack。send返回的结果时future对象package com.ln.kafka.producer;import org.apache.kafka.clients.producer.KafkaProducer;import org.apache.kafka.clients.producer.ProducerConfig;import org.apache.kafka.clients.producer.ProducerRecord;imp
2021-01-08 12:12:52
594
原创 Kafka使用详解-Producer API（异步发送数据）
导入依赖<dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>0.11.0.0</version></dependency>Producer API异步发送package com.ln.kaf
2021-01-08 12:10:59
290
原创 JAVA异常代码-事务回滚的使用方法
导入依赖<dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>0.11.0.0</version></dependency>假设这是一个service类的片段try{//出现异常} cat.
2021-01-08 12:05:55
2076
原创 类加载器-自定义类加载器（打破双亲委托机制加载）
打破双亲委托机制加载对一些系统的包如：java.lang包就只能用系统类加载器对象package com.ln.concurrent.classloader.chapter5;/** * @ProjectName: java-concurrency * @Package: com.ln.concurrent.classloader.chapter5 * @Name:SimpleObject * @Author:linianest * @CreateTime:2021/1/6 16:18
2021-01-06 17:23:58
154
原创 Classloader使用及详解-java实现加密解密类加载器
自定义解密加密类加载器接替上一篇文章的自定义类加载器，添加了解密加密的功能，实现解密加密的类加载器，这样以后源码可以通过加密后传输加密解密package com.ln.concurrent.classloader.chapter4;/** * @ProjectName: java-concurrency * @Package: com.ln.concurrent.classloader.chapter4 * @Name:SimpleEncrypt * @Author:linianest
2021-01-06 16:01:27
549
原创 Classloader使用及详解-java实现自定义类加载器
1、自定义类加载器package com.ln.concurrent.classloader.chapter3;/** * @ProjectName: java-concurrency * @Package: com.ln.concurrent.classloader.chapter3 * @Name:MyClassLoader * @Author:linianest * @CreateTime:2021/1/6 15:27 * @version:1.0 * @Description T
2021-01-06 15:58:56
202
原创 多线程设计模式-Active Objects设计模式
Active Objects设计模式测试异步消息的主动对象package com.ln.concurrent.chapter18;/** * @ProjectName: java-concurrency * @Package: com.ln.concurrent.chapter18 * @Name:ActiveObjectTest * @Author:linianest * @CreateTime:2021/1/4 16:17 * @version:1.0 * @Description
2021-01-04 18:48:48
169
1
原创 多线程设计模式-流水线模式（Work-Thread）
Work-Thread设计模式使用场景：流水线线程工作模式，产品零件经过几道工序，变成产品请求任务package com.ln.concurrent.chapter17;/** * @ProjectName: java-concurrency * @Package: com.ln.concurrent.chapter17 * @Name:Request * @Author:linianest * @CreateTime:2021/1/4 14:05 * @version:1.0 *
2021-01-04 14:54:17
1236
原创 多线程设计模式-两阶段结束设计模式（Two Phase Termination）
两个阶段结束设计模式（Two Phase Termination）线程一般结束后，线程中的数据还存在，需要释放，这样的情况为两个阶段，也就是目前所说的两阶段结束线程设计模式线程统计数据package com.ln.concurrent;import java.util.Random;/** * @ProjectName: java-concurrency * @Package: com.ln.concurrent * @Name:CounterIncrement * @Author:l
2021-01-04 13:52:56
206
4
原创 多线程设计模式-单独线程处理请求设计模式（Thread-Per-Message）
Thread-Per-Message设计模式每次请求访问，单独一个线程执行请求数据package com.ln.concurrent.chapter15;/** * @ProjectName: java-concurrency * @Package: com.ln.concurrent.chapter15 * @Name:Message * @Author:linianest * @CreateTime:2021/1/4 11:13 * @version:1.0 * @Descrip
2021-01-04 11:33:18
156
原创 多线程设计模式-Count Down设计模式
Count Down设计模式jdk自带的阻塞主线程模式，类似于join的功能：通过统计执行线程的个数，来判断执行线程是否执行完成，主线程阻塞package com.ln.concurrent.chapter14;/** * @ProjectName: java-concurrency * @Package: com.ln.concurrent.chapter14 * @Name:JDKCountDown * @Author:linianest * @CreateTime:2021/1/4
2021-01-04 11:09:09
102
原创 多线程设计模式-生产者消费者模式（Proudcer-consumer）
生产者消费者模式（Proudcer-consumer）多线程共享资源，生产者生产到消息队列中（大小限制），消费者从中消费消费数据，如果生产者过快，当满了队列后，生产者休眠，如果队列为空，消费者休眠消息体package com.ln.concurrent.chapter13;/** * @ProjectName: java-concurrency * @Package: com.ln.concurrent.chapter13 * @Name:Message * @Author:liniane
2021-01-03 18:21:39
221
2
原创 多线程设计模式- Balking设计模式
Balking设计模式使用场景：当你去小酒馆消费，当你召唤服务生后，有好几个服务生看到，当一个远些的服务生正准备去服务时，近些的服务生发现后去服务，远一些的服务生发现后，就放弃此次服务（任务数据的状态已经发生改变）package com.ln.concurrent.chapter12;/** * @ProjectName: java-concurrency * @Package: com.ln.concurrent.chapter12 * @Name:BalkingData * @Autho
2021-01-03 17:36:21
142
1
原创 多线程设计模式-Servlet上下文模式（Threadlocal实现）
上下文模式（Threadlocal实现）在web中碰到运行上下文内容，可以用threadlocal的原理来实现，通过这种方式，更能明白网络请求中的上下文是如何实现的使用场景：网络请求的数据分别在DB和其他http中，通过threadlocal隔离其他线程的访问本线程的内容，达到多线程安全的目的上下文内容属性package com.ln.concurrent.chapter11;/** * @ProjectName: java-concurrency * @Package: com.ln.co
2021-01-03 16:54:33
424
2
原创 多线程设计模式-本地线程(Threadlocal)使用详解以及原理介绍
本地线程(Threadlocal)什么是ThreadLocal变量ThreadLoal 变量，线程局部变量，同一个 ThreadLocal 所包含的对象，在不同的 Thread 中有不同的副本。这里有几点需要注意：因为每个 Thread 内有自己的实例副本，且该副本只能由当前 Thread 使用。这是也是 ThreadLocal 命名的由来。既然每个 Thread 有自己的实例副本，且其它 Thread 不可访问，那就不存在多线程间共享的问题。存储模型是hashMap，key是每个线程的id,值
2021-01-03 16:13:22
1888
1
原创 多线程设计模式-高并发请求缓存模式（Guarded Suspension）
高并发请求缓存队列设计模式一，什么是Guarded Suspension模式如果执行现在的处理会造成问题，就让执行处理的线程等待。这种模式通过让线程等待来保证实例的安全性二，实现一个简单的线程间通信的例子一个线程(ClientThread)将请求(Request)的实例传递给另外一个线程(ServerThread)Request:线程实例RequestQueue：存放请求(Request)实例的队列ClientThread:把线程实例放到队列中ServerThread:从队列中取线程示例示
2021-01-03 15:49:51
180
原创 多线程设计模式-未来者设计模式（Future）
未来者设计模式（Future）定义接口，返回任意类型的结果package com.ln.concurrent.chapter8;/** * @ProjectName: java-concurrency * @Package: com.ln.concurrent.chapter8 * @Name:FutureTask * @Author:linianest * @CreateTime:2020/3/25 14:56 * @version:1.0 * @Description TODO:定
2021-01-02 15:57:47
347
2
cifar-10-binary.zip 二进制文件
2019-11-19
opencv_python-2.4.13.7-cp27-cp27m-win_amd64.whl 官网上有，但是下载速度慢。解压之后就和官网一样
2019-11-18
mongdb.zip windows 官网上有，但是下载速度慢。解压之后就和官网一样
2019-11-11
glove.6B.100d.zip 官网上有，但是下载速度慢。解压之后就和官网上完全一样了。
2019-11-08
glove.6B.50d.zip 官网上有，但是下载速度慢。解压之后就和官网上完全一样了。
2019-11-08
清华大学中文词库
2019-11-08
linux 32位操作系统 源码编译后hadoop-2.7.7 centos-i686 hadoop-2.7.7.tar.gz
2019-10-04
centos i686 linux 32位 hadoop-2.7.7 hadoop2.7.7-lzo-0.4.21.jar
2019-10-04
ip国内规则库，分享个人的资源
2019-05-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人