- 博客(96)
- 资源 (4)
- 收藏
- 关注
RSS订阅
原创 Centos安装emq及插件的使用、java版mqtt构建客户端和服务端
emq官网插件地址http://emqtt.com/docs/v2/plugins.html#官方文档 https://docs.emqx.io/broker/v3/cn/由于emqttd是用Erlang语言编写的，所以，在Linux下安装时，需要先安装Erlangyum -y install make gcc gcc-c++ kernel-devel m4 ncurses-dev...
2019-01-22 10:55:53
836
原创 分布式事务选型
LcnLock（锁定事务单元）、Confirm（确认事务）、Notify（通知事务），属于两阶段提交LCN分布式事务框架是一款事务协调性的框架，框架本身并不创建事务，只是对本地事务做协调控制。因此该框架与其他第三方的框架兼容性强，支持所有的关系型数据库事务，支持多数据源，支持与第三方数据库框架一块使用特点无侵入式支持分布式事务。支持多种模式混合使用。支持关系型数据、NoSQL数据库。支持SpringCloud Dubbo等RPC框架。支持负载均衡与集群化部署。高性能与高稳定性。S
2021-10-26 16:19:42
606
原创 collect操作
取对象List中某一字段重新变成一个listList<Long> idList = list.stream().map(list::getId).collect(Collectors.toList());根据上步list中数据查询数据SELECT order_id as idFROM tb_grouproom_contractWHERE order_id IN <foreach collection="idList" index="ind...
2021-10-26 16:17:57
736
原创 mybatisplus文件生成
/** * 获取日期中的某数值。如获取月份 * * @param date 日期 * @param dateType 日期格式 * @return 数值 */private static int getInteger(Date date, int dateType) { int num = 0; Calendar calendar = Calendar.getInstance(); if (date != null) { calendar....
2021-10-26 16:16:47
262
原创 mybatisplus 分页
LambdaQueryWrapper<A> queryWrapper = new LambdaQueryWrapper<>();queryWrapper.eq(A::getId, Id);queryWrapper.orderByDesc(A::getTime);IPage<A> userPage = new Page<>(Vi.getPage(), Vi.getNum());IPage<A> IPage = Service.page(use
2021-10-26 16:15:25
194
原创 url 转 流
URL url = new URL("");try (InputStream input = url.openStream(); BufferedInputStream in = new BufferedInputStream(input); ServletOutputStream outputStream = response.getOutputStream(); BufferedOutputStream output = new BufferedOutputStream.
2021-10-26 08:53:35
688
原创 DateUtil
/** * 获取日期中的某数值。如获取月份 * * @param date 日期 * @param dateType 日期格式 * @return 数值 */private static int getInteger(Date date, int dateType) { int num = 0; Calendar calendar = Calendar.getInstance(); if (date != null) { calendar....
2021-10-26 08:53:23
332
原创 Maybatis-Plus lambdaQuery EQ、NE、GT、LT、GE、LE
1.等于当前时间//EQ 就是 EQUAL等于taskFlowService.lambdaQuery().eq(TaskFlow::getCreateTime,DateUtil.now())2.不等于当前时间//NE就是 NOT EQUAL不等于taskFlowService.lambdaQuery().ne(TaskFlow::getCreateTime,DateUtil.now());3.大于当前时间//GT 就是 GREATER THAN大于taskFlowService.l.
2021-10-12 09:18:25
2725
原创 org.mybatis.spring.MyBatisSystemException ResultMap、ResultType、ParameterMap、ParameterType
报错信息：org.mybatis.spring.MyBatisSystemException: nested exception is org.apache.ibatis.reflection.ReflectionException: Error instantiating class com.zjx.elevator.bean.Permission with invalid types () or values (). Cause: java.lang.NoSuchMethodException: c
2020-06-08 10:33:52
411
1
原创 RocketMq介绍及应用
介绍功能1、应用解耦复杂的应用里会存在多个子系统，如果各个子系统之间的耦合性太高，整体系统的可用性就会大幅降低。比如一个电商系统，任何一个子系统出了故障或者因为升级等原因暂时不可用，都会造成下单操作异常，影响用户使用体验。当转变成基于消息队列的方式后，系统可用性就高多了，比如物流系统因为发生故障，需要几分钟的时间来修复，在这几分钟的时间里，物流系统要处理的内容被缓存在消息队列里，用户的下单操...
2019-11-07 17:05:16
417
原创 ELK(EasticSearch logstash Kainna)介绍，下载安装
ELK 日志收集、存储、可视化一套组件 1、批量分析 2、数据集关联 3、生成图标进行显示 4、报警ElasticSearch 易于部署， 竖直和水平可进行伸缩 API易于使用， 多与大多数编程/脚本语言都可以模块化 好的在线文档 免费logstash 类似f...
2019-05-21 17:52:56
535
原创 scala练习-两数之和
给定一个整数数组 nums 和一个目标值 target，请你在该数组中找出和为目标值的那 两个 整数，并返回他们的数组下标。object Solution { def twoSum(nums: Array[Int], target: Int): Array[Int] = { var map = Map[Int, Int]() for (i <- 0 until...
2019-05-16 19:44:57
944
原创 整合kafka与flume，Flume读取Kafka数据写入Hdfs（forty-nine day）
整合kafka与flume读kafka中topic的消息发到hdfs，flume配置：注意：我不确定是不是必须要写成zookeeper的leader，我写成本机zookeeper的时候报一个错误，大概就是没找到zookooper，我换成leader的域名slave3就好了所以agent.sources.kafkaSource.zookeeperConnect=slave3:2181...
2019-05-14 18:27:41
840
原创 spark集成hive spark sql编程（forty-eight day）
spark集成hive------------------------ 1.创建hive-site.xml软连接到spark/conf下 $>xcall.sh "ln -s /soft/hive/conf/hive-site.xml /soft/spark/conf/hive-site.xml" 2.mysql驱动程序复制到spark/jars ...
2019-05-13 19:55:17
434
原创 idea-spark编程worldcount,hadoop同spark集成,搭建spark集群(forty-seven day third)
1.创建新模块并添加maven依赖 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-insta...
2019-05-12 21:04:46
218
转载 spark介绍，组件，安装，spark RDD,spark sql Spark SQL 数据帧(forty-seven day second)
Spark 介绍行业广泛使用Hadoop来分析他们的数据集。原因是Hadoop框架基于一个简单的编程模型（MapReduce），它支持可扩展，灵活，容错和成本有效的计算解决方案。这里，主要关注的是在处理大型数据集时在查询之间的等待时间和运行程序的等待时间方面保持速度。Spark由Apache Software Foundation引入，用于加速Hadoop计算软件过程。对于一个普遍的...
2019-05-12 20:52:53
310
转载 Pig Latin 基础，Apache Pig 加载和存储数据(forty-seven day first)
Pig Latin 基础Pig Latin是用于使用Apache Pig分析Hadoop中数据的语言。在本章中，我们将讨论Pig Latin的基础知识，如Pig Latin语句，数据类型，通用运算符，关系运算符和Pig Latin UDF。Pig Latin - 数据模型如前面章节所讨论的，Pig的数据模型是完全嵌套的。Relation是Pig Latin数据模型的最外层结构。它是一个...
2019-05-12 20:21:17
976
转载 Apache Storm VS Hadoop(forty-six day)
Apache Storm是一个分布式实时大数据处理系统。Storm设计用于在容错和水平可扩展方法中处理大量数据。它是一个流数据框架，具有最高的摄取率。虽然Storm是无状态的，它通过Apache ZooKeeper管理分布式环境和集群状态。它很简单，您可以并行地对实时数据执行各种操作。Apache Storm继续成为实时数据分析的领导者。Storm易于设置和操作，并且它保证每个消息将通过拓扑至...
2019-05-11 21:44:26
187
转载 Apache pig安装，执行 ，pig命令，及运行脚本（forty-five day）
安装Apache Pig下载Apache Pig软件后（http://mirror.bit.edu.cn/apache/pig/），按照以下步骤将其安装在Linux环境中。步骤1在安装了Hadoop，Java和其他软件的安装目录的同一目录中创建一个名为Pig的目录。（在我们的教程中，我们在名为Hadoop的用户中创建了Pig目录）。$ mkdir Pig第2步提...
2019-05-10 18:28:41
1215
转载 pig概述，pig架构，Pig Vs SQL Apache Pig与MapReduce Apache Pig VS Hive（forty-four day）
本来是要整合一下flume和kafka的，结果可能因为配置的问题没成功，等搞定了再写，先了解下pig什么是Apache Pig？Apache Pig是MapReduce的一个抽象。它是一个工具/平台，用于分析较大的数据集，并将它们表示为数据流。Pig通常与Hadoop一起使用；我们可以使用Apache Pig在Hadoop中执行所有的数据处理操作。要编写数据分析程序，Pig提...
2019-05-09 19:34:30
797
原创 flume遇到的问题总结；spooldir与exec区别【GC overhead limit exceeded ；Java heap space】（forty-three day）
问题一：Exception in thread “PollableSourceRunner-SQLSource-sourceTest” java.lang.OutOfMemoryError: GC overhead limit exceeded同理：Java heap space解决：进入flume bin修改flume-ng文件：配置jvm参数JAVA_OPTS="-...
2019-05-08 18:28:36
704
原创 Apollo获取配置失败 --c.c.f.a.i.RemoteConfigLongPollService - Long polling failed, will retry in 1
今天升级apollo的时侯发现总是获取不到配置，刚开始以为是网络问题但是可以ping通，后来观察日志发现出现了意料之外的ip，经检查发现配有两个网卡，当时着急所以把启动apollo在注册到Eureka的ip的那个网卡停了，然后重启，IP就换过来，就可以获取到配置了。官方文档有介绍，可以直接指定启动时要注册的ip没注意到。。。https://github.com/ctripco...
2019-05-07 19:27:54
13057
转载 flume实践（forty-two day）
flume的特点：flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位，它携带日志数据(字节数组形式)并且携带有头信息，这些Even...
2019-05-07 18:59:48
210
转载 chmod和chown命令的用法（forty-one day）
今儿升级，以前都是root起的，为了安全要改成普通用户，学习一下这两个对于初学者很容易混肴，这里ch，其实是change的简写，它们的含义分别是：chown-》change own改变所有者chmod-》change mod(mod不知道是否为简写)改变文件权限一、chown 命令用途：更改文件的所有者或组。命令由单词change owner组合而成。使用示例：1，更改文件的所有...
2019-05-06 21:40:58
850
原创 快学scala下载[pdf] pdf转doc java提取pdf（forty day）
《快学scala》链接：https://pan.baidu.com/s/1T12_C-cVwfwwJQtbb6Cvdg提取码：teaj【注：pdf只有文字的话下面可以使用，《快学scala》转不了，可能是识别成图片了？反正我没成功，有大神会的话可以评论教一下小弟】1、java提取pdf输出import com.itextpdf.text.pdf.PdfDocument;i...
2019-05-05 19:29:05
632
原创 scala实现单词统计（thirty-nine day）
1、编写scala代码(使用类型推断) import org.apache.spark.{SparkConf, SparkContext} /** * scala实现单词统计 */ object WordcountScala { def main(args: Array[String...
2019-05-04 18:22:00
1170
原创 Spark介绍，安装（thirty-eight day）
Spark介绍----------------- 快如闪电的通用分析引擎。 spark是快速通用计算引擎，支持语句java、scala、python、R。 spark内置模块spark-sql、mllib、streaming、graph。 [speed] Spark在批处理和流计算有着更高性能，使用了DAG(direct acycle graph...
2019-05-03 16:39:17
213
原创 Scala学习-常用集合/模式匹配和样例类/泛型/隐式转换（thirty-seven day）
Scala学习继续篇常用集合-------------- 1.list val list = List(1,2,3,4) list.head //1 list.tail //List(2,3,4) list.tail.tail.tail.tail//Nil...
2019-05-02 23:37:05
356
原创 Storm核心概念，组件，架构（thirty-six day）
ApacheStorm是一个分布式实时大数据处理系统。Storm被设计成用一种容错的水平扩展方法处理大量数据。它是一个具有最高摄取率的流式数据框架。虽然Storm是无状态的，但它通过ApacheZooKeeper管理分布式环境和集群状态。它很简单，可以对实时数据并行执行各种操作。ApacheStorm仍然是实时数据分析领域的领导者。Storm易于设置、操作，并确保至少通过TopDlogy处理每个...
2019-05-01 22:39:07
262
原创 Kafka学习（thirty-five day）
JMS： java message servicep2p：一对一模式 point to point peer to peerp-s：一对多模式 publish subscribekafka: p2p + ps = 消费者组模式中间件： 不含有业务的技术组件kafka是什么？ //实时数据处理===...
2019-04-30 20:40:49
199
原创 Scala学习-参数（thirty-four day）
//定义函数，参数数带有默认值 def decorate(prefix:String="{{{" , str:String , suffix:String="}}}") = { prefix + str + suffix } //带名参数 decorate(str = "hello" ) //变长参数 def add(x:In...
2019-04-29 11:40:53
201
原创 Scala学习-函数和方法（thirty-three day）
接着上一篇学习scala：调用函数和方法 除了方法之外，Scala还提供函数。相比Java, 在Scala中使用数学函数(比如min或pow)更为简单：你不需 要从某个类调用它的静态方法。sqrt(2) 11 将产出1.4142135623730951pow(2, 4) // 将产出 16.0min(3,Pi)> // 将产出3.0这些数学函数足在scal...
2019-04-28 18:17:12
367
原创 Scala入门，介绍常用类型，算术和操作符（thirty-two day）
Scala是一门以Java虚拟机( JVM )为目标运行环境并将面向对象和函数式编程语言的最佳特性结合在一起的编程语言。你可以使用Scala编写出更加精简的程序,同时充分利用并发的威力。由于Scala运行于JVM之上，因此它可以访问任何Java类库并且与Java框架进行互操作。Scala：java语言的脚本化，底层是java ，面向对象和函数 （直奔主题），直接写程序，直接运行即...
2019-04-27 22:41:15
229
原创 Sqoop命令 数据导入导出实操（thirty-one day second ）
/** 将mysql的表导入 hdfs **/bin/sqoop import \--connect jdbc:mysql://hdp-04:3306/userdb \--username root \--password root \--target-dir \/sqooptest \--fields-terminated-by ',' \--table emp \--spl...
2019-04-26 16:19:25
183
原创 Sqoop的数据导入 导出【mysql到hdfs/hive】【hdfs/hive到mysql】（thirty-one day first）
Sqoop的数据导入“导入工具”导入单个表从RDBMS到HDFS。表中的每一行被视为HDFS的记录。所有记录都存储为文本文件的文本数据（或者Avro、sequence文件等二进制数据）1 语法下面的语法用于将数据导入HDFS。$ sqoop import (generic-args) (import-args)2 示例下面的命令用于从MySQL数据库服务器中的emp表导入...
2019-04-26 13:54:05
359
原创 sqoop数据迁移工具概念及安装（thirty day ）
概述sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统；导出数据：从Hadoop的文件系统中导出数据到关系数据库mysql等2.2 工作机制将导入或导出命令翻译成mapreduce程序来实现在翻译出的mapreduce中主要是对in...
2019-04-25 18:31:34
189
原创 flume采集配置案例-安装 （twenty-nine day second）
使用flume解压apache-flume-1.6.0-bin.tar.gz然后进入flume的目录，修改conf下的flume-env.sh，在里面配置JAVA_HOME根据数据采集的需求配置采集方案，描述在配置文件中(文件名可任意自定义)指定采集方案配置文件，在相应的节点上启动flume agent配置dir-hdfs.conf 【配置里面参数的后面不能再有注释，否则会...
2019-04-24 18:05:16
317
原创 flume概念介绍及工作机制（twenty-nine day first ）
先理解一下flume 数据采集业务系统产生的日志等需要分析的数据存在了HDFS上，或KAFKA上，或MYSQL里，这种各种的数据源里，然后分析以后将结果文件放到目标文件中。接着框架flume出现了，它定义了一个数据采集的流程，1、读数据，2、缓存数据，3、写数据为避免读数据和写数据的速度不匹配（写数据是恒定的，但业务系统因为各种原因产生数据有时候是不确定的，所以读数据是不确定的），所以...
2019-04-24 15:12:40
297
转载 Hbase运行原理（twenty-eight day second）
HBASE运行原理组件结构图1、MASTER职责管理HRegionServer，实现其负载均衡。管理和分配HRegion，比如在HRegion split时分配新的HRegion；在HRegionServer退出时迁移其负责的HRegion到其他HRegionServer上。Admin职能 创建、删除、修改Table的定义。实现DDL操作（namespace...
2019-04-23 18:17:41
207
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人