2021年04月_xiaoxaoyu

原创 mybatis连接oracle的使用方法

文章目录1、依赖2、mybatis.cfg.xml3、entity4、dao5、app5.1、inserttest5.2、InsertBatchTest6、mapper参考文章：mybatis连接mysql的使用方法1、依赖<dependency> <groupId>com.oracle</groupId> <artifactId>ojdbc6</artifactId> <version>11.2.0.1.0</

2021-04-30 14:55:38 973 1

原创 SSM框架——Spring+SpringMVC+MyBatis整合_Oracle

文章目录1、spring.xml2、mybatis.cfg.xml3、entity4、dao5、ctrl6、services7、mapper9、依赖参考文章：SSM框架——Spring+SpringMVC+MyBatis整合测试案例1、spring.xml<?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans" xmlns:conte

2021-04-30 14:52:36 204 1

原创 FineReport部署

部署方法帆软官网下载Tomcat对应版本然后做以下操作即可1、拷贝D:\Program Files\FineReport_10.0\webapps\webroot\WEB-INF\reportlets上的报表至D:\software\tomcat-win64\webapps\webroot\WEB-INF\reportlets2、拷贝D:\Program Files\FineReport_10.0\webapps\webroot\WEB-INF下的 \embed目录至D:\software\tomca

2021-04-30 14:08:12 1100 1

原创 OracleJDBC驱动连接

OracleJDBC驱动连接1、jdbc驱动1.1、maven官网上的不可用，去安装目录上去找ojdbc6.jar，目录/data/oracle/product/11.2.0/db_1/jdbc/lib，然后拷贝jar包到本地文件夹(自定义一个目录即可)；1.2、查看版本号：select * from v$version;。本例输出：11.2.0.1.0；1.3、maven配本地环境变量到bin目录，打开cmd黑窗口，输入mvn测试；1.4、打开cmd黑窗口，进入ojdbc6.jar的存放目录，执

2021-04-30 14:03:25 931

原创 Oracle常用方法

文章目录一、Oracle原理1、数据库文件2、Oracle表空间、段、区和块二、常用操作1、建表建库2、使用伪列删除重复ID的方式3、oracle插入数据的另一种方式4、序列5、同义词6、PLSQL6.1、循环6.2、if...else、if...elsif...else语句7、游标8、函数8.1、简单的自定义函数8.2、返回游标（系统级的）的自定义函数9、存储过程10、触发器10.1、后触10.2、前触11、表空间的导入导出一、Oracle原理参考文章：https://blog.csdn.net/lo

2021-04-29 23:03:05 728

原创 PostgreSQL安装

PostgreSQL Linux环境安装安装环境：Centos7postgresql版本：13.0安装方式：编译安装1、下载官网下载：https://ftp.postgresql.org/pub/source/v13.0/postgresql-13.0.tar.gzwget下载：wget https://ftp.postgresql.org/pub/source/v13.0/postgresql-13.0.tar.gz2、安装前准备配置用户和组groupadd postgre

2021-04-23 22:46:01 751

原创 FineReport连接Hive

FineReport连接Hive和测试1、准备Hive相关jar包拷贝至FineReport_10.0\webapps\webroot\WEB-INF\lib参考：D:\Program Files\FineReport_10.0\webapps\webroot\WEB-INF\libhadoop-common-2.6.0-cdh5.14.2.jarhive-exec-1.1.0-cdh5.14.2.jarhive-jdbc-1.1.0-cdh5.14.2-standalone.jarhive-m

2021-04-22 19:12:37 1159 1

原创 mybatis连接Hive和MySQL双源操作

文章目录一、mybatis连接hive和MySQL测试1、导入依赖2、创建druid连接池3、创建数据源4、创建实体类5、创建dao6、mybatis-config.xml7、mapper/hive-events.xml8、mapper/mysql-events.xml9、测试类二、mybatis代替sqoop的功能，把数据从Hive导入MySQL1-4、前四步与上例相同5、创建dao5.1、创建MySQLEventsDao5.2、创建HiveEventsDao6、第6步同案例17、mapper/hive-

2021-04-21 23:37:02 5078 5

原创 FlinkWindow和水印

文章目录Flink Window API1、TimeWindow1.1、滚动窗口1.2、滑动窗口（SlidingEventTimeWindows）2、CountWindow2.1、滚动窗口2.2、滑动窗口3、window function4、其它可选API5、窗口起始点的确认时间语义与 Wartermark1、Flink中的时间语义2、EventTime 的引入3、Watermark基本概念4、Watermark 的引入4.1、乱序数据的水印引入4.2、Assigner with periodic wate

2021-04-18 13:20:33 156

原创 pyspark安装文档

pyspark环境安装一、python3环境安装参考文档：pyspark安装1、下载安装包生产环境下的python安装包，tgz格式，C语言，没有编译过的。Java可以跨平台，只能针对当前计算机https://www.python.org/ftp/python/3.6.4/也可以使用wget命令接上面的网址直接下载2、安装python可能用到的依赖：yum install openssl-devel bzip2-devel expat-devel gdbm-devel readline-de

2021-04-13 10:46:27 791

原创 Kmeans入门

文章目录Kmeans算法简单实现生成数据集重写fit和predict方法定义一个子绘图函数执行输出如下：完整代码解释如下：Kmeans算法简单实现平台：python训练数据集：sklearn模块下的数据集使用模块：import matplotlib.pyplot as plt：根据数据做出散点图from sklearn.datasets._samples_generator import make_blobsfrom scipy.spatial.distance import cdist：求

2021-04-11 17:45:28 450

原创 HBase数据倾斜问题

HBase数据倾斜问题文章目录相关知识：负载均衡：避免表region分布倾斜方式1：方式2：相关知识：数据存入hbase表时会按照rowkey落在不同的region中，每个region都有边界（除非你只有一个region）startrow和endrow，rowkey在表中是按照ASCⅡ码的字典排序的。负载均衡：region被regionserver管理，Hbase可以自动将region balance到各个regionserver上，使得每台regionserver上region的个数均匀分布。当

2021-04-09 03:11:03 1348

原创 flink读取kafka数据对数据进行清洗，然后再重新写入kafka

文章目录flink读取kafka数据对数据进行清洗，然后再重新写入kafka1、流水写法2、OOP写法2.1、抽象接口读、写、数据处理2.2、开发人员实现数据源添加和写入某数据平台2.3、用户方针对不同数据实现的特质2.4、执行器，混入特质2.5、动态混入用户的方法，执行flink读取kafka数据对数据进行清洗，然后再重新写入kafka1、流水写法读：设置kafka消费者为flink数据源transform写：设置kafka生产者为flink数据源object FlinkReadWrite

2021-04-08 02:36:31 1654

原创 JavaAPI读取Kafka消息并写入到HBase中

文章目录1、先把消费者组的游标重置，防止该消费者组消费过数据无法再消费(执行操作前做就可以)2、创建HBase表3、模板模式批量消费kafka插入hbase3.1、接口层读和写3.2、工具类：读写之前，需要分别创建消费者对象和hbase的连接connection，创建连接需要配置。3.3、读kafka的实现类3.4、写HBase的实现类3.5、简单工厂模式创建连接执行器4、检验数据导入是否正确1、先把消费者组的游标重置，防止该消费者组消费过数据无法再消费(执行操作前做就可以)# 消费者组的游标重置ka

2021-04-07 23:40:00 602

原创 sparkStreaming对kafka topic数据进行处理后再重新写入kafka(2)

在上文中，我们使用sparkStreaming对kafka中某topic数据进行数据处理后再重新写入kafka，其实整套逻辑思路并不复杂，但全都写在一个类里面，只能一次性使用，修改时要修改类主体的内容，扩展性很差，安全性也得不到保障。因此本文把该类主体内容拆解，抽出各个部分，便于管理和扩展文章目录1、思路分析：1.1、从逻辑上抽出第一层概念：1.2、通过核心动作抽出第二层概念1.3、把可以替换的属性方法抽出来，得到：2、代码实现：2.1、顶级接口功能设计2.1.1、读2.1.2、写2.1.3、数据处理2

2021-04-06 20:47:07 331

原创 sparkStreaming对kafka topic数据进行处理后再重新写入kafka

文章目录1、需求：2、知识点：3、方法1：4、方法2：4.1、伴生类创建KafkaProducer包装器4.2、SparkStreaming消费kafka并写入kafka1、需求：使用sparkStreaming对kafka中某topic数据进行数据处理后再重新写入kafka2、知识点：广播变量SparkStreaming连接kafka进行消费rdd算子写入kafka懒加载伴生类与伴生对象的使用producerRecord手动序列化3、方法1：KafkaProducer不可序

2021-04-02 00:07:53 1881 3

原创 Spark-Streaming基础使用

文章目录1、SparkStreaming案例1.1 代码如下：1.2 shell作为数据输入端1.3 执行测试1.4 踩坑点2、使用Spark Streaming处理HDFS上的文件2.1 代码如下2.2 上传文件2.3 踩坑点3、使用Spark Streaming处理有状态的数据3.1 流程分析3.2 代码如下3.3 测试3.4 踩坑点4、使用Spark Streaming整合Spark SQL4.1 流程分析4.2 代码如下5、使用Spark Streaming处理Flume输出的数据-push6、使用

2021-04-01 01:25:40 312

小小鱼