- 博客(136)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Maven加载jar包的几种方式
Maven加载jar包的几种方式常规方式正常我们使用maven加载jar包，基本上都是添加jar名称，利用之前配置好的下载端点进行下载，例如： <dependency> <groupId>com.oracle</groupId> <artifactId>ojdbc8</artifactId> <version>12.2.0.1</version> </dependenc
2021-07-14 16:14:46
1673
转载 Oracle 日常基本命令
文章目录Oracle 日常基本命令用户与权限创建用户给用户修改密码修改自己的密码删除用户给用户赋权限收回用户权限系统权限：是数据库管理相关的权限：connnect 角色：resource 角色：dba 角色：表空间创建表空间必须使用 system 用户创建创建用户指定默认表空间修改用户默认表空间：查看表空间：查看用户默认表空间：表结构的操作创建表：修改表添加列修改列删除列修改表的名称修改列名查看表结构约束非空（NOT NULL）添加非空删除非空唯一（UNIQUE）添加修改唯一删除唯一主键（PRIMARY K
2021-07-14 13:58:42
2661
原创 Mybatis连接Mysql进行增删查改
文章目录Mybatis简单介绍利用maven下载jar包创建配置文件创建database.properties文件创建mybatis-config.xml 文件创建mapper文件夹及RoleDao.xml文件提交创建好两张表及插入数据Role 表User表编写代码dao接口Role 类User类测试类TestMybatisMybatis简单介绍MyBatis 是一款优秀的持久层框架，它支持自定义 SQL、存储过程以及高级映射。MyBatis 免除了几乎所有的 JDBC 代码以及设置参数和获取结果集的
2021-07-13 16:40:02
322
原创 Flink Window窗口机制
文章目录Flink Window窗口机制Demo 1Demo 2Demo 3Flink Window窗口机制Window是无限数据流处理的核心，Window将一个无限的stream拆分成有限大小的”buckets”桶，我们可以在这些桶上做计算操作。本文主要聚焦于在Flink中如何进行窗口操作，以及程序员如何从window提供的功能中获得最大的收益。 窗口化的Flink程序的一般结构如下，第一个代码段中是分组的流，而第二段是非分组的流。正如我们所见，唯一的区别是分组的stream调用keyBy(…
2021-06-30 22:44:58
406
2
原创 Flink是什么？如何简单应用？
文章目录Flink是什么？Flink介绍处理无界和有界数据部署应用程序在任何地方以任何规模运行应用程序利用内存中的性能Flink Demo展示利用Scala 进行wordcount利用Java进行wordcount利用Java进行wordcount2Source 展示source1_CollectSource2_FileSource3_KafkaSource4_MySourceSink 展示Sink1_KafkaSink2_MysqlFlink是什么？Flink介绍Apache Flink是一个框架和
2021-06-28 20:58:11
496
2
原创 利用IDEA对Redis进行增删查改
利用IDEA对Redis进行增删查改利用maven导入依赖 <dependency> <groupId>redis.clients</groupId> <artifactId>jedis</artifactId> <version>3.6.0</version> </dependency>设置资源文件新建 resource文件夹，并设置为资源文件夹，并在文件夹
2021-06-28 10:41:03
1128
1
原创 Redis是什么？它的优点有哪些？
Redis是什么？它的优点有哪些？Redis 是当前互联网世界最为流行的 NoSQL（Not Only SQL）数据库。NoSQL 在互联网系统中的作用很大，因为它可以在很大程度上提高互联网系统的性能。Redis 具备一定持久层的功能，也可以作为一种缓存工具。对于 NoSQL 数据库而言，作为持久层，它存储的数据是半结构化的，这就意味着计算机在读入内存中有更少的规则，读入速度更快。对于那些结构化、多范式规则的数据库系统而言，它更具性能优势。作为缓存，它可以支持大数据存入内存中，只要命中率高，它就能快速
2021-06-26 12:37:52
4761
原创 Redis中五种数据类型简单操作
文章目录Redis中五种数据类型简单操作字符串的增删改查Set集合的增删改查List集合的增删改查Hash集合(类似Java)的增删改查SortedSet集合的增删改查Redis中五种数据类型简单操作假设你已经安装Redis服务器；假设你已经打开Redis cli命令行工具；假设你对Redis有所了解；Redis简单增删改查例子字符串的增删改查#增加一个key为ay_key的值127.0.0.1:6379> set ay_key "ay"OK#查询ay_key的值127.0.0.
2021-06-25 09:42:40
98
原创 CentOS7使用命令行安装Oracle11GR2
文章目录CentOS7使用命令行安装Oracle11GR2安装依赖包验证依赖包创建oracle用户解压Oracle安装包修改系统配置创建Oracle安装目录修改环境变量修改oracle配置文件安装数据库安装完成验证安装结果启动数据库日常开机后启动的步骤：CentOS7使用命令行安装Oracle11GR2安装依赖包操作用户：rootyum -y install binutils compat-libcap1 compat-libstdc++-33 compat-libstdc++-33*i686 co
2021-06-24 18:50:55
567
1
原创 Spark Streaming 窗口函数window
Spark Streaming 窗口函数windowSpark Streaming之window滑动窗口应用，Spark Streaming提供了滑动窗口操作的支持，从而让我们可以对一个滑动窗口内的数据执行计算操作。每次掉落在窗口内的RDD的数据，会被聚合起来执行计算操作，然后生成新的RDD，新的RDD组合成一个新的DStream在窗体函数展示网官图中所示，就是对每三秒钟的数据执行一次滑动窗口计算，这3秒内的3个RDD会被聚合起来进行处理，然后过了两秒钟，又会对最近三秒内的数据执行滑动窗口计算。所以每个
2021-06-23 20:57:30
693
1
原创 Spark Streaming 简单应用
Spark Streaming 简单应用这里介绍几个 Dstream 的使用小demo 仅供参考demo 1实现简单的WordCount 功能，在nc端口 生产数据后，可以在控制台打印WordCount的统计结果：import org.apache.spark.SparkConfimport org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream}import org.apache.spark.streaming.
2021-06-22 21:23:02
132
2
原创 Azkaban的应用
文章目录Azkaban的应用项目流程demo1-hello worlddemo2demo2-1demo2-2demo 3demo 4demo 5demo 6demo 7demo 8demo8-javademo-sparkpangAzkaban的应用这里做了几个简单的有代表性的demo，介绍了azkaban日常工作中的应用场景，以供参考项目流程打开登录页面：登录后点击右上角的create project 创建新的项目：demo1-hello world创建一个项目文件：azkaban.pr
2021-06-22 20:57:24
361
1
原创 Azkaban的安装
Azkaban的安装编译编译的目的是为了获取对应的安装包官网下载链接：https://azkaban.github.io/官方配置教程：https://azkaban.readthedocs.io/en/latest/getStarted.html#虚拟机需要先安装Gradle工具，如果没有安装的话，可以去官方下载自己对应的版本下载得到这两个压缩包后进行安装：tar -zxvf azkaban-3.84.10.tar.gzunzip gradle-5.6.3-all.zip然后对azk
2021-06-21 21:03:38
664
原创 MongoDB数据导入Hive
MongoDB数据导入Hive方法和Hbase导入hive类似，区别在于，需要现在Mongodb设置一个账户创建用户进入mongodb后开始操作：//创建管理员账户 userAdminAnyDatebase 为管理员权限，可以管理，不能关闭数据库> use adminswitched to db admin> db.createUser({user:"admin",pwd:"admin",roles:[{"role":"userAdminAnyDatabase","db":"a
2021-06-07 16:02:58
728
1
原创 Hbase数据映射到Hive
Hbase数据映射到Hive//新建库 并使用库 create database events; use events; //设置变量名为db 指向库名 events set hivevar:db=events; //设置允许所有的分区列都是动态分区列00000000000000000000 set hive.exec.dynamic.partition.mode=nonstrict; //设置允许动态分区功能 SET hive.optimize.sort.dy
2021-06-07 15:57:58
1018
原创 Java实现MongoDB的简单增删改查
Java实现MongoDB的简单增删改查现有一个mongodb的测试表格，内容如下：根据该表做一个简单的增删改查，具体实现代码如下：import com.mongodb.BasicDBObject;import com.mongodb.MongoClient;import com.mongodb.client.FindIterable;import com.mongodb.client.MongoDatabase;import com.mongodb.client.MongoIterable
2021-06-06 19:23:05
472
原创 MongoDB日常命令总结
MongoDB日常命令总结> show databases 查看数据库admin 0.000GBconfig 0.000GBkb11 0.000GBlocal 0.000GB> use kb11 //选择数据库switched to db kb11> show tables //查看数据库中的表students> db.createCollection("aabb"); //创建表{ "ok" :
2021-06-04 20:59:14
153
原创 MongoDB安装步骤及常用命令
文章目录MongoDB安装步骤解压并改名创建文件夹创建配置文件启动常用命令MongoDB安装步骤解压并改名tar -zxvf mongodb-linux-x86_64-rhel70-4.0.24.tgzmv mongodb-linux-x86_64-rhel70-4.0.24 mongodb创建文件夹在mongodb目录下创建以下 文件夹，用于存放对应文件//创建数据库文件路径mkdir -p ./data/db//创建日志文件路径mkdir -p ./log创建配置文件在mon
2021-06-02 21:14:21
193
1
原创 Kafka窗口函数
Kafka窗口函数public class WindowStream { public static void main(String[] args) { Properties prop=new Properties(); prop.put(StreamsConfig.APPLICATION_ID_CONFIG,"windowdemo"); prop.put(StreamsConfig.BOOTSTRAP_SERVERS_CONFIG,"192.16
2021-05-31 22:19:13
337
2
原创 Kafka中的数据导入Hbase
Kafka中的数据导入HbaseHbase新建空表start-hbase.shhbase shellcreate_namespace 'events_db'create 'events_db:user_friend', 'uf'编写代码public class UserFriendToHB { static int num =0; public static void main(String[] args) { //kafka消费端属性 配置
2021-05-31 22:17:46
237
原创 Java实现C3P0数据库连接池
Java实现C3P0数据库连接池maven 下载依赖包<dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>5.1.38</version> </dependency> <!-- https://mvnrepository
2021-05-31 19:51:45
247
原创 Java实现WordCount统计本地文件(单线程和多线程)
Java实现WordCount统计本地文件(单线程和多线程)单线程public class WordCountTest { public static void main(String[] args) { long start = System.currentTimeMillis(); Map<String,Integer> wordMap=new TreeMap<>(); FileReader fr=null;
2021-05-31 19:44:03
252
原创 Java 实现 Kafka Streaming API
Java 实现 Kafka Streaming API下面用几个实例简单实现一下Kafka Streaming， 几个案例都需要提前在kafka内创建对应名称的 topic，这里不做赘述，直入主题。案例一：实现直接转入本案例实现的功能为 往 topic A 写入数据时，会同步写入topic B， 只是简单的转发功能，代码如下：import org.apache.kafka.common.serialization.Serdes;import org.apache.kafka.common.
2021-05-27 21:50:15
293
2
原创 Java代码实现Kafka生产者和消费者API
文章目录Java代码实现Kafka生产者和消费者生产者消费者Java代码实现Kafka生产者和消费者这里通过java代码分别实现kafka的生产者和消费者，并且能够实时发送和接收数据生产者public class MyProducer { public static void main(String[] args) { Properties properties = new Properties(); properties.put(ProducerConfig
2021-05-27 21:36:59
382
原创 Hive提取JSON字符串内的指定字段名的值
hive提取json字符串内的指定value值方法如上图所示test表内，info列的值为一个json字符串，利用什么方法可以直接 取出其中time 的值。除 自定义UDF函数外，这里提供两种简单的方法。get_json_objectget_json_object 函数可以按照JSON字符串内的字段名取值：select get_json_object(info,'$.time') from testjson_tuple可以达到相同的功能，区别在于 get_json_object 一次只能去
2021-05-27 21:27:35
2729
原创 Flume中的拦截器的使用方法(Interceptor)
文章目录Flume中的拦截器的使用方法(Interceptor)Java代码实现打Jar 包创建conf文件验证Flume中的拦截器的使用方法(Interceptor)Flume中的拦截器（interceptor），用户Source读取events发送到Sink的时候，在events header中加入一些有用的信息，或者对events的内容进行过滤，完成初步的数据清洗。这在实际业务场景中非常有Java代码实现用java代码实现简单的功能，如果出现hello开头的，拦截到一个地方，出现hi开头的
2021-05-25 14:39:34
1088
原创 Flume安装及使用
文章目录Flume安装及使用安装解压并改名配置flume.env.sh文件测试安装netcat安装telnet基本使用案例一配置conf文件运行案例二准备文件创建conf文件修改events.csv文件名运行文件：Flume安装及使用安装解压并改名tar -zxvf flume-ng-1.6.0-cdh5.14.0.tar.gzmv flume-ng-1.6.0-cdh5.14.0.tar.gz flume160514配置flume.env.sh文件路径为： flume160514/conf
2021-05-24 16:47:01
876
1
原创 Kafka的安装
文章目录Kafka的安装解压并改名配置文件server.properties配置环境变量启动启动Zookeeper启动Kafka常用命令汇总生产者模式和消费者模式总结Kafka的安装需要安装环境内有JDK环境，Zookeeper可以自己安装，也可以使用Kafka自带的集成zookeeper解压并改名安装文件放到Linux系统内后解压进行改名tar -zxvf kafka_2.11-2.0.0.tgzmv kafka_2.11-2.0.0 kafka211配置文件server.properti
2021-05-20 16:39:28
96
原创 Spark项目模拟——航班飞行网图分析
文章目录Spark项目模拟——航班飞行网图分析需求描述数据准备需求思路整理代码实现总结机场数量：航线数量：最大的边属性：哪个机场到达航班最多：找出最重要的飞行航线：找出最便宜的飞行航线：Spark项目模拟——航班飞行网图分析需求描述数据准备数据文件一份，如下：文件格式为CSV，字段之间分隔符为“,”列依次为：#日、周#、航空公司、飞机注册号、航班号、起飞机场编号、起飞机场、到达机场编号、到达机场、预计起飞时间（时分）、起飞时间、起飞延迟（分钟）、到达预计时间、到达时间、到达延迟（分钟）、预计飞
2021-05-19 21:29:23
1040
9
原创 Spark 处理log日志
文章目录Spark 处理log日志(数据清洗)源数据准备数据清洗要求准备环境开始清洗实现需求Spark 处理log日志(数据清洗)源数据准备准备一个 .log 格式的文件，内容如下所示数据清洗要求准备环境读取文件后，按照格式一层层切分数据，并将最终的结果保存到 Mysql 数据库中，代码如下所示先设置参数类，避免多次调用的代码冗余object JdbcUtils { val url="jdbc:mysql://192.168.146.222:3306/etldemo" val
2021-05-18 22:29:48
2112
1
原创 Spark处理复杂JSON字符串
复杂JSON字符串的处理(Spark高级技巧)准备数据准备一份复杂一点的json字符串{"cm":{"ln":"-55.0","sv":"V2.9.6","os":"8.0.4","g":"C6816QZ0@gmail.com","mid":"489","nw":"3G","l":"es","vc":"4","hw":"640*960","ar":"MX","uid":"489","t":"1593123253541","la":"5.2","md":"sumsung-18","vn":"1.3.4"
2021-05-13 14:16:20
525
1
转载 Spark高级操作之json复杂和嵌套数据结构的操作
Spark高级操作之json复杂和嵌套数据结构的操作一，基本介绍本文主要讲spark2.0版本以后存在的Sparksql的一些实用的函数，帮助解决复杂嵌套的json数据格式，比如，map和嵌套结构。Spark2.1在spark 的Structured Streaming也可以使用这些功能函数。下面几个是本文重点要讲的方法。A),get_json_object()B),from_json()C),to_json()D),explode()E),selectExpr()二，准备阶段首先，创建
2021-05-12 17:34:56
138
1
原创 Spark SQL自定义函数
文章目录Spark SQL自定义函数UDF 一进一出UDTF 一进多出UDAF 多进一出Spark SQL自定义函数spark自定义函数用法类似于hive的格式，可以参考hive自定义函数的写法进行编写UDF 一进一出case class Hobbies(name:String,hobbies: String)object UDFDemo { def main(args: Array[String]): Unit = { val conf: SparkConf = ne
2021-05-12 17:27:03
154
原创 Spark SQL 内置函数
Spark SQL 函数基本概念：Datasets和DataFramesDataFrameDataFrame是组织成命名列的数据集。它在概念上等同于关系数据库中的表，但在底层具有更丰富的优化。DataFrames可以从各种来源构建，例如：结构化数据文件hive中的表外部数据库或现有RDDsDataFrame API支持的语言有Scala，Java，Python和R。从上图可以看出，DataFrame多了数据的结构信息，即schema。RDD是分布式的 Java对象的集合。DataFram
2021-05-12 17:20:59
317
1
原创 RDD、DataFrame、DataSet的区别和联系
文章目录RDD、DataFrame、DataSet的区别和联系共性:区别：转化：RDD、DataFrame、DataSet的区别和联系共性:1）都是spark中得弹性分布式数据集，轻量级2）都是惰性机制，延迟计算3）根据内存情况，自动缓存，加快计算速度4）都有partition分区概念5）众多相同得算子：map flatmap 等等区别：1）RDD不支持SQL2）DF每一行都是Row类型，不能直接访问字段，必须解析才行3）DS每一行是什么类型是不一定的，在自定义了case class之
2021-05-12 08:23:28
229
3
原创 Spark连接mysql、hive
文章目录Spark连接mysql利用idea工具连接Spark连接hive配置文件启动hive服务通过idea工具连接利用spark-shell连接Spark连接mysql将mysql-connector包 导入spark/jars/ 路径内利用idea工具连接代码如下：package nj.zb.kb11import org.apache.spark.{SparkConf, SparkContext}import org.apache.spark.sql.{DataFrame, Sp
2021-05-11 22:26:23
241
1
原创 Spark中DataSet、DataFrame使用实例
Spark中DataSet使用实例package nj.zb.kb11import org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}import org.apache.spark.sql.{DataFrame, Dataset, SparkSession}object DataSetDemo { case class Point(label:String,x:Double,y:Double)
2021-05-11 21:19:09
277
原创 Spark读取csv、json文件
Spark读取csv文件package nj.zb.kb11import org.apache.spark.rdd.RDDimport org.apache.spark.sql.types.DoubleTypeimport org.apache.spark.sql.{DataFrame, SparkSession}import org.apache.spark.{SparkConf, SparkContext}object ReadCsvDemo { def main(args: Arr
2021-05-11 21:15:57
495
原创 Spark的如何打jar包
Spark的如何打jar包配置文件path:hdfs://192.168.XXX.100:9000/sparkfile/hello.txtsavepath:hdfs://192.168.XXX.100:9000/sparkout/helloworld代码实例注意代码中 配置文件调用的路径为实际安排配置文件存放路径package nj.zb.kb11import java.io.FileInputStreamimport java.util.Propertiesimport org.
2021-05-11 21:13:24
1401
原创 spark实现wordcount的几种方法
方法一：map + reduceByKeypackage com.cw.bigdata.spark.wordcountimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}/** * WordCount实现第一种方式:map + reduceByKey * * @author 陈小哥cw * @date 2020/7/9 9:59 */object WordCount1
2021-05-06 17:03:14
1059
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人