- 博客(36)
- 收藏
- 关注
RSS订阅原创 Python jdbc方式连接Oracle
Python jdbc方式连接Oracleojdbc版本适配参考: https://blog.csdn.net/weixin_44900158/article/details/109533158常见问题参考:https://www.pianshen.com/article/9834930368/Linux下Python使用jdbc方式连接Oracle:https://jingyan.baidu.com/article/75ab0bcb9776ecd6864db2c9.htmlConJdbcOracl
2021-05-31 21:58:38
1165
原创 Flink1.12-RocketMQ4.5.1-Source
Flink1.12-RocketMQ4.5.1-SourceKeyValueDeserializationSchemapackage com.flink_rmq_source;import org.apache.flink.api.java.typeutils.ResultTypeQueryable;import java.io.Serializable;public interface KeyValueDeserializationSchema<T> extends Resu
2021-05-27 22:41:18
1358
2
原创 数据监控&告警Demo(Oracl_http-post)
数据监控&告警(Oracl_http-post)一.java_http接口PostController.javapackage com.springboot.test_springboot.post_controller;import com.alibaba.fastjson.JSONObject;import org.springframework.web.bind.annotation.*;@RestController@RequestMapping("/applog")@
2021-05-23 22:48:51
310
原创 SparkSQL-Hive2ES
SparkSQL-Hive2ES一.idea local模式VM option: -Dspark.master=localAPP01package com;import org.apache.spark.sql.Dataset;import org.apache.spark.sql.Row;import org.apache.spark.sql.SparkSession;import org.elasticsearch.spark.sql.api.java.JavaEsSparkSQL;
2021-04-21 21:27:18
372
原创 Flink1.10-SQL(kafka2ES)
Flink1.10-SQL(kafka&PG2ES)input//维度表数据:PG数据库deptdimu02 2 d02 l02u01 1 d01 l01u03 1 d01 l01//主表数据:KafkapageLog>u01 1234>u02 2333output//ES { "_index" : "user_transmit", "_type" : "read11", "_id" : "xUgcMXgBsBclsWGUZSyg",
2021-03-14 22:36:28
453
原创 Flink1.11.2-pg-source&sink
Flink1.11.2-pg-source&sink[CSVSource_ToPg.java]package com.flink.source.pg_jdbc;import org.apache.flink.api.common.functions.FlatMapFunction;import org.apache.flink.api.common.functions.MapFunction;import org.apache.flink.api.java.tuple.Tuple2;i
2021-03-08 23:26:29
540
原创 emp_dept_SQL
(按dept_type查询)_SQL--emp表CREATE TABLE `emp` ( `empNo` varchar(10) DEFAULT NULL, `empName` varchar(10) DEFAULT NULL, `deptNo` varchar(10) DEFAULT NULL) ENGINE=InnoDB DEFAULT CHARSET=utf8;--插入数据:e01 eName01 d01e02 eName02 d02e03 eName03 d03e04 e
2021-03-07 15:32:30
312
原创 UserTransmitApp
UserTransmitAppkafka_inputes_outputUserTransmitApppackage com.flink.app;import com.alibaba.fastjson.JSON;import com.alibaba.fastjson.JSONObject;import com.flink.bean.UserTransmit;import com.flink.sink.ToES;import com.kafka.kafka_api.KafkaUtils;
2021-03-03 00:10:08
133
原创 接口_kafka_UserTransmit
接口_kafka_UserTransmitspringboot接口com.test.MainApplicationpackage com.test;import org.springframework.boot.SpringApplication;import org.springframework.boot.autoconfigure.SpringBootApplication;@SpringBootApplicationpublic class MainApplication {
2021-03-01 01:21:34
113
原创 Flink1.11.2-1Json-sideProcess
Flink1.11.2-1Json-sideProcessToHdfspackage com.flink.app.toHdfs;import com.flink.app.parJson.P_PageLog;import com.flink.app.parJson.P_PageLog2;import com.flink.bean.PageLog;import com.flink.bean.PageLog2;import com.hdfs.HdfsUtils;import com.kafka.
2021-02-22 00:07:22
109
原创 Flink1.11.2-事件时间分片存储文件
Flink1.11.2-事件时间分片存储文件参考链接:https://developer.aliyun.com/article/719786ToHdfspackage com.toHdfs;import com.alibaba.fastjson.JSON;import com.alibaba.fastjson.JSONObject;import com.bean.PageLog;import org.apache.flink.api.common.functions.MapFunction;
2021-02-18 22:30:48
379
原创 Kafka-code_demo
Kafka-code_demo一.log1.1.CustomProducerpackage com.log;import org.apache.kafka.clients.producer.KafkaProducer;import org.apache.kafka.clients.producer.Producer;import org.apache.kafka.clients.producer.ProducerRecord;import java.io.*;import java.util
2021-02-17 21:18:49
168
原创 Flink-1.11.2-code_demo
Flink-1.11.2-code_demo一.source1.1.FromCollectionpackage com.flink.source;import com.flink.bean.WaterSensor;import org.apache.flink.streaming.api.datastream.DataStreamSource;import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
2021-02-17 21:09:55
244
原创 PG_JDBC
PG_JDBCCopyTestpackage com.jdbc;import org.postgresql.copy.CopyManager;import org.postgresql.core.BaseConnection;import java.io.FileInputStream;import java.io.FileOutputStream;import java.io.IOException;import java.sql.Connection;import java.sql.D
2021-02-07 23:03:30
817
原创 Hive_To_CSV_To_PG
Hive_To_CSV一.导出Hive中数据成csv格式文件1.进入hive shell,导出文件到/home/out/目录下insert overwrite local directory '/home/out/'row format delimitedfields terminated by ','select * from table_name limit 1002.合并小文件 cat /home/out/*.csv > result.csv3.csv文件过滤…...
2021-02-06 23:22:27
338
原创 Flink1.10.1_scala_File_To_ES
Flink1.10.1_File_To_ESEsOutputTestpackage com.hdfsToESimport org.apache.flink.streaming.api.scala._import org.apache.flink.table.api.DataTypesimport org.apache.flink.table.api.scala._import org.apache.flink.table.descriptors._object EsOutputTest {
2021-02-04 01:26:03
227
原创 ES(待完善)
curl -u 用户名:密码 -XGET http://192.168.1.162:9200/blog01/curl -u 用户名:密码 -XPUT http://192.168.1.162:9200/blog01/ http://192.168.1.162:9200/blog01/ PUT 索引名?pretty //创建索引并格式化输出 DELETE /索引名 //删除索引 //创建文档API: PUT /索引名/类型名/文档id
2021-02-04 00:56:14
125
原创 Flink1.10.1_scala_LogToKafkaToHdfs
Flink1.10.1_scala_KafkaToHdfs一.模拟数据log_to_kafkapackage com.log;import org.apache.kafka.clients.producer.KafkaProducer;import org.apache.kafka.clients.producer.Producer;import org.apache.kafka.clients.producer.ProducerRecord;import java.io.*;import
2021-01-31 22:05:35
180
原创 CSDN开发助手简单使用
CSDN开发助手简单使用插件下载链接https://plugin.csdn.net/一、Chrome打开谷歌浏览器，选择管理扩展程序，将下载好的插件，拖入安装即可二、IDEA2.1、help:显示帮助信息 (esc退出窗口)2.2、json生成实体类2.3、计算器2.4、IP查询2.5、news...
2020-11-11 18:54:06
692
原创 TrafficMonitor之Windows10监控小工具
TrafficMonitor之Windows10监控小工具@你宝爷安装&基本设置软件下载地址：https://gitee.com/xiaoha1234/soft-ware/blob/master/TrafficMonitor.zip1、基本设置①、打开软件后，右下角通知栏会有一个流浪监视器小图标，右键点击，参考如下设置②、此时任务栏会出现监控窗口，右键点击该窗口，参考如下设置2、任务栏效果如下...
2020-10-23 21:08:14
2113
原创 spacedesk之Windows扩展屏幕到安卓设备
spacedesk之Windows扩展屏幕到安卓设备一、安装软件下载地址：https://gitee.com/xiaoha1234/soft-ware/blob/master/spacedesk.zip包含一个.msi文件 安装在Windows10端包含一个.apk文件 安装在安卓手机或平板电脑（推荐，分屏真香）端1.1、Windows101.1.1、软件打开打开软件后，会在通知栏出现一个小图标，点击左上角三点按钮，选择ON1.1.2、网络热点共享需要在Windows10上打开自带热点，
2020-10-22 15:40:26
3001
原创 ShellBash在IDEA下配置编写
ShellBash在IDEA下配置编写前提：已安装Git①、在IDEA下安装bashsupport插件②、Edit Configurations下配置Interpreter path④、 在IDEA安装根目录的bin目录下找到 idea64.exe.vmoptions 或者 idea.exe.vmoptions 文件（和你电脑的操作系统位数有关），然后在最后一行加上 -Dfile.encoding=UTF-8 ，重启IDEA，控制台的编码就变成了UTF-8③、新建Bash Scr
2020-10-15 10:19:25
393
原创 Hive（三、2）案例之京东店铺访问指标
Hive（三、2）案例之京东店铺访问指标一、前期准备1.0、打开集群&服务&客户端#1）注释掉配置文件内容，这样就不用开启metastore服务啦 vim $HIVE_HOME/conf/hive-site.xml #注释掉如下内容 <!-- <property> <name>hive.metastore.uris</name> <value>thrift://hadoop
2020-09-29 20:18:55
486
1
原创 Hive（三、1）案例之蚂蚁森林
Hive（三、1）案例之蚂蚁森林一、前期准备1.0、打开集群&服务&客户端#1）注释掉配置文件内容，这样就不用开启metastore服务啦 vim $HIVE_HOME/conf/hive-site.xml #注释掉如下内容 <!-- <property> <name>hive.metastore.uris</name> <value>thrift://hadoop11:9
2020-09-29 20:17:18
864
原创 Hive（三、0）案例之视频网站指标
Hive（三）案例之视频网站常规指标@你宝爷一、前期准备1.0、打开集群&服务&客户端#1）注释掉配置文件内容，这样就不用开启metastore服务啦 vim $HIVE_HOME/conf/hive-site.xml #注释掉如下内容 <!-- <property> <name>hive.metastore.uris</name> <value>thrift://hado
2020-09-24 19:14:29
604
原创 Hive（二）基础教程
Hive（二）基础命令@你宝爷一、常用交互命令#beeline jdbc 启动客户端，可多线程访问，hive不可以$HIVE_HOME/bin/beeline -u jdbc:hive2://hadoop11:10000 -n hduser#启动hive 客户端hive#查看选项信息$HIVE_HOME/bin/hive -help#“-e”不进入hive的交互窗口执行sql语句$HIVE_HOME/bin/hive -e "select * from tableName"#“-f”执行
2020-09-22 16:51:05
270
原创 Hive（一）安装&配置
Hive（一）安装&配置@你宝爷一、环境搭建1.1、MySql安装#检查本机是否安装过MySqlrpm -qa|grep mariadb#用此命令卸载mariadbsudo rpm -e --nodeps mariadb-libs #依次安装如下安装包sudo rpm -ivh mysql-community-common-5.7.28-1.el7.x86_64.rpmsudo rpm -ivh mysql-community-libs-5.7.28-1.el7.x86_64
2020-09-18 21:21:28
205
原创 MapRedues（一） 概要&编程入门
MapRedues（一） 概要&编程入门@你宝爷一、概述1.1、基本概念MapReduce是一个基于Hadoop集群的分布式计算编程框架，用户通过编写业务逻辑代码和自带默认组件结合成一个MR程序，程序提交任务给Hadoop集群或放在Hadoop集群上并发执行。1.2、缺点1.2.1、不适合流式计算流式计算的输入数据是动态的，而MapReduce的输入数据集是静态的，不能动态变化。这是因为MapReduce自身的设计特点决定了数据源必须是静态的。1.2.2、不适合DAG有向图计算多个应
2020-09-16 19:24:43
417
原创 Git（一）简单使用
Git（一）简单使用@你宝爷零、图解Git工作流程stage（index）：暂存区，master：主分支，HEAD：指向当前分支的指针一、创建仓库（版本库）#1）选择合适的目录，初始化成要管理的仓库git init #会生成.git目录，当你执行 git init 的时候，默认情况下 Git 就会为你创建 master 分支。#2）把文件添加到仓库，此命令可多次执行后再执行3）git add [文件目录]#3）把文件提交到仓库$ git commit -m [说明内容] #只会提交通过
2020-09-08 20:07:58
97
原创 MySql（一）入门必备
MySql基本操作一、DDL操作1、库操作1）创建库create database [数据库名称];2）使用库use [数据库名称];3）删除库drop database [数据库名称];4)查看数据库show databases;2、表操作1）创建表#方式一：CREATE TABLE [表名]( [字段名] [字段数据类型], [字段名] [字段数据类型]);#方式二：CREATE TABLE [表名] AS SELECT [任意字段名] FROM [其他
2020-09-07 18:09:22
142
原创 Gitee简单使用
Gitee上传本地项目零、第一次使用1.本地安装Git，配置环境变量https://blog.csdn.net/qq_32786873/article/details/805707832.需要配置如下信息：git config --global user.name [用户名]git config --global user.email [邮箱]一、详细步骤1.在码云上新建仓库2.在待上传项目上级目录，打开cmd窗口3.初始化，把本地目录变成git本地仓库git init #初始化g
2020-09-07 15:17:40
199
原创 HDFS（一）增删改查操作
HDFS之增删改查操作零、启动集群，Web查看hdfs系统1.搭建过程：https://blog.csdn.net/qq_31316733/article/details/108386424hadoop11192.168.1.11hadoop12192.168.1.12hadoop13192.168.1.13hadoop11hadoop12hadoop13HDFSNameNode DataNodeDataNodeSecondaryNa
2020-09-07 14:49:06
1338
原创 Hadoop（一）集群VMware搭建
Hadoop集群搭建一、前期准备机器名IPhadoop11192.168.1.11hadoop12192.168.1.12hadoop13192.168.1.131.使用VMvare新建hadoop111）新建虚拟机，选择光盘映像文件位置2）选择系统为linux，Cent OS73）设置虚拟机名称为hadoop11，选择存储位置，注意：路径最后一层起名hadoop11，方便系统管理4）设置磁盘大小为40G5）编辑虚拟机设置，配置内存和处理器，
2020-09-03 16:39:00
978
原创 Shell（一）基础知识
Shell基础知识补充：笔记中特殊符号： 1）' '：待填写的内容；2）。。。：任意数量和运算Shell中的注释：以#开头一、变量与运算符1.变量1）变量的声明与取值#①赋值'变量名' = '变量值。。。'#②取变量的值$'变量名'2）变量的参数$0 #脚本名称$1 #运行脚本第一个参数 $2 $3 ...以此类推${10} #运行脚本第十个以上参数要用$# #参数的个数，常用于循环$* #所有参数，值得注意的是：加双引号的"$*"代表参数整体$@ #所有参数$? #
2020-09-03 11:28:12
1754
2
原创 Linux（一）基础知识
Linux常用命令一、文件与目录的操作1.新建#新建文件touch [文件名]vi [文件名]#新建目录mkdir [文件夹名称]#新建多层目录mkdir -p [多层目录名称]#追加内容到某文件尾部ll >> [文件名] echo "输出的内容" >> [文件名]#覆盖某文件的内容（1）ll >[文件名] （3）cat [文件名New] > [文件名Old] #文件名New 覆盖 文件名Old2.删除#删除空目录名rmdir [目
2020-09-02 20:51:57
163
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人