- 博客(32)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 Flink复习3-2-4-6-1(v1.17.0)： 应用开发 - DataStream API - 状态和容错 - 数据类型&序列化 - 概述
https://nightlies.apache.org/flink/flink-docs-release-1.17/docs/dev/datastream/fault-tolerance/serialization/types_serialization/#data-types--serialization
2023-07-04 16:29:32
1177
原创 flink临时研究小结论
flink临时研究小结论parallelism、slot、operatorparallelism、slot、operator每个运行中的application至少有一个taskmanager（JVM进程）。每个taskmanager至少有一个task-slot，多个task-slot的话则均分taskmanager的内存资源。一个task-slot中可以运行一到多个task，一个task-slot中可能会有一条完整的operator pipeline（就是从头到尾所有的operator过
2021-08-27 14:52:33
161
原创 hive udf简单示例
hive udf简单示例udafKurtModeSkew部分依赖udafKurtimport org.apache.commons.math3.stat.descriptive.moment.Kurtosis;import org.apache.hadoop.hive.ql.exec.UDAF;import org.apache.hadoop.hive.ql.exec.UDAFEvaluator;import org.apache.hadoop.io.DoubleWritable;impor
2020-09-28 14:32:40
247
原创 kafka -＞ flink -＞ redis
flink检测kafka并提数到kafka代码依赖涉及:flink udf代码import com.pojo.TestParameters;import org.apache.flink.api.common.functions.FlatMapFunction;import org.apache.flink.api.java.tuple.Tuple2;import org.apache.flink.api.java.typeutils.TupleTypeInfo;import org.a
2020-09-28 13:51:31
282
原创 错误集
这里写目录标题Exception in thread "main" java.lang.NoSuchMethodErrorException in thread “main” java.lang.NoSuchMethodErrorException in thread "main" java.lang.NoSuchMethodError: org.apache.flink.streaming.api.environment.StreamExecutionEnvironment.configure(Lor
2020-09-25 17:21:49
160
原创 maven 打包时出现这个问题 ：For artifact {null:null:null:jar}: The groupId cannot be empty
这个哥们说的还可以，可以看一下：https://blog.csdn.net/qq_25933249/article/details/92612721如果不是那些方面的问题，这时候你不妨去检查一下maven里面的settings文件，看看 localRepository 标签下配置的本地仓库路径是不是和你idea上面配置的是一样的。...
2020-09-14 10:44:33
1861
原创 在hive udf中加载外部数据到内存中
import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;import org.apache.hadoop.fs.Path;import org.apache.hadoop.hive.ql.exec.UDF;import org.apache.hadoop.io.IOUtils;import org.apache.hadoop.fs.FileSystem;import ja
2020-09-09 15:50:02
809
原创 Flink Event-Time with WarterMark
Flink Event-Time with WarterMark本篇帖子简介1.8.21.10.0PeriodicPunctuated本篇帖子简介举一个小例子，比如用Flink做kafka的wordcount，使用的时间类型为Event-Time时间类型，那么我们如何指定数据流的时间进度是依赖于每条数据中的哪个部分的呢。目前我知道的有三种，会用的只有两种，分别来自于下面两个版本。1.12的版本中对于时间时间的指定貌似更为方便，使用的是DDL。本贴着重介绍1.10.0部分1.8.2一种是像下面这一
2020-08-11 13:18:13
183
原创 通过MySQL实现对HDFS文件变更的监控
通过MySQL实现对HDFS文件变更的监控ReadFileToMysqlToolsReadFileToMysqlimport java.io.*;import java.sql.*;import java.text.SimpleDateFormat;import java.util.Calendar;import java.util.Date;import org.apache.log4j.Logger;public class ReadFileToMysql { static
2020-08-03 11:37:30
169
原创 Flink SQL 功能介绍
Flink SQL 功能介绍SQL Job SupportProcessing Mode :Flink Sources :Flink Sinks :本地调试与提交部署的区别支持的数据格式受支持的Time Attributes(时间属性)WaterMark窗口函数时间单位目前支持的数据类型Field Type Mapping目前不支持的SQL操作(以官网为参考)Reserved KeywordsFlink Version : 1.8.2Kafka Version : 0.10Scala Version
2020-07-27 10:24:01
859
原创 python画统计图 -＞ 发送QQ邮件
涉及点：python执行命令行python画统计图将图片插入邮件正文将图片插入邮件附件python发送邮件代码简介：execShell方法用来执行命令（有返回）<涉及点 1>create_image方法生成统计图.<涉及点 2>create_email方法生成邮件（有返回）<涉及点 3、4>send_email方法发送邮件<涉及点 5>上代码只需修改这几个变量（my_annex_path、my_sender、my_pa.
2020-07-24 16:43:53
444
原创 Windows安装python 3.7.8
1. 官网下载官网地址：https://www.python.org/downloads/我是64位的Windows，选的是下面那个可执行的安装文件2.安装、自动安装的话建议记一下那个安装路径，防止会用到。3.测试按住1号键再按R键，会跳出来一个小窗口，直接点击回车就可以进入终端了。输入python后点击回车，像下面这样就算是安装完成了。...
2020-07-23 16:51:50
2159
原创 Flink精确一次的实现举例
简单的讲一讲Flink的精确一次是如何实现的，我简单的举个例子，当时老大给了一个需求，就是讲kafka中的数据通过flink以parquet的格式写入hdfs，当时我就去看了BucketingSink，发现他满足不了这个需求，他能写Sequence、string、和avro，可是去写不了parquet，当时使用的是1.8，在1.10出来的时候就已经弃用了。紧接着去研究了StreamingFi...
2020-05-06 15:31:28
334
原创 Flink广播流(BroadcastStream)实例 简单易懂
import java.text.SimpleDateFormatimport org.apache.flink.api.common.state.MapStateDescriptorimport org.apache.flink.api.common.typeinfo.BasicTypeInfoimport org.apache.flink.api.scala._import org.a...
2020-04-02 14:00:06
2745
原创 StreamingFileSink 读取 Kafka 数据写入 HDFS（Parquet格式）
Flink：1.8.2Kafka：0.10.1HADOOP：CDH-Hadoop 3.0.0数据样例910690,3118339,3189162,buy,1511682220953517,2541156,3607361,fav,1511682220227081,2145764,982926,pv,1511682220777480,3566166,3645362,fav,1511682...
2020-03-24 16:24:21
1227
原创 一些小操作
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Ma...
2020-03-23 09:38:16
157
原创 CentOs-7 Zookeeper 完全分布式环境搭建 高可用性
在搭建HA（HDFS高可用）时，可以没有Secondary NameNode节点，在搭建完全分布式时的Secondary NameNode合并edits文件的功能由Standby的NN替代了。1.下载安装zookeeper2.修改ZK的conf文件夹下的zoo.cfg3.实现zoo.cfg里面预声明的文件目录4.拷贝文件到其余节点机器5.修改每个机器的环境变量在hadoop下创建文件夹...
2019-06-23 01:24:34
244
原创 CentOs-7 Spark 完全分布式 搭建
1.准备好安装了jdk的虚拟机---------------(Spark并不是必须依赖于Hadoop，它是一个通用性的集群计算平台，可以用来替代Hadoop的MapReduce，因为相比较而言，Spark更加高效）2.下载并在Linux上安装spark3.选择节点打通无密登录(1台做master节点，另外几台做worker节点)4.在conf下cp出slaves 和 spark-env.s...
2019-06-22 01:25:15
397
原创 六（1）、CentOS7 安装 Logstash、kibana
下载cd /usr/soft/tar -zxvf logstash-6.2.2.tar.gz拖进文件夹后解压vi /etc/profileexport LOGSTASH_HOME=/usr/soft/logstash-6.2.2/:$LOGSTASH_HOME/binsource /etc/profile激活环境变量logstash --version查看版本号...
2019-06-20 20:00:50
190
原创 四（2）、CentOs-7 Hadoop 伪分布式 安装配置 hbase
先准备好一台搭建了伪集群和zookeeper的虚拟机我这里Hadoop用的是2.7.3、zookeeper是3.4.9下载tar -zxvf hbase-1.3.5-bin.tar.gz拖进soft文件夹，进入此路径解压修改配置问件时也可以去官网找找修改i. hbase-env.sh文件echo $JAVA_HOME获取jdk路径cd /usr/soft/hbase-...
2019-06-20 19:09:00
291
原创 六-1 布置elasticsearch重节点
先启动主节点先确定确定此路径下的（/usr/soft/elasticsearch-6.2.2/config/）elasticsearch.yml文件的IP有没有错下面启动重节点首先修改其它机器的elasticsearch.yml每台机器的集群名都要相同、节点名不相同、同时还要再副节点的的机器上声明主节点机器的IP同时两个重节点还要删除一个文件夹（因为我是复制的虚拟机，如果不删除启...
2019-06-15 13:59:24
212
原创 启动elasticsearch时报错log权限不够
启动es是非root用户启动，报错权限不够这是只要在root用户下为普通用户授权就可以了例如我的普通用户名是wsbchown wsb /usr/soft/elasticsearch-6.2.2 -R
2019-06-15 13:08:10
7745
1
原创 七、VirtualBox-6.0.4-128413-Win-CentOS7 Hive远程模式 安装
首先准备好一个直接在虚拟机上安装了MySQL的虚拟机（用于远程模式操作），还有安装hive的虚拟机需要安装好Hadoop（总共需要两个虚拟机）并且在里面创建好一个库；把下载好的hive压缩包在Hadoop服务器上解压注意：，下载的hive版本一定要和安装过的Hadoop版本对应（因为我的Hadoop是2.7.3的，所以我下载的hive是2.3.5的）cd /usr/soft/ 进入此路...
2019-06-12 00:47:10
278
原创 六、VirtualBox-6.0.4-128413-Win-CentOS7 安装 Nodes & elasticsearch-head-master插件
yum install gcc gcc-c++ 粘贴此命令到黑界面（在超级管理员模式下粘贴，否则输入：sudo yum install gcc gcc-c++）（安装必要的编译软件包）cd /usr/soft/ 进入此文件夹（在哪个文件夹下，下面下载的时候就会下载到哪）wget https://npm.taobao.org/mirrors/node/v10.13.0/node-v10...
2019-06-11 17:07:02
206
原创 CentOS7 安装 MySql
参考：https://blog.csdn.net/qq_41794285/article/details/90753722参考：https://blog.csdn.net/tr1912/article/details/77462256
2019-06-10 22:16:01
59
原创 四、VirtualBox-6.0.4-128413-Win CentOs-7 Hadoop 2.7.3 伪分布式 环境搭建
jdk建议使用JDK1.8.11 Tar hadoop.tar.gz建议使用Hadoop2.7.3配置环境变量cd /usr/soft/tar -zxvf hadoop-2.7.3.tar.gzvi /etc/profileexport HADOOP_HOME=/usr/soft/hadoop-2.7.3export HADOOP_MAPRED_HOME=$HADOOP_HOMEe...
2019-06-07 21:53:32
234
原创 三、VirtualBox-6.0.4-128413-Win 安装配置 CentOs-7 虚拟机 安装docker及下载镜像操作
centos 必须要6.5以上版本，最好7以上（docker要求centos内核版本3.1以上）在docker上面安装软件(相当于在虚拟机上又装了一个虚拟机（容器），然后在这个容器里装了个软件（镜像）)（这个容器坏了，还可以再做一个，对计算机不会有任何印象，比较方便。）参考（https://www.cnblogs.com/yufeng218/p/8370670.html）yum insta...
2019-06-05 22:12:39
595
原创 二、VirtualBox-6.0.4-128413-Win 安装配置 CentOs-7 虚拟机 配置jdk-8u111-linux-x64.tar
打开MobaXterm_Personal（我这里用的是MobaXterm_Personal_11.1）右键单击 New directory 创建文件夹rpm -qa|grep javarpm -e --nodepscd /usr/soft/tar -zxvf /usr/soft/jdk-8u111-linux-x64.tar.gzvi /etc/profil...
2019-06-05 20:04:56
267
原创 一、VirtualBox-6.0.4-128413-Win 安装配置 CentOs-7 虚拟机
中间会显示几个黑界面，不用在意，没有关系的。12345678910111213141516171819.点击右下角的开始安装2021222324252627282930。点击用户，会出现这个输入框。3132...
2019-06-05 17:22:11
758
2
原创 idea的web环境设置（Tomcat）、Servlet的架包导入及MySQL数据库链接媒介架包
下面的这个jsp是重新建的，自带的没有最上面一行
2019-05-29 22:10:02
874
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人