HuYueeer-CSDN博客

原创安装Flink后无法启动

安装Flink后无法启动版本 jdk— 1.8 flink — 1.12.0情景再现：安装完Flink，在bin目录下运行./start-cluster.sh命令后，jps没有看到相应的服务被启动，查明原因后是因为服务器内存小于Flink启动的内存配置，所以需要在配置文件中配置内存，下面是分析思路，关于服务器在不报错的情况下的无法启动，可以通过查阅log日志文件来分析源头。分析情况1cd到log目录下，查看日志情况发现全部都以out为文件类型的日志文件随便打开一个cat flink-ro

2020-12-22 15:42:39 3029

原创 Flink消费kafka数据进行统计，过滤，合流后sink到kafka

Flink消费与生产kafka数据由于最近毕设需要设计一个小功能，一个日志分析并转换合并放到kafka上的一个需求，今天来总结积记录一下思路与代码实现。首先先明确业务流程，我们需要：先从kafka上消费数据，两条数据流，数据是kafka上的Json字符串；进行对数据的加工与分析（包含对数据的统计，过滤，转换），并处理成为一种格式的数据；进行union合流操作；sink到kafka上，并自定义key与value。OK，明确业务需求后我们开始上编码部分，大家也可以根据自己的业务来参考。

2020-12-18 09:41:06 4591

原创解析CSV文件为java对象并上传到kafka

解析CSV文件为java对象并上传到kafkajava 1.8kafka 2.6.0需求：解析csv格式的日志文件，并按照规定的key与json格式的value传到kafka的topic上，需要写一个input工具。思路整理：java处理csv文件，每行为单位保存到String变量中；将每行的String类型变量进行截取并set到我们的实体类（当然也可以不映射，但是拼json的时候得手动拼接），并按照需求拼接对应的key；每条记录上传到kafka上。开整：pom

2020-12-10 09:19:23 540

原创在PowerShell下报错Error response from daemon，解决方法。

在PowerShell下报错Error response from daemon: Error processing tar file(exit status 1): archive/tar: invalid tar header，解决方法。docker的docker export命令在PowerShell下有bug，很多外国人已经在github issue提出此问题，通过相关的资料查阅，总结相关解决方法如下：使用cmd在打包时使用以下命令,加参数-Odocker export 0d0f2b9

2020-12-04 15:11:17 2578

原创 Kafka使用JavaAPI-AdminClient操作topic

Kafka使用JavaAPI-AdminClient操作topic首先需要初始化AdminClient对象（具体编写位置与修饰权限看自己代码结构）； private static final String borker = "localhost:port"; public static AdminClient client; //初始化adminClient对象 if(client != null) { client.close(); client = null; }

2020-12-04 09:51:19 2634 12

原创 kafka的javaAPl实现Producer和Consumer（生产与消费）

kafka的javaAPl实现Producer和Consumer（生产与消费）创建maven项目，并编写pom文件<dependencies>  <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka

2020-12-02 16:47:50 201

原创 Linux安装并配置hadoop

Linux安装并配置hadoopjdk — 1.7Hadoop — 2.7.5下载安装在Apache官网下载对应的安装包hadoop-2.7.5下载地址上传到Linux服务器并解压到指定安装目录#创建安装目录mkdir /usr/local/hadoop#解压到指定目录tar -zxvf hadoop-2.7.5.tar.gz -C /usr/local/hadoop配置使用工具要想方便的操作linux上的文件，vim使用起来还是非常的麻烦的，这里我们将使

2020-11-25 12:09:30 214

原创 JavaAPI操作Zookeeper

JavaAPI操作Zookeeper首先创建一个maven项目，并编写pom文件，这里需要导入对zookeeper操作的curator-client和curator-recipes版本jdk — 8u261Zookeeper — 3.4.9Curator-client — 2.13.0curator-recipes — 2.13.0<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.a

2020-11-22 22:45:38 150

原创在Linux-Centos7.6下安装JDK1.8

在Linux-Centos7.6下安装JDK1.8下载jdk1.8官网下载链接传输到linux上（或者使用工具拖入，看个人习惯）scp /Users/huyue/Downloads/Compressed/jdk-8u261-linux-x64.tar.gz @120.53.228.114:~@后是服务器IP，:后是文件目录创建要安装的目录 (这里以我的为例)mkdir /usr/local/java解压jdk压缩包到指定目录tar -zxvf jdk-8u261-lin

2020-11-18 14:27:30 283

原创在Linux-Centos7.6下安装最新mysql8.0

在Linux-Centos7.6下安装最新mysql8.0版本Centos7.68.0.22 MySQL Community Server - GPL安装步骤在官网下载对应的版本的rpm文件https://dev.mysql.com/downloads/repo/yum/下载后使用scp命令传到服务器上scp /Users/huyue/Downloads/mysql80-community-release-el7-3.noarch.rpm @120.53.228.114

2020-11-18 13:56:33 601

山海