自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

zhaoguowei的博客

我的技术成长之路

  • 博客(142)
  • 资源 (24)
  • 收藏
  • 关注

原创 canal报错show master status‘ has an error!

记一次dbus-canal线上日志报错解决dbus表检查数据线,发现dbus数据线不通,数据线显示进程停止到canal去找日志,解压最后一个日志文件gzip -d 1.log.gz2021-01-10 23:58:32.964 [destination = evoicedc , address = /dbus-mysql:3306 , EventParser] ERROR com.alibaba.otter.canal.common.alarm.LogAlarmHandler - destinat

2021-01-16 23:25:50 17

原创 crontab修改默认编辑器

crontab修改默认编辑器在使用华为云主机配置定时任务,第一次会蹦出这玩意,看意思应该是选择一个编辑器$ sudo select-editor选择3或者4然后再次打开crontab -e就会是vim的方式了。

2021-01-16 23:15:30 21

原创 Linux磁盘空间满排查以及解决定时清理几天前日志

crontab定期清日志#!/bin/shfind /opt/apache-storm-1.0.2/logs/workers-artifacts/ -name "*.log" -exec rm -rf {}\更新:#!/bin/shecho ". execute time ."echo $(date +%F%n%T)#定期清理三天前的日志find /opt/apache-storm-1.0.2/logs/workers-artifacts/ -mtime +3 -name "*.log"

2021-01-16 23:11:32 23

原创 解析含有多个对象的并使用mybatis存数据库

解析含有多个对象的并使用mybatis存数据库{ "status": 0, "message": "ok", "payload": { "heartBeatLeader": [ { "host": "dbus-n1", "pid": "8413\n", "state": "ok" }, {

2021-01-16 23:08:49 7

原创 如何用Java构建json对象

如何用Java构建json对象在使用java构建json之前,首先需要先明确json的概念:https://blog.csdn.net/qq_35885488/article/details/80310062啥是JSONObject,啥是JSONArray。下面是两个例子:json{ "RequestHead":{ "BusiType":"LIS-WX000-02", "SaleChnl":"WX", "DataType":"03"

2021-01-16 22:57:06 25

原创 Java自增流水号生成

redis自增流水号生成需求如下:单号生成规则: “4位年份”+“1位渠道”+“6位流水号”+“1位校验”其中6位渠道的生成和本篇文章的内容主角:redis有关6位流水号——从“000001”开始,到“999999”结束;看下面这个数据结构(本地搭建redis,用redis客户端做实验)127.0.0.1:6379> set visitors 0OK127.0.0.1:6379> incr visitors(integer) 1127.0.0.1:6379> incr

2021-01-16 22:46:15 27

原创 centos docker安装

建议在linux环境下安装Docker,window环境搭建比较复杂且容易出错,使用·来安装Docker环境很方便(这里不推荐使用centos6.x版本)。Docker 软件包已经包括在默认的 CentOS-Extras 软件源里。因此想要安装 docker,只需要运行下面的 yum 命令:yum install docker安装完成后,使用下面的命令来启动 docker 服务,并将其设置为开机启动:systemctl start docker.servicesystemctl enable d

2020-07-17 08:39:55 70

原创 Linux上安装flink

linux上安装flink很简单:首先先去http://mirrors.hust.edu.cn/apache/中找到想要的flink的版本1.下载wget http://mirrors.hust.edu.cn/apache/flink/flink-1.9.3/flink-1.9.3-bin-scala_2.11.tgz2.解压tar xvf flink-1.9.3-bin-scala_2.11.tgz ./flink-1.9.3 3.配置环境变量vi ~/.bash_profileexpor

2020-07-17 08:35:05 115

原创 Flume+Kafka+SparkStreaming整合

SparkStream整合Flume&Kafka打造通用的流处理平台整个流程如图所示:使用下面这段简单的代码模拟日志产生:import org.apache.log4j.Logger;/** * Created by Zhaogw&Lss on 2019/11/27. */public class LoggerGenerator { private sta...

2019-11-27 13:50:05 117 1

原创 Kafka整合SparkStream两种方式

Kafka整合SparkStream两种方式官网http://spark.apache.org/docs/latest/streaming-kafka-0-8-integration.html方式1:基于receiver based的实现1.1 kafka zookeeper环境测试1.1.1.先启动kafka,需要先启动zkcd $ZK_HOME/bin./zkServer.sh s...

2019-11-26 17:42:28 134

原创 SparkStreaming整合Flume的两种方式

Flume整合SparkStream两种方式官网http://spark.apache.org/docs/latest/streaming-flume-integration.htmlApache Flume是一种分布式,可靠且可用的服务,用于有效地收集,聚合和移动大量日志数据。在这里,我们说明如何配置Flume和Spark Streaming以从Flume接收数据。有两种方法。方法一:基于...

2019-11-26 11:18:01 246

原创 SparkStream整合SparkSql统计wordCount

package com.zgw.spark.streamingimport org.apache.log4j.{Level, Logger}import org.apache.spark.SparkConfimport org.apache.spark.rdd.RDDimport org.apache.spark.sql.SparkSessionimport org.apache.sp...

2019-11-22 17:00:53 106

原创 SparkStream实战之黑名单过滤

package com.zgw.sparkimport org.apache.log4j.{Level, Logger}import org.apache.spark.SparkConfimport org.apache.spark.rdd.RDDimport org.apache.spark.streaming.{Seconds, StreamingContext}import or...

2019-11-22 16:35:19 235

原创 在IDEA工具中设置Spark程序设置日志打印级别

引入logger4j和slf4j的依赖 <dependency> <groupId>log4j</groupId> <artifactId>log4j</artifactId> <version>1.2.17</version> </dependency&gt...

2019-11-22 15:30:42 1074

原创 sparkStream之Window Operations

Window Operations可以设置窗口的大小和滑动窗口的间隔来动态的获取当前Steaming的允许状态。基于窗口的操作会在一个比 StreamingContext 的批次间隔更长的时间范围内,通过整合多个批次的结果,计算出整个窗口的结果。注意:所有基于窗口的操作都需要两个参数,分别为窗口时长以及滑动步长,两者都必须是 StreamContext 的批次间隔的整数倍。窗口时长控制每次计...

2019-11-22 13:15:51 149

原创 SparkStream写入数据到mysql

SparkStream写入数据到mysql在https://blog.csdn.net/qq_35885488/article/details/103185724基础上进行修改建表语句create table wordcount(word varchar(50) default nullwordcount int (10) default null);使用foreachRDD...

2019-11-22 11:27:48 267

原创 Spark无状态和有状态转化操作介绍

1. 无状态转化操作无状态转化操作就是把简单的RDD转化操作应用到每个批次上,也就是转化DStream中的每一个RDD。部分无状态转化操作列在了下表中。注意,针对键值对的DStream转化操作(比如 reduceByKey())要添加import StreamingContext._才能在Scala中使用。需要记住的是,尽管这些函数看起来像作用在整个流上一样,但事实上每个DStream在内部...

2019-11-21 16:49:51 382

原创 com.fasterxml.jackson.module.scala.deser.BigDecimalDeserializer$.handledType()Ljava/lang/Class解决

在调试Spark程序时 报错信息如下:19/11/21 11:27:13 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@1c65121{/metrics/json,null,AVAILABLE,@Spark}Exception in thread "main" java.lang.NoSuchMethodE...

2019-11-21 11:36:35 452

原创 修改Spark-shell日志打印级别并使用Spark-shell和Spark-submit提交Sparkstream程序

1. 修改Spark-shell日志打印级别如果觉得 shell 中输出的日志信息过多而使人分心,可以调整日志的级别来控制输出的信息量。你需要在 conf 目录下创建一个名为 log4j.properties 的文件来管理日志设置。Spark开发者们已经在 Spark 中加入了一个日志设置文件的模版,叫作 log4j.properties.template。要让日志看起来不那么啰嗦,可以先把这...

2019-11-20 17:37:47 292

原创 Spark单机环境安装

1.下载 http://spark.apache.org/downloads.html2. 解压tar -zxvf spark-2.2.0-bin-2.6.0-cdh5.7.0.tgz -C ~/app/3. 配置环境变量 vi ~/.bash_profileexport SPARK_HOME=/home/hadoop/app/spark-2.2.0-bin-2.6.0-cdh5.7.0e...

2019-11-20 14:53:09 1117

原创 Linux下hadoop的安装(CDH版本)

1. 下载下载地址:http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz注意:在安装hadoop之前确保JDK安装成功。2. 配置免密登录Hadoop 组件之间需要基于 SSH 进行通讯。2.1 配置映射配置 ip 地址和主机名映射:vim /etc/hosts192.168.43.174 hadoo...

2019-11-20 12:32:53 180

原创 Linux下JDK的安装

Linux下JDK的安装下载并解压在官网 下载所需版本的 JDK,这里我下载的版本为JDK 1.8 ,下载后进行解压:tar -zxvf jdk-8u144-linux-x64.tar.gz -C ~/app/设置环境变量vi ~/.bash_profileexport JAVA_HOME=/home/hadoop/app/jdk1.8.0_144export PATH=...

2019-11-20 10:37:39 44

原创 linux下maven的安装

本文将介绍下如何在linux环境中安装maven1. 下载:https://archive.apache.org/dist/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.tar.gz2. 解压:tar -zxvf apache-maven-3.3.9-bin.tar.gz -C ~/app/3. 配置环境变量 vi ~/.bash_...

2019-11-20 10:17:30 41

原创 linux下Hbase安装(CDH)

hbase安装下载地址:http://archive.cloudera.com/cdh5/cdh/5/hbase-1.2.0-cdh5.7.0.tar.gz解压:tar -zxvf hbase-1.2.0-cdh5.7.0.tar.gz -C ~/app配置环境变量:vi ~/.bash_profileexport HBASE_HOME=/home/hadoop/app/h...

2019-11-19 14:29:28 167

原创 使用kafka消费flume的数据

本篇文章将在Apache Flume介绍和使用案例三这篇文章的基础上将logger sink修改为kafka sink(即整合flume到kafka完成实时数据的采集)大体流程如图所示:将配置文件:avro-memory-logger.confavro-memory-logger.sources = avro-sourceavro-memory-logger.sinks = logger...

2019-11-19 10:32:26 219

原创 Kafka出现异常kafka.common.FailedToSendMessageException: Failed to send messages after 3 tries.解决

java客户端连接到kafka出现kafka.common.FailedToSendMessageException: Failed to send messages after 3 tries.下午自己在java客户端连接到kafka,然后就出现了这个错误。按照网上的说法,修改各种配置文件都未能解决。最后重启了Zookeeper和Kafka解决了思考与建议:因为这个是不能连接到Kafka的...

2019-11-18 16:29:17 862

原创 Kafka容错性测试

1. 查看topic信息(“副本”是为该分区复制日志的节点列表,无论它们是引导者还是当前处于活动状态,“ isr”是“同步”副本的集合。这是副本列表的子集,当前仍处于活动状态并追随领导者。)[hadoop@hadoop000 tmp]$ kafka-topics.sh --describe --zookeeper hadoop000:2181 --topic my-replicated-topi...

2019-11-18 11:02:22 356

原创 Kafka单节点多broker的部署方式

Kafka单节点多broker的部署方式(部署之前保证单节点部署成功)参考官网复制配置文件cp server.properties server-1.propertiescp server.properties server-2.propertiescp server.properties server-3.properties修改配置文件#vi server-1.pr...

2019-11-18 10:25:41 121

原创 kafka的安装和基本使用

kafka概述详见:http://kafka.apache.org/introKafka架构:producer:生产者,就是生产馒头(老妈)cunsumer:消费者,吃馒头(你)broker:篮子topic:主题,给馒头带一个标签,topic a是给你吃的,topic b 是给你弟弟吃的Kafka部署以及使用本文主要讲Kafka单节点部署和使用参考http://kafka.apa...

2019-11-15 17:26:01 52

原创 Linux下Zookeeper安装(CDH)

下载zookeeper并解压tar -zvxf zookeeper-3.4.5-cdh5.7.0.tar.gz -C ~/app/环境变量配置vi ~/.bash_profileexport ZK_HOME=/home/hadoop/app/zookeeper-3.4.5-cdh5.7.0export PATH=$ZK_HOME/bin:$PATH配置好后:source ~...

2019-11-15 15:13:20 83

原创 Apache Flume介绍和使用

Apache Flume是什么Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统,通常用于海量数据的实施采集和传输,如:海量日志数据。目前主要使用Flume-NG版本。下面这张图是Flume的基础架构图:外部数据源以特定格式向 Flume 发送 events (事件),当 source 接收到 events 时,它将其存储到一个或多个 channel,channe 会一直...

2019-11-15 11:17:03 120

原创 Linux下Flume安装教程(CDH)

Flume安装1. 安装好JDK网上资源多,不赘述2. 安装flume2.1下载flumehttp://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.7.0.tar.gz2.2 解压并配置环境变量解压tar -zxvf flume-ng-1.6.0-cdh5.7.0.tar.gz vim ~/.bash_profile...

2019-11-14 17:35:38 143

原创 IDEA出现error moudle not specified

一图胜千言,直接看。IDEA程序上有个红叉,点击运行时,出现error moudle not specified解决办法:在弹框中指定moudle名即可解决

2019-11-13 10:37:10 271

原创 Scala中的继承和特质

1.继承1.1 扩展类在Scala中,让子类继承父类,与Java一样,也是使用extends关键字class Employee extends Person{ var salary = 0.0}继承代表子类可以继承父类的field和method;然后子类可以在自己内部放入父类所没有,子类特有的field和method;使用继承可以有效复用代码。子类可以覆盖父类的field和meth...

2019-11-12 15:20:00 86

原创 Scala中的方法和函数

Scala中方法的定义scala> def m2(a:Int,b:Int):Int=a+bm2: (a: Int, b: Int)Intscala> m2(3,4)res1: Int = 7方法的返回值类型可以不写,编译器可以自动推断出来,但是对于递归函数,必须指定返回类型。如果不写等号,代表没有返回值。Scala中函数的定义scala> val f1 = (...

2019-11-11 14:15:03 69

原创 Scala类与对象

1 Scala中的简单类与无参方法Scala中类的与Java中有很多相似性来看一个简单的例子:object CounterApp extends App{// 1. 在 scala 中,类不需要用 public 声明,所有的类都具有公共的可见性 class Counter{ private var value = 14 //方法默认是公有的,不使用 return 关键字,默认...

2019-11-08 14:59:05 46

原创 Scala中映射和元组

1 Scala中映射的操作1.1构造映射下列代码构建了一个不可变的Map[String,Int],其值不能改变scala> val stores = Map("Alice" -> 10,"Bob" -> 3,"Cindy" -> 8)stores: scala.collection.immutable.Map[String,Int] = Map(Alice -&gt...

2019-11-06 16:42:41 58

原创 Scala控制结构和异常

1 条件表达式Scala中的 if else 语句和java中的一样,不过Scala中的if else有值,这个值就是跟在if else后面的值object ScalaActivi extends App{ val x = 10 val s = if (x > 0) 1 else -1 println(s)}上面语句的val s = if (x > 0) 1 el...

2019-11-06 15:31:31 42

原创 Scala中的数组介绍与使用

1 定长数组定义一个长度不变的数组,可以使用Scala中的Array//定义一个Int类型的数组,元素的初始值为0scala> var nums = new Array[Int](10)nums: Array[Int] = Array(0, 0, 0, 0, 0, 0, 0, 0, 0, 0)//定义一个String类型的数组,元素的初始值为nullscala> var ...

2019-11-06 11:17:44 104

原创 Scala数据类型与基础操作符

1.1 类型支持Scala 与 Java有着相同的数据类型,下表列出了 Scala 支持的数据类型:数据类型描述Byte8 位有符号补码整数。数值区间为 -128 到 127Short16 位有符号补码整数。数值区间为 -32768 到 32767Int32 位有符号补码整数。数值区间为 -2147483648 到 2147483647Long64...

2019-11-05 15:59:33 86

zookeeper+kafka.zip

这个是zookeeper和kafka的安装包,Kafka在一个或多个可以跨越多个数据中心的服务器上作为集群运行。Kafka集群将记录流存储在称为topic的类别中。 每个记录由一个键,一个值和一个时间戳组成。

2019-11-15

没写文件自动拉取进程.sh

监控进程,看是否还在写日志,没写程序就自动拉起。

2019-11-06

1901-1930.zip

hadoop权威指南,天气数据,包含1901至19030数据。hadoop权威指南......

2019-09-09

毕设项目Solo系统的设计与实现

SoloBlog , 该作者是在 Forest博客系统基础上进行修改的。 SoloBlog 使用的是 Spring+SpringMvc + Mybatis + Layui 打造的一个个人博客模板。 花了十天的时间把整个项目的代码都敲了一遍,熟悉了整个项目,修改了原来的一些 bug,增加了个人信息管理,前台写文章等模块。 喜欢该项目的话,可以给项目点个 star,如果你想在这基础上修改,那么建议你 fork 该项目,然后再修改哦。 项目安装步骤: 1、克隆项目 下载项目到本地,解压 2、修改项目配置 将数据库文件solo.sql导入到你的你的数据库,并修改源代码的数据库配置文件db.properties为你的账户名密码。 由于文件上传是传到本地,且和项目文件夹不在一起,就是说是源码和上传目录是分离的。 由于我们把 uploads 目录默认放到 E盘根目录(见源代码UploadFileController),因此需要在Idea中进行静态资源映射相关配置。 项目启动前首先启动redis,否则会显示404页面 访问地址:http://localhost/login

2019-09-09

WinSCP.exe

WinSCP是一个支持SSH的SCP文件传输软件。WinSCP中文版体积小、占用系统资源少。操作简单,只需要连接相应的服务器就可以进行下载和传输文件。重要的是WinSCP中文版软件还有着很多特色的功能,有着内置的文本编辑器,可以支持文件的复制、移动、更名文件等操作,为你带来高效便捷的使用体验。

2019-09-09

jd-gui.rar

JD-GUI是一个独立图形界面的Java源代码“.class”文件反编译工具。您可以浏览重建的源代码,JD-GUI的即时访问方法和字段。JD-GUI是免费的非商业用途。这意味着,JD-GUI不得包含或嵌入到商业软件产品。不过,这个项目可以被自由地用于个人需要一个商业或非商业的环境。

2019-09-09

erlang_rabbitmq.rar

rabbitmq安装包。RabbitMQ是实现了高级消息队列协议(AMQP)的开源消息代理软件(亦称面向消息的中间件)。RabbitMQ服务器是用Erlang语言编写的,而集群和故障转移是构建在开放电信平台框架上的。所有主要的编程语言均有与代理接口通讯的客户端库。

2019-09-09

tomcat-redis.rar

Tomcat需要链接 redis,所以需要专门的jar包,这些包都放在了右上角的tomcat-redis.rar里。 一共有3个jar包: jedis-2.5.2.jar, commons-pool2-2.0.jar, tomcat-redis-session-manager1.2.jar。

2019-06-28

tomcat_8111.rar

用来观察nginx负载均衡与session共享结果的tomcat,端口号为8111。

2019-06-28

kibana-4.6.3-windows-x86.rar

elasticsearch 提供了一个可视化的客户端 kibana, 下载后解压后运行 bin 目录下的 kibana.bat 。

2019-06-21

elasticsearch-2.4.2.rar

elasticsearch-2.4.2安装包,解压后运行其中 bin 目录的 elasticsearch.bat

2019-06-21

Foodmart商店销售分析系统

基于Foodmart实例数据库,分析需求。1.按时间级别(年、季度、月、日)分析不同产品的销售额、销售成本额..........

2018-06-08

利用Floyd算法以及Dijkstra算法解决选址问题以及matlab代码文档

利用Floyd算法以及Dijkstra算法解决选址问题以及matlab代码文档

2018-06-04

用蛮力法实现选择排序,冒泡排序程序;用减治法实现插入排序;分治法应用-快排,合并排序,0-1背包问题;Prim算法求最小生成树。伪代码以及java代码实现

用蛮力法实现选择排序,冒泡排序程序;用减治法实现插入排序;分治法应用-快排,合并排序,0-1背包问题;Prim算法求最小生成树。伪代码以及java代码实现

2018-05-31

Java面试题,超详细

Java工程师面试题详细汇总。涵盖面向对象,集合,异常,多线程,,jsp,servlet,mvc框架以及常用的设计模式等等

2018-05-09

程序员表白源码十二套

程序员表白源码十二套,祝各位单身猿(媛)成功,追到你的那个他(她)

2018-05-08

未来教育二级java激活码

未来教育二级java激活码,机试软件,视屏,二级基础视屏

2018-05-05

网上商城系统后台(jsp+servlet)

网上商城系统后台JSP+Servlet实现,适合完j2ee后进阶。

2018-05-04

基于javaweb实现的简单购物商城

基于javaweb的购物商城,简单,适合新手练手,导入项目即可运行

2018-05-02

sql语句学习

数据库增删改查语句,适合学习和复习使用。。。。。。

2018-04-24

基于Java的商城项目后台(ssh)

商城项目后台,导入后访问地址localhost:8080/tmall_ssh/admin/index.jsp即可

2018-04-01

Java课程设计文档说明书(商城项目)

关于Java商城项目说明书,画图用的ProcessOn这个网站。

2018-02-20

文件比较神器

用于比较两个文件或者文件夹的不同之处,非常实用。教程里面有,解压后运行即可

2017-12-25

sqlsever2005卸载不成功问题的解决方法以

sqlsever2005卸载不成功问题的解决方法,一步一步来,绝对可以

2017-05-12

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除