- 博客(44)
- 资源 (8)
- 收藏
- 关注
RSS订阅原创 Flink CEP 入门第一步
Flink CEP 入门第一步CEP 介绍场景描述需求分析主要逻辑源码分享测试结果参考地址CEP 介绍CEP(Complex Event Process) 直译过来就是复杂事件处理，具体到底有多复杂呢？基本上在时序数据场景中要监控某一些有特征的信息，可以理解为复杂事件。Flink 1.0 以后就开始支持复杂事件处理，可以在项目中通过引用 flink-cep.jar 包来做复杂事件处理。场景描述监控物联网中某设备上送到时序数据，对发现某设备的温度在10秒钟内有两次超过100度时，产生一个报警记录
2020-11-25 20:49:24
168
原创 Java 随机数
Java里的随机数都怎么生成的？Java 随机数生成的两种方式java.lang.Mathjava.util.RandomJava 随机数生成的两种方式在开发过程中可能会用到随机数的生成，一般我们通过在网上进行简单搜索都可以找到答案，但是有时候用到Math类提供的方法，有时候又是用到Random类提供的方法，那在Java中到底有几种生成随机数的方式？Java 里用于生成随机数的方式有两种，通过 java.lang.Math 或 java.util.Random 两个类可以生成随机数。这里做一下笔记：
2020-07-08 23:39:10
279
原创 MyBatis系列之--Java 项目（非SpringBoot）集成MyBatis
MyBatis系列之--Java 项目（非SpringBoot）集成MyBatis对MyBatis简单介绍核心接口SqlSessionFactory实战1. Maven创建Java项目2. 添加依赖3. 配置JDBC属性4. 配置MyBatis需要的配置文件5. 准备数据6. 创建数据库表对应的POJO6. 创建Mapper接口7. 创建XML的Mapper文件工作中常常写一些服务，基本上会与MySQL关联上，如何快速的从MySQL中获取数据？大家可能都会选用SpringBoot来集成MyBatis，这样
2020-06-21 15:10:52
2463
1
原创 hive -hiveconf 参数带空格被截断的解决方法
hive -hiveconf 参数带空格被截断的解决方法与shell传参一样，当参数值里面有空格时，需要用双引号括起来，不然的话，会被当作两个参数截断。问题描述：Hive的脚本中需要给变量赋值，最常见的就是日期+时间select a,b,cfrom tablewhere bizdate=${hiveconf:bizdate}执行的命令如果是hive -hiveconf bizdate="2020-05-15 15:00:00" -f xxx.hql这样传入进去的参数值是2020-05-
2020-05-15 15:44:50
780
原创 Datax从Hive中导出数据写入到MySQL
Datax从Hive中导出数据写入到MySQL读取Hive数据时，Datax内部支持的数据类型脏数据错误类型的解决方法读取Hive数据时，Datax内部支持的数据类型Hive1.2.x 版本支持的数据类型已经很丰富了，但是Datax目前还支持不了这么多的数据类型，如果不注意的话，将会抛出很多奇怪的问题：比如 脏数据 的问题。DataX 内部类型Hive表 数据类型LongTINYINT,SMALLINT,INT,BIGINTDoubleFLOAT,DOUBLEStr
2020-05-08 22:50:50
3794
1
原创 HDFS文件在线编辑的实现思路
今天思考到一个问题，HDFS文件怎么实现的在线编辑？hdfs 有个 -put 命令，允许携带一些参数完成特殊的需求：上传文件hdfs dfs -put 在文件中追加hdfs dfs -appendToFile 强制更新hdfs dfs -put -f 首先上传了一个文件到HDFS上：hdfs dfs -put test1File /haddop/test1File然后需...
2020-04-29 11:59:30
920
原创 CentOS 6.5 安装Python-pip
因为 python-pip 依赖 pthon-setuptool 所以需要先安装 python-setuptool网上各种方式都不好使。这里介绍另外一种方式：直接下载这两个rpm 进行安装wget https://rpmfind.net/linux/centos/6.10/os/x86_64/Packages/python-setuptools-0.6.10-4.el6_9.noarch.rp...
2020-04-25 11:21:45
216
原创 Ubuntu18.04上安装GitLab
GitLab用于版本控制非常的方便，这里介绍下在Ubuntu18.04上的安装。首先，Ubuntu18.04的默认镜像源非常的慢，将镜像源设置为国内镜像源可以免去安装GitLab时漫长的等待。修改镜像源可以参考笔记【4、修改apt仓库源为阿里云】做下配置。安装GitLab的步骤如下：一、安装依赖sudo apt-get updatesudo apt-get install -y curl...
2018-11-12 23:16:48
1309
1
原创 2、Jenkins迁移工作空间
今天突然发现Jenkins服务器上其工作空间的磁盘容量太小。考虑到将来使用Jenkins打包的情况会变的非常多，准备把目前Jenkins的工作空间迁移到新挂载的大容量磁盘上。至于如何给服务器添加新磁盘，如何挂载，格式化… 我后续再写篇笔记，这里就不掺杂进来了。一、首先关闭Jenkins服务我是在Tomcat里安装的Jenkins.war,所以停服务可以通过Tomcat的WEB-Manager...
2018-11-12 21:25:39
1170
原创 Ubuntu18.04系统更新
今早开机发现个系统问题，那就更新下系统，没想到还出了点儿小问题，这里简单做下记录。异常情况：sudo apt-get update执行该命令时，出现以下异常：Get:46 http://mirrors.aliyun.com/ubuntu bionic-proposed/main DEP-11 64x64 Icons [13.3 kB]Get:47 http://mirrors.aliyun...
2018-11-09 23:26:59
2864
原创 Ubuntu18.04设置sudo免密码
目前掌握的有两种sudo免密码，一种是修改sudouser列表，另一种是通过重定向的方式自动应答密码请求。一、通过修改sudouser列表的方式免密码首先切换到root用户下 sudo -i,这个时候需要输入一次用户名和密码。然后，执行visudo，在打开的文件中找到root ALL=(ALL) ALL在其下面追加如下配置，即执行所有超级用户命令密码。your_user_name ALL...
2018-11-09 23:26:13
6757
原创 Ubuntu 18.04常用软件安装
一、搜狗拼音输入法#1、卸载ibussudo apt-get remove ibus#2、清除ibus残留sudo apt-get purge ibus#3、卸载任务栏键盘指示sudo apt-get remove indicator-keyboard#4、安装fcitxsudo apt-get install fcitx-table-wbpy fcitx-config-gt...
2018-11-09 23:24:56
558
原创 Ubuntu 18.04修改apt仓库源为阿里云
平常在安装东西的时候总出现网络卡顿的情况，其实再好的网络环境都会出现卡顿（如果不调整自己的仓库源的话）。咱们今天就来调整下Ubuntu18.04的apt仓库源。这里多唠叨几句，apt仓库源就像centos里的yum源，国内访问这些默认的环境通常会很慢，好的是国内的大企业都公开了自己的仓库源，如阿里、网易等。一、备份原来的仓库源ubuntu 的apt仓库源配置文件地址是/etc/apt/ （简...
2018-11-09 23:23:48
3273
原创 Ubuntu 18.04安装nodejs（lts版本）
平常的开发中难免要用到node，这里说下node的安装。1.安装仓库中包含的最新版本sudo apt updatesudo apt install nodejs#安装npm管理工具sudo apt install npm2.升级node版本为长服务版（lts）sudo npm install -g nsudo n lts3.切换版本#可以通过以下命令来切换node的版...
2018-11-09 23:21:06
4624
原创 Ubuntu 18.04设置开机启动脚本
工作或生活当中，常常存在这样的需求：将常用的工具、服务做成开机启动项，省去开机后手动触发启动的麻烦。今天在这里记录下Ubuntu 18.04上如何设置开机启动。一、首先编写一个可执行的启动脚本 /root/.runCommandOnBoot.sh#!/bin/bash#shadowsocks/usr/local/bin/sslocal -c /etc/shadowsocks.json -...
2018-11-09 23:19:10
1968
原创 Eclipse 各版本下载
下载地址https://www.eclipse.org/downloads/packages/release/Oxygen/1A
2017-11-08 16:48:04
397
原创 Sublime Text 3 [3143]
Sublime Text 3 license今天不小心对这个软件进行了升级，结果发现license失效了！这里分享一个可用的license： —– BEGIN LICENSE —– TwitterInc 200 User License EA7E-890007 1D77F72E 390CDD93 4DCBA022 FAF60790 61AA12C0 A37081C5
2017-09-14 13:44:14
555
转载 PowerDesigner设置线风格
修改显示设置 Tools–>Display Preferences 这里有很多表现设置，我们需要的在Format菜单下。 点Modify，在Line Style页下有个Line–>Corners下拉框，第二个就是折线。如果您打算用直线，请选第四个。推出去之后会有一个选项 设置好后可以选择是否保存为默认值，默认到本symbol，自选默认到哪些symbol（用左下角的Apply To）。设置
2017-04-09 21:19:39
943
转载 mysql root 密码修改
1、 用SET PASSWORD命令 mysql -u root mysql> SET PASSWORD FOR ‘root’@’localhost’ = PASSWORD(‘newpass’);2：用mysqladmin mysqladmin -u root password “newpass” 如果root已经设置过密码，采用如下方法 mysqladmin -u root passwo
2016-04-01 16:48:58
353
原创 mysql >> 本地计算机上的mysql服务启动后停止
0、修改配置文件my.ini [client] port=3306 default-character-set=utf8[mysqld]port=3306 character_set_server=utf8 basedir=E:\app\mysql-advanced-5.7.11-winx64 datadir=E:\app\mysql-advanced-5.7.11-winx64\dat
2016-04-01 16:36:58
6296
1
转载 MySQL JOIN操作
MySQL默认为内关联原文地址：http://www.cnblogs.com/ggjucheng/archive/2012/11/06/2757972.html
2016-01-05 11:48:09
331
原创 Linux 监控日志文件
场景：生产环境的日志文件中有错误信息时，想通过邮件将错误内容发送给管理者。#!/bin/bashmonitor=/product/log/file/pathcontent=/this/program/log/filetail -5 $monfile|grep fail >$contentif [ -s $content ];then mail -s "mail title" -c xxx
2016-01-05 10:18:50
913
原创 通过正则表达式提取HTML正文(java实现)
场景：现有一批大量的网页数据，已经抓取到网页的body内容，但是其中有很多 <\span>、 <\p>、<\img>、<\br>、<\strong> 等标签,需要将这些标签全部过滤掉，只留下正文信息。import java.io.BufferedReader;import java.io.File;import java.io.FileReader;import java.io.IOExcep
2016-01-04 20:15:00
1127
原创 通过 ssh tunnel 连接 远程mysql数据库
场景：远程MySQL 数据库 因为种种原因，本地不能直接连接到该数据库。但是，数据库服务器A与本地机器B间的另外一台机器C可以连上。这样的话，我们可以在C上设置SSH tunnel 来访问MySQL数据库。通过navicat等工具连接MySQL的方法在网上有很多资料这里不再赘述。这里要说的是 ——如何实现将数据库服务器A上的3306端口绑定到本地B，然后来访问本地B端口，就像访问数据库服务器A上33
2016-01-04 19:55:54
1142
原创 Storm并行度理解
并行度理解如上图所示：conf.setNuWorkers(2); //设置两个worker进程topologyBulider.setSpout("blue-spout",new BlueSpout(),2);//设置两个executor，默认一个executor一个tasktopologyBulider.setBolt("green-bolt",new GreenBolt(),2)//设置两个e
2015-12-16 15:06:54
616
原创 从Kafka topic中获取数据并在Spark中进行分析
从kafka topic中获取数据依赖的包 spark-assembly-1.4.1-hadoop2.4.0.jar spark-streaming-kafka-assembly_2.10-1.5.1.jarimport kafka.serializer.StringDecoderimport org.apache.spark.SparkConfimport org.apache.spark
2015-12-15 16:40:35
1057
原创 从Kafka topic中获取数据并在Storm中进行分析
从Kafka topic中获取数据 String zks = "x.x.x.x:2181,x.x.x.x:2181,x.x.x.x:2181"; String topic = "test"; String zkRoot = "/storm"; String id = "word";//默认是word BrokerHosts brokerHosts = new Z
2015-12-15 11:26:05
2529
原创 读取文件最后一行数据
使用RandomAccessFile , 从后找最后一行数据public static String readLastLine(File file) throws IOException { RandomAccessFile raf = new RandomAccessFile(file, "r"); long len = raf.length(); String lastL
2015-12-15 10:57:21
1268
原创 SimpleDateFormat 日期格式转换
将 17-NOV-15 19:20:08.8 格式的数据转换成 yyyy-MM-dd HH:mm:ss 格式private Date Dateform(String dt) { SimpleDateFormat df = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss"); try { String y = "20" + dt
2015-12-15 10:37:40
737
原创 Kafka_producer
1、将日志数据收集并发送到Kafka topic中(循环周期CEL\Time) //创建producer对象 Properties props = new Properties(); props.put("metadata.broker.list", "node1:9092,node2:9092,node3:9092");//属性设置 props.put("seria
2015-12-15 10:29:07
366
原创 生成日志文件，并在0点进行备份(java 实现)
1、生成日志文件(有新数据产生时，将新的数据另起一行追加到日志文件中)public void wirte(){ backup(); List<String> alTag_Real2 = new ArrayList<String>(); List<String> alVal_Real2 = new ArrayList<String>();
2015-12-15 10:06:04
578
原创 wordCount的认识（java版）
mappublic class MyMapper extends Mapper<LongWritable, Text, Text, LongWritable> { @Override protected void map(LongWritable inKey, Text inValue, Context context) throws IOException,
2015-12-09 20:02:39
413
原创 wordCount的认识（scala版）
val line = sc.textFile("/usr/local/word.txt");line.flatMap(_.split(" ")).map((_, 1)).reduceByKey(_ + _).collect().foreach(println)1、通过textFile(“path/of/the/document”) 2、通过flatMap(_.split(” “))将数据按照
2015-12-09 19:46:25
394
原创 树形结构(一)
数据结构本身并不难，我感觉难的是在解决问题的时候选择恰当的模型解决问题。基本概念和术语 树：由n(≥0)个结点组成的有限集合。如果n=0,则称为空树。如果n>0,有且仅有一个特定的节点root,则称为树T的根节点，其余的结点可被划分为m(m≥0)个不相交的子集T_1,T_2,…,T_m,其中的每个子集T_i (i=0,1,2,…,m)都是一棵树，称为T的子树
2015-12-09 19:29:22
578
原创 String 转 Date 类型
总的来说就是将17-NOV-15 19:20:08.8这种数据格式插入到字段类型为date类型的数据库中。将17-NOV-15 15:08:38.1 这种类型的字符串转换成 它对应的date类型Date date;DateFormat df = new SimpleDateFormat("dd-MMM-yy HH:mm:sss", Locale.US);date = df.parse("17-
2015-11-17 20:56:39
1031
原创 c3p0详细配置
附件原文地址：http://www.blogjava.net/ashutc/archive/2011/03/16/346365.html解决数据库重启后，数据源不能自动重连的情况附件<c3p0-config><default-config><!--当连接池中的连接耗尽的时候c3p0一次同时获取的连接数。Default: 3 --><property name="acquireIncrement
2015-11-11 17:31:37
509
原创 搭建SpringMVC项目
SpringMVC实践创建WEB项目 构建转发器 - DispatcherServlet<!-- 在web.xml文件中 --><?xml version="1.0" encoding="UTF-8"?><web-app xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://java.sun.com/
2015-11-07 17:44:30
753
原创 SpringMVC的理解
常用功能 Controller为中心完成对系统流程的控制管理 从请求中搜集数据 对传入的参数进行验证 将结果返回给视图 针对不同的视图提供不同的解决方案 针对jsp视图技术提供标签库 拦截器 上传文件 1、Controller为中心完成对系统流程的控制管理系统流程控制：指的是WEB端发送请求到服务器端，服务器端接收并解析请求，将不同的请求转发给对应的处
2015-11-07 11:24:04
568
翻译 客户端写数据到HDFS
流程图 流程说明 1、客户端通过对 Distributed FileSystem 对象调用 create() 函数来创建文件(步骤 1)。 2、DistributedFileSystem对namenode 创建一个 RPC 调用，在文件系统的命名空间中创建一个新文件，此时该文件中还没有相应的数据块(步骤2)。 namenode 执行各种不同的检查以确保这个文件
2015-11-05 07:20:26
811
翻译 客户端读取HDFS中的数据
流程图 流程说明 1、客户端通过调用 FileSyste 对象的 open() 方法来打开希望读取的文件，对于HDFS 来说，这个对象是分布式文件系统的一个实例(步骤 1) 。 2、DistributedFileSystem 通过使用 RPC 来调用 namenode ，以确定文件起始块的位置(步骤 2) 。 对于每一个块， namenode 返回存有该块复本
2015-11-04 22:56:29
1374
jsch0.1.53.jar
2016-01-05
notepad++插件
2015-12-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人