2021年04月_罗亚方舟

11月 07月 05月 04月 03月 02月 01月

转载 Flink 与 Storm的对比

1. 背景Apache Flink 和 Apache Storm 是当前业界广泛使用的两个分布式实时计算框架。其中 Apache Storm（以下简称“Storm”）在美团点评实时计算业务中已有较为成熟的运用（可参考 Storm 的可靠性保证测试：https://tech.meituan.com/test-of-storms-reliability.html），有管理平台、常用 API 和相应的文档，大量实时作业基于 Storm 构建。而 Apache Flink（以下简称“Flink”）在近期倍.

2021-04-22 10:31:29 4536 1

原创 kettle8.2.0 下面mysql 导入Hive3.1.0

mysql导入hive3.1.0中花了两天时间，弄的有点泪崩。主要问题最新hive模式有些变化，另外hive本身直接导入非常低效，因此只能采用mysql导入hdfs，然后再加载到hive中。先点击new transformation 生成一个ktr文件。1 先创建表输入和Hadoop file output，详细如下：2 配置Hadoop file output，详细如下图点击测试，进行查看配置是否正确不正确的情况：1：core-site.xml，mapred-.

2021-04-15 16:52:45 389

原创 kettle8.2.0 下面mysql 导入hbase

因为业务需要将数据从SQL（mysql，SQLserver）抽取到habse集群中。大数据组件如下：mysql版本[root@localhost ~]# mysql -Vmysql Ver 8.0.17 for linux-glibc2.12 on x86_64 (MySQL Community Server - GPL)[root@localhost ~]#准备工作：下载 pdi-ce-8.2.0.0-342.zip 数据库驱动jar（pdi-ce-8.2.0.0-.

2021-04-15 16:40:57 510

原创 centos7 定时清理内存

有时候部署的jar包存在内存释放不及时导致服务假死或者卡顿情况，所以增加定时清除内存功能非常有必要。[root@localhost ~]#crontab -e 添加定时*/30 * * * * root /root/satools/freemem.sh==============================================================关于定时器规则编写：基本格式 :*　　*　　*　　*　　*　　command分　时　日　月　...

2021-04-15 09:52:40 871

原创 java 日期处理类

好用的日期处理类：package com.openapi.util;import org.apache.commons.lang3.StringUtils;import java.text.DateFormat;import java.text.ParseException;import java.text.SimpleDateFormat;import java.util.*;/** * 描述：日期处理类. */@SuppressWarnings("all")publi.

2021-04-12 13:59:52 198

原创基于linux环境下 kettle 8.2.0的应用

kettle 可以在Windows平台或者linux平台运行，我这边考虑做集群部署模式，所以采用linux环境，详细的部署（https://blog.csdn.net/weixin_42575806/article/details/113542806）和跨平台操作（https://blog.csdn.net/weixin_42575806/article/details/113546635）见之前的博客记录。本文主要采用基于linux集群下面的kettle使用1. 创建Transformati

2021-04-06 17:44:01 311

tengine部署包.zip

包括tengine部署文档和相关的软件包 tengine-2.2.1.tar.gz pcre2-10.21.tar.gz openssl-1.0.2n.tar.gz jemalloc-5.0.1.tar.bz2 zlib-1.2.11.tar.gz

2021-03-02

天空之城个人珍藏的曲子

适合有一定钢琴基础的同学们

2021-01-27

project.zip

该项目主要适用于中小型业务系统项目。该架构的特点就是后台页面开发主体采用通过数据库自动生成代码来实现，这样可以大大降低后台开发人员的压力。解压项目后需要先安装数据库，详细请参照《java后台安装部署文档.docx》文档描述，已经上传资源库了。加压后先执行默认sql脚本： project\03.数据库设计\bus_scan_code_db.sql 然后连接数据库进行查看，具体使用可以参照博客： https://blog.csdn.net/weixin_42575806/article/details/110471269

2020-12-02

git客户端注册.zip

git客户端注册使用，其中包括用户注册，下载，更新等基础操作，同时增加了切换分支，tag等处理，同时增加git的操作规范。中间如果有疑问请随时联系

2020-12-02

openapi.zip

基于netty网关协议解析，可以实现跨平台，跨设备厂商直接的协议处理，如果设备量超过1万的情况，可以升级到MQ进行消息业务处理

2020-09-10

java后台安装部署文档.docx

目录第1章部署环境 5 1.1 系统部署结构 5 1.2 服务器配置 5 1.3 系统初始化 5 1.4 主机名规划 10 1.5 软件目录规划 11 1.6 上传软件包 11 1.7 软件版本管理 11 第2章应用程序部署 12 2.1 服务器操作系统和组件安装列表 12 2.2 开始软件安装 12 2.2.1 安装jdk 12 2.2.2 安装MySQL 13 2.2.3 安装Nginx 15 2.2.4 安装Redis 16 2.2.5 安装zookeeper 17 第3章数据库备份与还原 17 3.1 分库备份 17 3.2 数据库还原 19 3.3 备份文件保存周期 19 第4章安全防范说明 19 4.1 系统层面 19 4.2 目录与文件层面 19 4.3 监控层面 20 4.4 日志层面 20 4.5 防火墙层面 20 4.6 数据库层面 20 第5章日常运维要点 21 5.1 排错思路 21 5.2 故障报告 21 5.3 远程支援 21 第6章附件 21

2020-07-27

钉钉数字化共创方案.pdf

钉钉企业服务系统介绍：钉钉体系，钉钉的前端，专属钉钉，产品架构，专属安全，专属设计，专属开发等。钉钉开放平台让企业定制属于自己的钉钉成为可能。目前，有超过 30000面向企业的开发者，基于钉钉开放平台的300多个开放接口，为企业用户提供优质的产品和服务。

2020-07-27

hue的环境搭建

hue的环境搭建，主要是用来管理大数据配置平台 Hue环境的搭建下载链接：https://github.com/cloudera/hue/tree/branch-3.11 参考文档：http://blog.csdn.net/lsshlsw/article/details/47865601 环境准备 yum install krb5-devel cyrus-sasl-gssapi cyrus-sasl-deve libxml2-devel libxslt-devel mysql mysql-devel openldap-devel python-devel python-simplejson sqlite-devel

2018-08-09

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人