- 博客(24)
- 收藏
- 关注
RSS订阅原创 JAVA调用Kettle脚本
一 Kettle简介1、ETL简介ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于开发或者运维人员来说，我们经常会遇到各种数据的处理，转换，迁移，所以了解并掌握一种ETL工具的使用，必不可少，这里我们要学习的ETL工具就是Kettle！2、Kettle简介Kettle是一款国外开源的ETL工具，纯Java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。Kettle 中文名称叫水壶，该项目的主程序员MATT
2021-06-09 10:43:22
5951
4
转载 because it is a JDK dynamic proxy that implements
地址：https://blog.csdn.net/w605283073/article/details/90454057
2021-03-12 14:45:56
410
原创 数据仓库与数据库的区别
对比内容 数据库 数据仓库 数据内容 近期值、当前值 历史的、归档的数据 数据目标 面向业务操作 面向管理决策、面向分析(主题) 数据特性 动态频繁更新 静态、不能直接更新；定时添加数据 数据结构 高度结构化，满足第三范式 简单的、冗余的、满足分析的 使用频率 高 低 数据访问量 访问量大；但每次访问的数据量小 访问量小；但每次访问的数据量大 对响应时间的要求 高 低(不敏感) .
2021-03-12 00:10:04
200
原创 HDFS分布式文件系统
一、HDFS简介HDFS（全称：Hadoop Distribute FileSystem,Hadoop分布式文件系统）是Hadoop的核心组成，是 分布式文件存储服务分布式系统横跨
2021-03-08 23:26:02
237
1
原创 Hadoop完全分布式集群搭建
前言Hadoop是Java语言编写的，需要Java环境（JVM） JDK版本：jdk8版本一、服务器环境准备（在此使用虚拟机）1.三台虚拟机（静态IP，关闭防火墙，修改主机名，配置免密登陆，集群主机时间同步）2.在/opt下创文件夹mkdir /opt/software --软件包存放目录mkdir /opt/servers --软件安装目录3.Hadoop的下载地址：https://archive.apache.org/dis/hadoop/common/
2021-02-24 22:29:37
238
原创 Hadoop简介
一、什么是Hadoop？Hadoop是一个适合大数据的分布式存储和计算平台(框架平台/技术生态圈)Hadoop生态圈技术栈 Hadoop（HDFS + MapReduce + Yarn） Hive数据仓库工具 HBase海量列式非关系型数据库 Flume数据采集工具 Sqoop ETL工具 Kafka高吞吐消息中间件 . . . . . . . . 二、Hadoop的特点扩容能力(Scalable)：Hadoop在...
2021-02-23 00:25:45
234
1
转载 IntelliJ IDEA常用快捷键汇总
https://blog.csdn.net/wei83523408/article/details/60472168
2020-05-11 14:00:09
174
原创 JenkinsAPI实现—JAVA
通过JAVA 操作 Jenkins API，实现对 Jenkins Job、View等等的增、删、改、查操作。参靠及项目地址： Jenkins API wiki 地址：https://wiki.jenkins.io/display/JENKINS/Remote+access+API Jenkins-Java-Client Github 地址：https://githu...
2019-12-09 11:26:05
1376
转载 logback的使用和logback.xml详解
原文地址:https://www.cnblogs.com/warking/p/5710303.html https://blog.csdn.net/bluestarjava/article/details/82722033一、logback的介绍 Logback是由log4j创始人设计的另一个开源日志组件,官方网站： http://logback.qos....
2019-11-19 15:06:06
189
原创 centos7安装部署gitlab服务器
原文链接：https://www.cnblogs.com/dreamrobot/p/9663231.html
2019-11-12 16:47:43
154
转载 docker-git的安装配置使用
1.gitlab镜像查找拉取gitlab-ce为稳定版本，后面不填写版本则默认pull最新latest版本[root@localhost git-img]# docker search gitNAME DESCRIPTION ...
2019-11-06 10:48:44
656
原创 yum 安装时错误 Errno 14 Couldn't resolve host 解决办法
在用yum安装docker 相关插件的时候发现一直报错，错误内容大致如下Downloading packages:No Presto metadata available for updatesdevice-mapper-1.02.158-2.el7_7 FAILED http://mirrors.nju...
2019-11-05 17:01:35
8543
转载 分布式调度中心xxl-job——The timestamp difference between admin and executor exceeds the limit.
原文链接：https://www.jianshu.com/p/cc2e94d92078这是一个时钟同步问题调度中心和任务执行器需要时间同步，同步时间误差需要在3分钟内，否则抛出异常参考：com.xxl.rpc.remoting.provider.XxlRpcProviderFactory#invokeServiceif (System.currentTimeMillis() - ...
2019-10-14 19:17:23
5962
原创 ElasticSearch优化建议
原文链接：https://blog.csdn.net/qq_35977237/article/details/798701581.调大系统的“最大打开文件数”，建议32k甚至64k- ulimit -a (查看)- ulimit -n 32000(设置)2. 修改配置文件调整es的jvm内存大小修改bin/elasticsearch.in.sh中ES_MIN_MEM和ES_MAX_...
2019-10-10 15:20:59
274
原创 ElasticSearch-head Linux下下载安装使用
参考：https://blog.csdn.net/weixin_40460419/article/details/89296788ES的搭建在这儿不做过多介绍在这儿我们用ElasticSearch-head查看ES集群需要在es的配置文件（opt/elasticsearch/elasticsearch.yml）内增加参数# 增加参数，使head插件可以访问es http.cors....
2019-10-10 15:16:09
335
原创 ElasticSearch集群搭建
安装准备：JDK必须# 先检查JDK环境[root@Linux-1 elastic]# java -versionjava version "1.8.0_201"Java(TM) SE Runtime Environment (build 1.8.0_201-b09)Java HotSpot(TM) 64-Bit Server VM (build 25.201-b09, mixe...
2019-09-27 16:34:54
151
原创 分布式调度中xxl-job任务调度失败——java.io.IOException: Too many open files
先亮出错误06:15:04.460 logback [xxl-job, admin JobTriggerPoolHelper-fastTriggerPool-567911238] INFO c.x.r.r.i.r.XxlRpcReferenceBean - >>>>>>>>>>> xxl-rpc, invoke error,...
2019-09-24 20:20:22
10213
1
原创 数据库启动异常
最近在搭建MySQL主从数据，在安装单个数据库时遇到一个问题，数据库安装完成后启动报错，提示查看数据库启动状态systemctl status mysql.serviceservice mysqld status 查看后发现报错：缺少文件目录，mysql数据库默认将在/ var / lib / mysql目录下创建，查看此目录也看不出什么来。于是我修改/etc/mysqld文件下的一些...
2019-09-24 19:48:55
373
原创 No space left on device（磁盘空间不足）
最近在Linux环境组件部署时，往某一个目录下放文件时报了一个错：磁盘空间不足--No space left on device解决过程：首先通过命令df -h查看磁盘的使用情况如果已用显示100%，这时我们就需要确定到底是哪个服务吃的多了，导致其它的没吃的了du -sh /* | sort -nr 通过此命令查看各个服务占用磁盘的具体大小，从而确定问题所在...
2019-09-24 19:23:45
850
转载 分布式调度中心xxl-job——java.io.IOException: Connection reset by peer
最近在使用分布式调度中心xxl-job 2.0.2时，调度中后台日志出现很多IOException: Connection reset by peer报错信息如下：报这个错的时候任务无法调度成功。但他的其他进程却没停，没有问题以上异常比较复杂，主要有几种情况：1）服务器的并发连接数超过了其承载量，其中包括等待关闭的链接，可以使用netstat -an查看网络连接情况。2）客户端强...
2019-09-23 16:23:01
4096
原创 Linux下zookeeper集群搭建
一、zookeeper集群简介 Zookeeper集群的特点:可复制性 强烈建立使用奇数个服务器,每个服务运行在单独的机器上.容错激设置至少需要3台服务器.记录： 1.设置zookeeper集群是一定要部署为2xF+1（即奇数）个server，这样可以允许F个Server出错（宕机或其他）。即：假设有三台server，则最多可以允许一台服务器宕机。集...
2019-09-06 15:37:18
400
原创 Linux CentOS-7虚拟机磁盘扩容操作步骤
1、页面操作增加虚机磁盘大小（注意：操作后需要重启虚机）2、查看当前磁盘分区fdisk -l /dev/sda3、执行新的分区fdisk /dev/sdat4、重启虚机reboot5、为新分区新建物理卷pvcreate /dev/sda46、显示LVM卷组的信息vgdisplayvgname centos7、动态扩展LVM卷组，向卷组...
2019-09-06 14:41:54
373
原创 JAVA ---- JVM
1.方法区（Method Area）:共享区间 所有线程共享，该区域储存所有定义的方法的信息<所有字段，方法字节码，以及一些特殊的方法如构造函数，接口代码都在此定义>静态变量 + 常量 + 类信息(构造方法/接口定义) + 运行时常量池存放在方法区2.Java栈（Java stack）:栈内存，主管Java程序的运行，在线程创建时创建，生命周期跟随线程的生命周期，线...
2018-08-29 20:12:44
171
原创 Linux工作中常用的命令
1.系统整体性能查看：top2.负载：uptime3.CPU性能评估：vmstat -n 2 34.内存性能查看：free -m5.磁盘性能查看：df -h6.磁盘I/O性能评估：iostat -d 2 37.找到了耗时最高的线程：ps -mp 进程编号 -o THREAD,tid,time8.打印线程的堆栈信息：jstack pid |grep tid(16...
2018-08-29 19:29:22
227
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人