组件
文章平均质量分 64
52fighting
佛祖保佑 永无BUG 佛曰: 写字楼里写字间,写字间里程序员;程序人员写程序,又拿程序换酒钱。酒醒只在网上坐,酒醉还来网下眠;酒醉酒醒日复日,网上网下年复年。但愿老死电脑间,不愿鞠躬老板前;奔驰宝码贵者趣,公交自行程序员。别人笑我忒疯癫,我笑自己命太贱;不见满街漂亮妹,哪个归得程序员?
展开
-
cdh6.3.2集成flink1.12.0
网上查资料发现使用flink-shaded-12.0-src.tgz编译后确实没有flink-shaded-hadoop-2-uber 3.0.0-cdh6.3.2-10.0这个文件,但是flink-shaded-10.0也适配flink1.12环境,于是改用官网提供的flink-shaded-10.0-src.tgz进行编译。文件夹下的flink-1.12.0-bin-scala_2.12.tar、FLINK_ON_YARN-1.12.0.jar就是目标包。添加服务–>选中flink-yarn。.....原创 2022-08-12 16:59:23 · 927 阅读 · 0 评论 -
cdh6.3.2集成zeppelin0.10.1及简单使用
3.在Zeppelin配置文件目录中,创建名为zeppelin-env.sh的环境文件,在其中配置Hadoop配置目录、hive的配置文件的classpath目录、Zeppelin服务器的IP地址和端口号。1.下载二进制包 https://dlcdn.apache.org/zeppelin/zeppelin-0.10.1/zeppelin-0.10.1-bin-all.tgz至目录/opt。输入设置好的用户名/密码 zeppelin/zeppelin。2.解压到/opt/zeppelin目录下。.....原创 2022-08-11 15:39:52 · 950 阅读 · 1 评论 -
cdh3.6.2集成kylin3.0.2及简单使用
1.下载kylin https://archive.apache.org/dist/kylin/apache-kylin-3.0.2/ 到/software目录。http://192.168.1.162:7070/kylin 用户名/密码 ADMIN/KYLIN。7.下载mysql的驱动包,并放到/opt/kylin/ext/目录。在弹出的页面选中default下的5张表,点击sync按钮。b.add demensions,按需要选择列,下一步。c.选择需要的列,下一步。.........原创 2022-08-10 16:38:46 · 777 阅读 · 0 评论 -
clickhouse删除ReplicatedMergeTree复制表后,新建同名表失败原因分析
执行操作##先新建复制表库名、复制表create databases if not exists schema_name_test on cluster default_cluster;create table if not exists schema_name_test.tableName on cluster default_cluster (`id` String, `name` String, `createTime` DateTime) engine=ReplicatedMergeTre原创 2022-03-22 20:21:44 · 7476 阅读 · 1 评论 -
loader(sqoop2)抽取数据基本命令
1.sqoop2-shell执行shell脚本vim /opt/temp/sqoop2_shell.sh#!/bin/bash#环境变量source /opt/temp/bigdata_env#安全认证kinit -kt /opt/temp/user.keytab userName/opt/sqoop2/sqoop2-shell /opt/temp/sqoop2_shell_job.shvim /opt/temp/sqoop2_shell_job.sh#show create con原创 2022-03-10 15:30:19 · 2746 阅读 · 1 评论 -
docker版hue集成mysql、elasticserach、hive、presto、clickhouse、oozie、yarn、hdfs
安装dockeryum install docker附docker常用操作命令 https://blog.csdn.net/qq_25073261/article/details/109236637下载hue镜像为了支持国产化,使用的鲲鹏版本服务器,下载的arm架构hue镜像下载地址 docker_hue_arm64.ziphttps://download.csdn.net/download/qq_25073261/23266653docker版hue4.10--arm64架构,先zip解压原创 2021-09-16 18:19:42 · 1151 阅读 · 0 评论 -
mwget下载安装以及报错strcmp’ was not declared in this scope问题解决
Linux多线程下载工具mwget(加速wget下载速度)前提准备yum -y install openssl openssl-devel gcc gcc-c++ intltool bzip2安装wget http://jaist.dl.sourceforge.net/project/kmphpfm/mwget/0.1/mwget_0.1.0.orig.tar.bz2tar -xjvf mwget_0.1.0.orig.tar.bz2 cd mwget_0.1.0.orig./config原创 2021-08-23 18:08:05 · 680 阅读 · 1 评论 -
hue4.9.0编译欧拉euler系统aarch
环境华为欧拉arm架构Linux version 4.19.36-vhulk1907.1.0.h821.eulerosv2r8.aarch64 (abuild@szxrtosci10000) (gcc version 7.3.0 (GCC)) #1 SMP Fri Aug 14 09:36:55 UTC 20201.前提准备python --version2.7.15如果使用3.6+版本的Python,在build之前需要设置对应的版本export PYTHON_VER=python3.7.0原创 2021-08-20 18:34:04 · 854 阅读 · 0 评论 -
datax同步mysql或sqlserver数据到hive之快速比对调整表结构脚本
需同步的mysql或sqlserver原表结构CREATE TABLE [dbo].[TravelOrderTOBody] ( [Id] char(21) COLLATE Chinese_PRC_CI_AS NOT NULL, [ParkId] int NOT NULL, [TravelOrderTOHeaderId] char(18) COLLATE Chinese_PRC_CI_AS NOT NULL, [CustomerId] bigint NULL, [AgencySa原创 2020-08-03 11:55:02 · 1922 阅读 · 1 评论 -
azkaban3.x编译安装及使用
1.环境准备yum -y install gcc gcc-c++ autoconf pcre pcre-devel make automakeyum -y install wget httpd-tools vimyum install -y git1.就把gcc当成c语言编译器, g++当成c++语言编译器用就是了.(知乎)2.wget是一个从网络上自动下载文件的自由工具, 可以在用户退出系统的之后在继续后台执行, 直到下载任务完成.(百度百科)3.下载azkaban包git clone ht原创 2020-07-23 18:21:24 · 770 阅读 · 0 评论 -
presto集群搭建(便于快速查询hive、kudu)
1.服务器及环境准备服务器三台192.168.0.1 uat03192.168.0.2 uat04192.168.0.3 uat05自行安装好cdh,集成hdfs、spark、hive、kudu2.下载官网https://prestodb.io/download.html下载最新的jar包 : presto-server-0.237.1.tar.gz 、 presto-cli-0.237.1-executable.jar博主这里安装的是0.237.1版本的,官网已更新至0.238版本3原创 2020-07-17 11:11:10 · 1034 阅读 · 0 评论 -
java poi生成excel导出
概览HSSF提供读写Microsoft Excel XLS格式档案的功能。XSSF提供读写Microsoft Excel OOXML XLSX格式档案的功能。楼主此处只写了hssf的demo,适合多表头组合有需要的可以自行改写成xssf及兼容2者jar<!-- poi excel导入导出 --><dependency> <groupId>org.apache.poi</groupId> <artifactId>poi&原创 2020-05-15 10:07:50 · 411 阅读 · 0 评论 -
presto集成kudu获取当前时间及时间转换
1.获取当前时间年月日时分秒(yyyy-MM-dd HH:mm:ss)select substr(cast(now() as varchar),1,19) as nowTime;2.时间戳转标准日期select'1566748800000' as "毫秒时间戳",substr('1566748800000',1,10) as "秒时间戳",format_datetime(from_unixtime(cast(substr('1566748800000',1,10) as int)),'yyy原创 2020-05-14 09:54:55 · 4696 阅读 · 0 评论 -
java远程调linux服务器上shell脚本
1.引入jar包 <!-- 连接linux服务器 --> <dependency> <groupId>ch.ethz.ganymed</groupId> <artifactId>ganymed-ssh2</artifactId> <version>262</version> </dependency&原创 2020-05-13 16:08:27 · 334 阅读 · 0 评论 -
Azkaban2.X安装部署、使用详细教程
目录一 概述1.1 为什么需要工作流调度系统1.2 Azkaban的适用场景1.3 什么是azkaban1.4 Azkaban特点1.5 常见工作流调度系统1.6 ooize和azkaban特性对比1.7 Azkaban的架构1.8 Azkaban下载地址二 Azkaban安装部署2.1 安装前准备2.2 安装Azkaban2.3 生成密钥库2.4 时间同步配置2....原创 2020-04-30 11:24:24 · 1086 阅读 · 0 评论 -
nginx负载均衡配置、nginx域名配置、nginx配置websocket、nginx配置activemq
A.安装linux环境安装nginx(CentOS7)B.常规配置http、https(nginx负载均衡配置、nginx域名配置)1.修改主配置cd /usr/local/nginx/confvim nginx.conf#user nobody;worker_processes 1;error_log /root/logs/nginx/error.log;#error_...原创 2020-04-23 18:12:23 · 835 阅读 · 0 评论 -
linux环境安装nginx(CentOS7)
前提准备在Centos下,yum源不提供nginx的安装,可以通过切换yum源的方法获取安装。也可以通过直接下载安装包的方法,以下命令均需root权限执行:首先安装必要的库(nginx 中gzip模块需要 zlib 库,rewrite模块需要 pcre 库,ssl 功能需要openssl库)。选定**/usr/local**为安装目录,以下具体版本号根据实际改变。1.安装gcc gcc-c+...原创 2020-04-23 17:27:02 · 119 阅读 · 0 评论 -
springboot集成各数据库组件demo(phoenix/activemq/websocket/clickhouse/presto/tidb/redis各模式)
清单如下1. netty-websocket2. spring-boot-admin-client、springboot admin server图形界面管理3. activemq4. mysql5. presto(hive/kudu)6. phoenix7. clickhouse8. swagger29. okhttp10. Log4j211. poi excel部分包...原创 2020-04-14 18:02:14 · 569 阅读 · 0 评论 -
perl脚本生成exe可执行脚本(perl生成java实体类为例)
准备工作perl自行安装(一定要安装dbi模块)参考链接perl官网perl:DBI模块安装与卸载windows 下使用make命令,编译代码好戏开始perl脚本编译成exe 一般有三种方法:1. 使用 perl2exe 工具(需要购买,当然也有破解版或绿色版,不过网上只找到5.0版本的,而我的是5.12版本,版本太低所以不能使用)2. 使用 ActiveState 公司的 Pe...原创 2020-04-13 13:43:46 · 1391 阅读 · 3 评论 -
perl连接mysql或者oracle自动生成java实体类
前言当数据库一个表字段多达几十个,甚至百来个时,手动创建java实体类太没有效率,此demo只是简单的生成类属性语句,有兴趣的可以继续研究,字段类型自动匹配生成,及生成getset方法前提1.perl自行安装(一定要安装dbi模块)参考链接perl官网perl:DBI模块安装与卸载windows 下使用make命令,编译代码2.示例代码(代码有冗余,可自行去除)#!usr/bin...原创 2020-04-13 11:19:56 · 146 阅读 · 0 评论 -
datax同步数据到elasticsearch、mongodb、hdfs(hive)示例
环境组件安装服务器192.168.23.132(spark01)192.168.23.133(spark02)192.168.23.134(spark03)jdk1.8mysql5.7(单机部署,此示例安装在192.168.23.132)zk + elasticsearch + mongo(此示例安装在192.168.23.132、192.168.23.133、192.168.23....原创 2020-03-31 14:42:56 · 5157 阅读 · 0 评论 -
confluent实时同步sqlserver数据到kafka
安装准备192.168.23.132 (主机名spark01)192.168.23.133 (主机名spark02)192.168.23.134 (主机名spark03)confluent-5.4.1-2.12.tar.gz下载地址 https://www.confluent.io/download/ 选择右边Self managed software下载自行安装并启动jdk 1...原创 2020-03-20 18:06:28 · 1949 阅读 · 5 评论 -
canal-admin1.1.14界面化安装配置canal集群详解
安装准备虚拟机服务器四台192.168.23.128 (主机名mysql)192.168.23.132 (主机名spark01)192.168.23.133 (主机名spark02)192.168.23.134 (主机名spark03)canal.admin-1.1.4.tar.gzcanal.deployer-1.1.4.tar.gz下载地址 https://github.com...原创 2020-03-19 16:54:05 · 10470 阅读 · 2 评论 -
springboot2.x集成redis哨兵模式
redis配置redis哨兵模式搭建详见redis经典三节点高可用哨兵模式集群搭建redis1 192.168.1.101 6379(主)、6380(备)redis2 192.168.1.102 6379(主)、6380(备)redis3 192.168.1.103 6379(主)、6380(备)sentinel.conf(配置中重点值)port 26379...s...原创 2020-03-11 11:08:20 · 467 阅读 · 0 评论 -
前端连接websocket demo
前端连接websocket demo代码如下<!DOCTYPE html><html> <head> <meta http-equiv="Content-Type" content="text/html; charset=utf-8" /> <title>Java后端WebSocket的Tomcat实现</title...原创 2020-01-20 17:45:36 · 1437 阅读 · 0 评论 -
前端连接activemq demo
前端连接activemq demo代码如下<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>mqtt-websocket测试</title> // 替换成你的本地地址或者cdn地址 <script...原创 2020-01-20 17:40:38 · 1729 阅读 · 1 评论 -
Linux下安装mysql(centos、Ubuntu)
1.先检查系统是否装有mysqlrpm -qa | grep mysql2.下载mysql的repo源wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm如果报错: -bash: wget: 未找到命令安装插件 yum -y install wget3.安装 mysql-community-releas...原创 2020-01-20 17:18:22 · 217 阅读 · 0 评论 -
Linux下安装jdk和配置环境变量
Linux下安装jdk和配置环境变量1:下载jdk包:本章使用的为后缀为tar.gz的文件(不需要安装),如jdk-8u111-linux-x64.tar.gz 下载RPM包: wget --no-check-certificate --no-cookies --header “Cookie: oraclelicense=accept-securebackup-cookie” http://...原创 2020-01-20 16:41:35 · 93 阅读 · 0 评论