- 博客(92)
- 资源 (52)
- 收藏
- 关注
RSS订阅原创 kafka常用命令
集群搭建https://www.cnblogs.com/linyouyi/p/11369015.htmlOnly one of --bootstrap-server or --zookeeper must be specified–bootstrap-server spark01:9092–zookeeper spark01:2181创建topicbin/kafka-topics.sh --create --bootstrap-server spark01:9092 --replication-f
2020-10-22 16:59:55
2529
原创 linux常用命令
1.window1占用查询端口的pid查询C:\Users\helloworld>netstat -ano|findstr “9989”window1关闭对应pidC:\Users\helloworld>taskkill -F -PID 6832成功: 已终止 PID 为 6832 的进程。2.刷新windows DNS 解析缓存ipconfig /flushdns3.windows查看域名映射ipnslookup yun.fangte.com4.windows ping端口
2020-10-22 16:56:42
718
原创 mongodb常用命令
集群搭建https://blog.csdn.net/kevinmcy/article/details/827120741.创建空文件注意点将mkdir替换为touch，仅限创建空的文件touch -p /home/mongodb/log/config.logtouch -p /home/mongodb/log/mongos.logtouch -p /home/mongodb/log/shard1.logtouch -p /home/mongodb/log/shard2.logtouch -p
2020-10-22 16:54:34
246
原创 mysql常用命令
-------------------linux环境mysql安装--------------------------------------------wget安装mysql的过程https://www.cnblogs.com/opsprobe/p/9126864.htmlUbuntu18.04下安装MySQL提示：以下操作均在root权限下进行。Ubuntu重启mysqlsudo /etc/init.d/mysql startsudo service mysql start查看有没有安装
2020-10-22 16:53:34
533
原创 presto常用命令
presto安装https://blog.csdn.net/qq_25073261/article/details/107402176Presto常用语句https://blog.csdn.net/lnho2015/article/details/51428782/bin/launcher start 后台运行bin/launcher run 前台运行1.查询从0或多个表获取数据行[ WITH with_query [, ...] ]SELECT [ ALL | DISTINCT ] se
2020-10-22 16:50:07
4069
原创 redis常用命令
---------------常用命令--------------------------------------redis集群的端口号cdh01:7000，7001 cdh02:7002，7003 cdh03:7004，7005redis-cli -h cdh02 -c -p 7002 -a redis123TTL KEY_NAME当 key 不存在时，返回 -2 。 当 key 存在但没有设置剩余生存时间时，返回 -1 。 否则，以秒为单位，返回 key 的剩余生存时间。注意：在 Red
2020-10-22 16:36:07
953
原创 大数据知识
★★柯里化是将原先一次性接受的参数，改成了链式接受的形式def mul(x: Int)(y: Int) = x * y //定义柯里化函数mul(6)(7) //调用柯里化函数★★★★★★不能将RDD广播出去，RDD不存数据，可以将RDD的结果广播出去，rdd.collect()但是DataFrame和变量可以直接广播，因为DataFrame不一定是分布式的，他提供了islocal方法，它收集数据创建本地对象，然后广播它。广播变量只能在Driver定义，因为SparkContext没有被序列化
2020-10-22 16:24:21
1527
原创 请用sql把左边转换为右表，新增c列，当B列数据变化时C列重新计算
原题目答题楼主选用的mysql数据库来做这题，创建题目所需表及数据CREATE TABLE `t_test_3` ( `A` int(11) , `B` int(11) ) ;INSERT INTO `t_test_3` VALUES (1, 1);INSERT INTO `t_test_3` VALUES (2, 1);INSERT INTO `t_test_3` VALUES (3, 1);INSERT INTO `t_test_3` VALUES (4, 1);INSER
2020-08-20 17:47:23
444
原创 快速生成sparksql创建carbondata表结构（同步mysql或sqlserver数据）脚本
前言当实时同步mysql或sqlserver很多表数据到carbondata时，经常要手动调整脚本涉及到的每个表的字段、类型及对应建表语句，耗费大量的机械比对粘贴复制工作时间、精力，下面介绍的脚本能快速调整好改动点，只需手动复制改一下即可（快速、准确）需同步的mysql或sqlserver原表结构//sqlserverCREATE TABLE [dbo].[TOTicket] ( [Id] char(16) COLLATE Chinese_PRC_CI_AS NOT NULL, [Park
2020-08-18 15:05:30
850
原创 Spark任务执行流程与运行架构
1.Spark的执行流程1、说明(1)构建Spark Application的运行环境（启动SparkContext），SparkContext向资源管理器（可以是Standalone、Mesos或YARN）注册并申请运行Executor资源；(2)资源管理器分配Executor资源并启动StandaloneExecutorBackend，Executor运行情况将随着心跳发送到资源管理器上；(3)SparkContext构建成DAG图，将DAG图分解成Stage，并把Taskset发送给Task
2020-08-13 10:53:51
967
原创 Hbase核心知识点
Hbase角色HMaster功能：1-监控RegionServer；2-处理RegionServer故障转移；3-处理元数据的变更；4-处理region的分配和移除；5-在空闲时间进行数据的负载均衡；6-通过Zookeeper发布自己的位置给客户端RegionServer功能：1-负责存储Hbase的实际数据；2-处理分配给它的Region3-刷新缓存到HDFS；4-维护HLog；5-执行压缩；6-负责处理Region分片；组件：1-Write-Ahead logsHb
2020-08-11 19:45:51
346
原创 Spark性能优化
1.程序开发开发调优Spark性能优化的第一步，就是要在开发Spark作业的过程中注意和应用一些性能优化的基本原则。开发调优，就是要让大家了解以下一些Spark基本开发原则，包括：RDD lineage设计、算子的合理使用、特殊操作的优化等。在开发过程中，时时刻刻都应该注意以上原则，并将这些原则根据具体的业务以及实际的应用场景，灵活地运用到自己的Spark作业中。1.1 原则一：避免创建重复的RDD通常来说，我们在开发一个Spark作业时，首先是基于某个数据源（比如Hive表或HDFS文件）创建一个初
2020-08-11 19:21:53
1407
原创 datax同步mysql或sqlserver数据到hive之快速比对调整表结构脚本
需同步的mysql或sqlserver原表结构CREATE TABLE [dbo].[TravelOrderTOBody] ( [Id] char(21) COLLATE Chinese_PRC_CI_AS NOT NULL, [ParkId] int NOT NULL, [TravelOrderTOHeaderId] char(18) COLLATE Chinese_PRC_CI_AS NOT NULL, [CustomerId] bigint NULL, [AgencySa
2020-08-03 11:55:02
2230
1
原创 azkaban3.x编译安装及使用
1.环境准备yum -y install gcc gcc-c++ autoconf pcre pcre-devel make automakeyum -y install wget httpd-tools vimyum install -y git1.就把gcc当成c语言编译器, g++当成c++语言编译器用就是了.(知乎)2.wget是一个从网络上自动下载文件的自由工具, 可以在用户退出系统的之后在继续后台执行, 直到下载任务完成.(百度百科)3.下载azkaban包git clone ht
2020-07-23 18:21:24
883
原创 presto集群搭建（便于快速查询hive、kudu）
1.服务器及环境准备服务器三台192.168.0.1 uat03192.168.0.2 uat04192.168.0.3 uat05自行安装好cdh，集成hdfs、spark、hive、kudu2.下载官网https://prestodb.io/download.html下载最新的jar包 ： presto-server-0.237.1.tar.gz 、 presto-cli-0.237.1-executable.jar博主这里安装的是0.237.1版本的，官网已更新至0.238版本3
2020-07-17 11:11:10
1185
原创 CDH6集群搭建详解
★注意每处括号中的提示语句：（主节点操作），即该命令只需在主节点一台机器上执行1.配置hosts名称 之后reboot一下就会生效，然后连接工具重新连接即可vi /etc/hosts10.98.59.196 cdh0110.98.59.197 cdh0210.98.59.198 cdh0310.98.59.199 cdh0410.98.59.200 cdh052.添加网卡dns地址解析vi /etc/sysconfig/network-scripts/ifcfg-ens32DNS1=
2020-07-14 18:17:21
1747
原创 java遍历map对象的5种方法效率比较
1.java遍历map对象的5种方法效率比较 Map<String, Double> map = new HashMap<String, Double>(); for (int i = 0; i < 10000; i++) { map.put("book" + i, 9.9D); map.put("ipad" + i, 1300D); map.put("pen" + i, 8D);
2020-06-24 17:35:19
1166
原创 spark集群cdh clouderaManager各配置文件界面查看、下载
以查看hive-site.xml为例1.进入cdh界面，点击hive组件2.进入hive相关界面后，点击HiveServer23.选择进程标签，即可看到相关配置文件
2020-06-01 15:03:48
1798
原创 java poi生成excel导出
概览HSSF提供读写Microsoft Excel XLS格式档案的功能。XSSF提供读写Microsoft Excel OOXML XLSX格式档案的功能。楼主此处只写了hssf的demo，适合多表头组合有需要的可以自行改写成xssf及兼容2者jar<!-- poi excel导入导出 --><dependency> <groupId>org.apache.poi</groupId> <artifactId>poi&
2020-05-15 10:07:50
519
原创 presto集成kudu获取当前时间及时间转换
1.获取当前时间年月日时分秒（yyyy-MM-dd HH:mm:ss）select substr(cast(now() as varchar),1,19) as nowTime;2.时间戳转标准日期select'1566748800000' as "毫秒时间戳",substr('1566748800000',1,10) as "秒时间戳",format_datetime(from_unixtime(cast(substr('1566748800000',1,10) as int)),'yyy
2020-05-14 09:54:55
5146
原创 java远程调linux服务器上shell脚本
1.引入jar包 <!-- 连接linux服务器 --> <dependency> <groupId>ch.ethz.ganymed</groupId> <artifactId>ganymed-ssh2</artifactId> <version>262</version> </dependency&
2020-05-13 16:08:27
422
原创 windows10 企业版激活处于通知模式怎么处理
具体操作如下按住win+x键，选择“命令提示符（管理员） Windows powshell （管理员）”点击出现界面后，在此界面中，依次输出以下命令：slmgr.vbs /upk （此时弹出窗口显未“已成功卸载了产品密钥”）slmgr /ipk M7XTQ-FN8P6-TTKYV-9D4CC-J462D （弹出窗口提示：“成功的安装了产品密钥”）slmgr /skms kms.03k.or...
2020-04-30 15:57:45
12093
2
原创 Azkaban2.X安装部署、使用详细教程
目录一 概述1.1 为什么需要工作流调度系统1.2 Azkaban的适用场景1.3 什么是azkaban1.4 Azkaban特点1.5 常见工作流调度系统1.6 ooize和azkaban特性对比1.7 Azkaban的架构1.8 Azkaban下载地址二 Azkaban安装部署2.1 安装前准备2.2 安装Azkaban2.3 生成密钥库2.4 时间同步配置2....
2020-04-30 11:24:24
1251
原创 nginx负载均衡配置、nginx域名配置、nginx配置websocket、nginx配置activemq
A.安装linux环境安装nginx（CentOS7）B.常规配置http、https（nginx负载均衡配置、nginx域名配置）1.修改主配置cd /usr/local/nginx/confvim nginx.conf#user nobody;worker_processes 1;error_log /root/logs/nginx/error.log;#error_...
2020-04-23 18:12:23
983
原创 linux环境安装nginx（CentOS7）
前提准备在Centos下，yum源不提供nginx的安装，可以通过切换yum源的方法获取安装。也可以通过直接下载安装包的方法，以下命令均需root权限执行：首先安装必要的库（nginx 中gzip模块需要 zlib 库，rewrite模块需要 pcre 库，ssl 功能需要openssl库）。选定**/usr/local**为安装目录，以下具体版本号根据实际改变。1.安装gcc gcc-c+...
2020-04-23 17:27:02
190
原创 springboot2.X集成RPC服务Hprose(注解模式)
服务端(端口9989)1.新建maven项目，引入hprose-jar<!-- Hprose rpc通讯 --><dependency> <groupId>org.hprose</groupId> <artifactId>hprose-java</artifactId> <version>2...
2020-04-16 15:50:27
686
原创 springboot集成各数据库组件demo（phoenix/activemq/websocket/clickhouse/presto/tidb/redis各模式）
清单如下1. netty-websocket2. spring-boot-admin-client、springboot admin server图形界面管理3. activemq4. mysql5. presto（hive/kudu）6. phoenix7. clickhouse8. swagger29. okhttp10. Log4j211. poi excel部分包...
2020-04-14 18:02:14
662
原创 perl脚本生成exe可执行脚本（perl生成java实体类为例）
准备工作perl自行安装（一定要安装dbi模块）参考链接perl官网perl：DBI模块安装与卸载windows 下使用make命令，编译代码好戏开始perl脚本编译成exe 一般有三种方法：1. 使用 perl2exe 工具(需要购买，当然也有破解版或绿色版，不过网上只找到5.0版本的，而我的是5.12版本，版本太低所以不能使用)2. 使用 ActiveState 公司的 Pe...
2020-04-13 13:43:46
1842
3
原创 perl连接mysql或者oracle自动生成java实体类
前言当数据库一个表字段多达几十个，甚至百来个时，手动创建java实体类太没有效率，此demo只是简单的生成类属性语句，有兴趣的可以继续研究，字段类型自动匹配生成，及生成getset方法前提1.perl自行安装（一定要安装dbi模块）参考链接perl官网perl：DBI模块安装与卸载windows 下使用make命令，编译代码2.示例代码（代码有冗余，可自行去除）#!usr/bin...
2020-04-13 11:19:56
234
原创 golang连接池操作mysql数据库缓存字典表数据
连接池package commonimport ( "database/sql" LOG "github.com/vinllen/log4go" "time")type dbIndex struct { index int host string database string user string password string maxOpenNums int ...
2020-04-08 18:02:22
415
原创 datax同步数据到elasticsearch、mongodb、hdfs（hive）示例
环境组件安装服务器192.168.23.132（spark01）192.168.23.133（spark02）192.168.23.134（spark03）jdk1.8mysql5.7（单机部署，此示例安装在192.168.23.132）zk + elasticsearch + mongo（此示例安装在192.168.23.132、192.168.23.133、192.168.23....
2020-03-31 14:42:56
5481
原创 confluent实时同步sqlserver数据到kafka
安装准备192.168.23.132 (主机名spark01)192.168.23.133 (主机名spark02)192.168.23.134 (主机名spark03)confluent-5.4.1-2.12.tar.gz下载地址 https://www.confluent.io/download/ 选择右边Self managed software下载自行安装并启动jdk 1...
2020-03-20 18:06:28
2152
6
原创 canal-admin1.1.14界面化安装配置canal集群详解
安装准备虚拟机服务器四台192.168.23.128 (主机名mysql)192.168.23.132 (主机名spark01)192.168.23.133 (主机名spark02)192.168.23.134 (主机名spark03)canal.admin-1.1.4.tar.gzcanal.deployer-1.1.4.tar.gz下载地址 https://github.com...
2020-03-19 16:54:05
10782
2
原创 获取list集合中出现次数最多的一项及其出现的次数
前提准备 List<String> list = new ArrayList<>(); list.add("a"); list.add("a"); list.add("a"); list.add("b"); list.add("b"); list.add("c"); ...
2020-03-13 17:23:11
2376
原创 springboot2.x集成redis哨兵模式
redis配置redis哨兵模式搭建详见redis经典三节点高可用哨兵模式集群搭建redis1 192.168.1.101 6379（主）、6380（备）redis2 192.168.1.102 6379（主）、6380（备）redis3 192.168.1.103 6379（主）、6380（备）sentinel.conf（配置中重点值）port 26379...s...
2020-03-11 11:08:20
577
原创 springboot可视化界面服务监控Spring Boot Admin
服务端搭建创建springboot server项目引进jar包 <!-- springboot admin server --> <dependency> <groupId>de.codecentric</groupId> <artifactId>sp...
2020-03-09 10:57:07
1361
原创 spark sql read sqlserver、write carbon报错spark.sql.AnalysisException: unsupported type: BinaryType
还原报错前提User class threw exception: org.apache.spark.sql.AnalysisException: unsupported type: BinaryType;(jdbc读写)SQL server表user字段名 字段类型Filed1 bigintFiled2 charFiled3 decimalFiled4 datetimeFiled5...
2020-03-05 18:04:04
1090
原创 Go语言参数传递是传值还是传引用
什么是传值（值传递）传值的意思是：函数传递的总是原来这个东西的一个副本，一副拷贝。比如我们传递一个int类型的参数，传递的其实是这个参数的一个副本；传递一个指针类型的参数，其实传递的是这个该指针的一份拷贝，而不是这个指针指向的值。对于int这类基础类型我们可以很好的理解，它们就是一个拷贝，但是指针呢？我们觉得可以通过它修改原来的值，怎么会是一个拷贝呢？下面我们看个例子。func main()...
2020-02-19 15:41:13
610
原创 hbase_phoenix常用命令
hbase_phoenix常用命令1，进入(hbase01是主机名，2181是zookeeper的端口)sqlline.py hbase01:21812，退出（注意结尾不加分号）！quit3，查询所有表（注意结尾不加分号）！tables4，创建表（除了上面带感叹号的语句，其余语句都得加分号）（1）表名和列族名以及表名如果需要小写都得加双引号。create table if not...
2020-01-21 10:37:15
467
原创 docker常用命令
标题docker常用命令systemctl start docker // 启动docker服务systemctl stop docker // 停止docker服务systemctl restart docker // 重启docker服务systemctl status docker // 查看docker服务状态systemctl enable docker // 开机启动dock...
2020-01-21 09:50:06
357
azkaban已编译后的zip包azkaban3.90.zip
2020-07-23
websocket前端Demo.zip
2019-09-06
xshell与xftp多开窗口.zip
2019-09-06
azkaban已编译后的tar.gz包azkaban3.90_tar_gz.zip
2020-07-23
MUI开发初学demo
2017-06-05
MUI中文文档及包含demo
2017-06-05
confluent实时同步sqlserver数据debezium-connector-sqlserver.zip
2020-03-20
gradle-4.6-all组件.zip
2020-07-23
shell之demo示例+学习指南
2017-06-13
Git安装包及下载安装说明
2017-06-12
cdh6.3.2集成flink1.12.0所需要的编译好的包
2022-08-12
excel(xls或xlsx)便捷copy及poi操作demo.rar
2022-04-11
hdp集群从0到1搭建
2022-04-03
spire.xls.free-2.2.0.rar
2022-03-31
HTMLTestRunner_PY3.zip
2019-11-08
Spark2.2Doc API 中文参考文档
2019-09-09
mqtt前端客户端Demo.zip
2019-10-31
docker_hue_arm64.zip
2021-09-16
springboot集成phoenix/presto/tidb/redis各模式等组件demo.zip
2020-04-14
MobaXterm_Portable_v11.0_cracked.zip
2020-10-26
kudu与hbase组成底层图解.zip
2020-10-22
zabbix监控安装\预警\监控数据库等文档.docx
2020-01-20
perl连接mysql或者oracle生成java实例perlCreateJavaClass.exe
2020-04-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人