- 博客(379)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 大数据平台建设方法论集合
全面详细地介绍从从0到1建设大数据的各个层次的方法论，包括数据集成、数据建模、数据服务、集群运维、数据治理、数据挖掘等，方法论的每个步骤都是各个领域的大佬总结的经典，非常值得阅读和收藏~
2023-03-03 15:41:13
523
原创 Java爬虫实战-采集完整的五级国家行政区域码数据
Java爬虫实战-获取国家行政区域码, 主要通过Xpath解析html，利用WebMagic实现对页面各级链接的递归爬取
2023-02-20 11:45:19
231
原创 springboot整合webservice最佳实践
利用CXF框架和javax规范，通过自定义注解方式实现webservice配置和注册 让开发者可以不关心webservice复杂的底层，专注于业务逻辑的实现
2023-02-17 08:08:29
47
原创 sparkstreaming利用hbase保存kafka消息offset（亲测可用）
利用hbase保存kafka消息的offset，sparkstreaming消费kafka时每次从上一次消费的offset偏移量开始消费，消费逻辑处理后又更新存储的offset, 这样就彻底避免了程序异常导致消息丢失的问题
2023-01-30 21:10:22
114
原创 面试题-java高级（答案超详细）
java高级面试题，包含高并发、分布式、数据库底层原理、JVM、Spring底层原理等内容，最重要的是答案超详细
2023-01-14 10:04:23
1633
原创 k8s-使用kube-install一键部署(亲测超详细)
详细介绍k8s部署环境介绍及一键安装脚本kube-install, 支持高度可用的多个kubernetes集群可以在二进制模式下一键离线安装，也可以计划安装、添加kubernets节点、删除kubernete节点、销毁kubernetesmaster、重建kubernetes-master和卸载集群
2022-12-11 11:41:23
830
原创 springboot整合mqtt完美解决emqx客户端频繁断线问题
在使用emqx开源版服务的过程中，发现生产环境连接经常因为各种原因频繁断开，本文将介绍mqtt5.0客户端的使用封装，并从空间冗余和时间冗余上完美解决客户端频繁掉线问题。
2022-11-21 20:16:49
1643
3
原创 mysql-文件损坏，无法启动怎么办？
背景文件损坏，无法启动怎么办？修改配置vim /etc/my.cnfinnodb_force_recovery=3systemctl restart mysql备份mysqldump -u root -p --all-databases > backup_all_${日期}.sqlsystemctl stop mysql数据初始化rm -rf /data/mysql/data/*/usr/local/mysql/bin/mysqld --defaults-file=/usr
2022-05-21 14:12:36
339
2
翻译 开源终端工具electerm，取代Xshell
概述基于electron/ssh2/node-pty/xterm/antd/ subx等libs的终端/ssh/sftp客户端(linux, mac, win)。特点用作终端/文件管理器或 ssh/sftp 客户端（类似于 xshell）切换窗口可见性的全局热键（类似于 guake，默认为ctrl + 2）多平台（linux、mac、win）🇺🇸 🇨🇳 🇧🇷 🇷🇺 🇪🇸 🇫🇷 🇹🇷 🇭🇰 🇯🇵 🇸🇦多语言支持（电子语言环境，欢迎贡献/修复）双击直接编辑（小）远程文件。使用内置编辑器编辑（小）
2022-05-03 19:48:50
1184
2
原创 2022-官方安装win10教程
文章目录下载工具重点安装步骤U盘安装注意后续其他思路下载工具地址重点安装步骤下载、校验步骤 这里忽略 等待完成即可 拔出U盘 插入新电脑U盘安装直接插入U盘到新电脑很神奇 不用更改bios启动优先级注意记得 开机会黑屏一会儿一定要等 如果卡住 一定要等或者重启后续装机必备软件火绒安全英特尔® 驱动程序和支持助手其他思路老毛桃等第三方PE工具系统盘用硬盘克隆工具复制到新硬盘 然后将硬盘装到新电脑...
2022-02-06 18:52:46
579
原创 大数据实践-Kyuubi
概述Kyuubi 是一个分布式多租户 Thrift JDBC/ODBC 服务器，用于大规模数据管理、处理和分析，构建在 Apache Spark 之上，旨在支持更多引擎（即 Flink）。Kyuubi 通过 Thrift JDBC/ODBC 接口为最终用户提供了一个纯 SQL 网关，以使用预编程和可扩展的 Spark SQL 引擎来操作大规模数据。我们的目标是使 Kyuubi 成为数据仓库和数据湖的“开箱即用”工具。这种“开箱即用”的模型最大限度地减少了最终用户在客户端使用 Spark 的障碍和成本
2021-12-31 14:57:55
99
原创 前端-常见Vue后台框架源码血缘关系图
vue-admin-templateant-design-pro-vueruoyi-vue-uiruoyi-antdvant-design-vue-jeecg
2021-12-30 15:51:49
1557
原创 前端-boostrap-常用组件
文章目录表格添加表单编辑表单表格<!DOCTYPE html><html lang="en" xmlns:th="http://www.w3.org/1999/xhtml"><head> <meta charset="UTF-8"> <title>教务管理系统</title><!-- <link rel="stylesheet" href="https://stackpath.bootstr
2021-12-19 16:58:05
183
原创 flume-异常Closing file:log.xxxtmp failed. Will retry again in 180 seconds
文章目录现象原因解决方案现象21/12/10 16:54:34 ERROR hdfs.HDFSEventSink: process failedjava.lang.InterruptedException: Timed out before HDFS call was made. Your hdfs.callTimeout might be set too low or HDFS calls are taking too long.at org.apache.flume.sink.hdfs.Buck
2021-12-10 17:34:39
1837
原创 flink-cdh集群配置
Flink-yarnFlink-yarn 服务环境高级配置代码段（安全阀）Flink-yarn（服务范围）HADOOP_USER_NAME=flinkHADOOP_CONF_DIR=/etc/hadoop/confHADOOP_HOME=/opt/cloudera/parcels/CDHHADOOP_CLASSPATH=/opt/cloudera/parcels/CDH/jars/*flink-conf.properties 的 Flink Yarn 高级配置代码段（安全阀）classlo
2021-11-27 09:09:35
490
原创 springboot+websocket实时读取kafka日志
背景最近在做大数据平台项目，需要将相关处理过程的日志实时展现给前端，目前想到的方案就是通过websocket的方式，日志收集端生产日志到kafka，我这边服务端实时消费，然后推送给前端html 实时展现。实现步骤服务端配置类kafka配置@Component@Configuration@Validatedpublic class KafkaConfig { public static String kafkaBootStrapServers;// @Value("${s
2021-11-25 21:08:58
2365
2
原创 maven仓库设置
pom.xml文件设置仓库 <repository> <id>nexus-aliyun</id> <name>nexus-aliyun</name> <url>http://maven.aliyun.com/nexus/content/groups/public/</url> <releases> <enabled>true</enabled>
2021-11-24 22:24:55
226
原创 vuejs-入门命令大全
npm设置C:\Users<你的用户>.npmrcnpm config set prefix “D:\ProgramFiles\nodejs\node_global”npm config set cache “D:\ProgramFiles\nodejs\node_cache”npm config set registry “https://registry.npm.taobao.org”npm config get prefixnpm config get cachenpm in
2021-11-24 22:23:34
393
原创 maven-scala-通用模板
maven-scala-通用模板 可实现编译 打包、打依赖包、导出依赖包！快来看pom文件<?xml version="1.0" encoding="UTF-8" standalone="no"?><project xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://maven.apache.org/POM/4.0.0" xsi:schemaLocation="http://mav
2021-11-17 20:49:40
409
原创 大数据调度实践-oozie
EL常量常量表示形式 含义说明${coord:minutes(int n)} 返回日期时间：从一开始，周期执行n分钟${coord:hours(int n)} 返回日期时间：从一开始，周期执行n * 60分钟${coord:days(int n)} 返回日期时间：从一开始，周期执行n * 24 * 60分钟${coord:months(int n)} 返回日期时间：从一开始，周期执行n * M * 24 * 60分钟（M表示一个月的天数）${coord:endOfDays(int n)} 返回日
2021-11-02 11:01:59
191
原创 大数据最佳实践-Kylin高级篇
优化cube1.Cube执行情况通过cube名称查询cube具体执行情况kylin.sh org.apache.kylin.engine.mr.common.CubeStatsReader UserDataAgg从分析结果的下半部分可以看到，所有的Cuboid及它的分析结果都以树状的形式打印了出来。在这棵树中，每个节点代表一个Cuboid，每个Cuboid都由一连串1或0的数字组成，如果数字为0，则代表这个Cuboid中不存在相应的维度；如果数字为1，则代表这个Cuboid中存在相应的维度。除了最
2021-09-22 10:28:32
10
翻译 cdc-Debezium
文章目录简介功能架构Apache Kafka Connect部署 Debezium 。Debezium 服务器嵌入式引擎安装快速开始参考资料简介Debezium 是一组分布式服务，用于捕获数据库中的更改，以便您的应用程序可以查看这些更改并对其做出响应。Debezium 将每个数据库表中的所有行级更改记录在一个更改事件流中，应用程序只需读取这些流以查看更改事件发生的顺序。使用左侧的链接查找 Debezium 的文档，包括各种 Debezium连接器。如果你想避开Debezium是你的头或它是如何工作的，
2021-09-05 19:52:02
700
原创 redis-哨兵模式
部署拷贝三份redis-4.0.9修改三份redis.conf#bind 127.0.0.1protected-mode nodaemonize yesrequirepass 123456masterauth 123456#bind 127.0.0.1protected-mode noport 6380daemonize yespidfile "/var/run/redis_6380.pid"masterauth "123456"requirepass "123456"#
2021-07-30 14:35:59
114
2
原创 java实践-netty
概述应用场景IOBIOpackage com.atguigu.bio;import java.io.InputStream;import java.net.ServerSocket;import java.net.Socket;import java.util.concurrent.ExecutorService;import java.util.concurrent.Executors;public class BIOServer {
2021-07-03 13:01:26
98
原创 前端最佳实践-vue3
认识 Vue3#1) 了解相关信息Vue.js 3.0 “One Piece” 正式版在今年 9 月份发布2 年多开发, 100+位贡献者, 2600+次提交, 600+次 PRVue3 支持 vue2 的大多数特性更好的支持 Typescript#2) 性能提升打包大小减少 41%初次渲染快 55%, 更新渲染快 133%内存减少 54%使用 Proxy 代替 defineProperty 实现数据响应式重写虚拟 DOM 的实现和 Tree-Shaking新增特性Composi
2021-07-02 08:54:18
841
1
原创 SQL最佳实践-开窗函数
windowset hive.mapred.mode=nonstrict;set mapred.reduce.tasks=4;-- SORT_QUERY_RESULTS-- 1. testWindowingselect p_mfgr, p_name, p_size,rank() over(distribute by p_mfgr sort by p_name) as r,dense_rank() over(distribute by p_mfgr sort by p_name) as dr,
2021-05-23 10:50:43
161
1
原创 ETL最佳实践-NiFi
NIFI 介绍概述Apache NiFi 是一个易于使用、功能强大而且可靠的数据拉取、数据处理和分发系统，用于自动化管理系统间的数据流。它支持高度可配置的指示图的数据路由、转换和系统中介逻辑，支持从多种数据源动态拉取数据。NiFi原来是NSA(National Security Agency [美国国家安全局])的一个项目，目前已经代码开源，是Apache基金会的顶级项目之一NiFi基于Web方式工作，后台在服务器上进行调度。用户可以为数据处理定义为一个流程，然后进行处理，后台具有数据处理引擎、
2021-05-22 11:59:05
1654
3
原创 计算机基础-数据结构（c语言版）
目录概述数据的存储结构☆☆第三节 算法及描述第四节 算法分析☆☆线性表第一节 线性表的基本概念第二节 线性表的顺序存储第三节 线性表的链接存储第四节 其他链表第三章 队列和数组第一节 栈第二节 队列第三节 数组第四章 树和二叉树第二节 二叉树第三节 二叉树的存储结构第四节 二叉树的遍历☆☆☆☆第五节 树和森林第六节 判定树和哈夫曼树第五章 图第一节 图的基本概念第二节 图的存储结构第三节 图的遍历☆☆第四节 图的应用第六章 查找第一节 基本概念☆☆第二节 静态查找表第三节 二叉排序树第四节 散列表☆第七章
2021-05-20 22:32:41
92
原创 计算机基础-数据结构
树二叉树叶子节点都在最后一层 节点总是是2N次方-1 n层数完全二叉树完全二叉树 叶子节点在最后一层或倒数第二层最后一层的叶子节点在左边连续倒数第二层的叶子节点在右边连续连续 不连续只考虑完全二叉树第n个元素的左子节点下标为2n+1第n个元素的右子节点下标为2n+2第n个元素的父节点下标为(n-1)/2n表示二叉树的第几个元素 按0开始编号顺序存储二叉树数组存储方式和数的存储方式 相互转换数组可以转换成树 树可以转换成数组要求：1)二叉树右图的数据节点 要求以数组的方式存放
2021-05-19 11:01:05
283
1
原创 ETL常用工具类
字符相关public class CharsetUtils { private enum Charset { /** * 7位ASCII字符，也叫作ISO646-US、Unicode字符集的基本拉丁块 */ US_ASCII("US-ASCII", "位ASCII字符，也叫作ISO646-US、Unicode字符集的基本拉丁块 "), ISO_8859_1("ISO-8859-1", "ISO 拉丁字母表 No.1
2021-05-16 09:53:09
151
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人