- 博客(21)
- 资源 (1)
- 收藏
- 关注
原创 Flink+Kafka 版wordCount
Kafka 版wordCountpackage com.jxtele;import org.apache.flink.api.common.functions.FlatMapFunction;import org.apache.flink.api.java.tuple.Tuple2;import org.apache.flink.streaming.api.TimeCharacteristic;import org.apache.flink.streaming.api.datastream.Da
2022-01-26 16:39:58
1391
原创 elk分布式日志管理系统搭建
elk分布式日志管理系统搭建一般大型系统是一个分布式部署的架构,不同的服务模块部署在不同的服务器上,问题出现时,大部分情况需要根据问题暴露的关键信息,定位到具体的服务器和服务模块,构建一套集中式日志系统,可以提高定位问题的效率。一个完整的集中式日志系统,需要包含以下几个主要特点:收集-能够采集多种来源的日志数据传输-能够稳定的把日志数据传输到中央系统存储-如何存储日志数据分析-可以支持 UI 分析警告-能够提供错误报告,监控机制ELK提供了一整套解决方案,并且都是开源软件,之间互相配合使
2021-11-19 11:21:37
681
原创 Flink笔记
Flink 简介和特点简介:Flink 项目的理念是:“Apache Flink 是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架”。Apache Flink 是一个框架和分布式处理引擎,用于对无界和有界数据流进行有状态计算。Flink 被设计在所有常见的集群环境中运行,以内存执行速度和任意规模来执行计算。特点:事件驱动型(Event-driven)流与批的世界观分层 api快速上手搭建 maven 工程 FlinkTutorialpom文件添加依赖:<d
2021-11-11 17:28:08
1639
原创 Sqoop笔记
Sqoop笔记Sqoop 概述Sqoop 是一款开源的工具,主要用于在 Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres 等)中的数据导进到 Hadoop 的 HDFS 中,也可以将 HDFS 的数据导进到关系型数据库中。Sqoop 项目开始于 2009 年,最早是作为 Hadoop 的一个第三方模块存在,后来为了让使用者能够快速部署,也为了让开发人员能够更快速的迭代开发,Sq
2021-10-09 15:10:07
88
原创 HBase笔记
HBase 快速入门Apache HBase 是 Hadoop 数据库,一个分布式、可伸缩的大数据存储。HBase是依赖Hadoop的。为什么HBase能存储海量的数据?因为HBase是在HDFS的基础之上构建的,HDFS是分布式文件系统。为什么使用HBase看懂HBase 知乎的一篇文章 讲的很透彻HBase 安装部署前置条件首先保证Zookeeper集群的正常部署,并启动之:[hadoop@hadoop102 module]$ myzk.sh start =============
2021-10-09 14:39:08
75
原创 Kafka部署笔记
Kafka笔记kafka基础架构1)Producer :消息生产者,就是向 kafka broker 发消息的客户端;2)Consumer :消息消费者,向 kafka broker 取消息的客户端;3)Consumer Group (CG):消费者组,由多个 consumer 组成。消费者组内每个消费者负责消费不同分区的数据,一个分区只能由一个组内消费者消费;消费者组之间互不影响。所有的消费者都属于某个消费者组,即消费者组是逻辑上的一个订阅者。4)Broker :一台 kafka 服务器就是一
2021-09-10 17:51:11
113
原创 ClickHouse部署笔记
ClickHouse 特点**学习地址:**https://clickhouse.tech/docs/zh/ ,以下笔记部分来源官网,部分来源B站视频:https://www.bilibili.com/video/BV1Yh411z7os?p=1ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。OLAP场景的关键特征绝大多数是读请求数据以相当大的批次(> 1000行)更新,而不是单行更新;或者根本没有更新。已添加到数据库的数据不能修改。对于读取,从数据
2021-09-10 15:50:18
344
原创 Hive部署
Hive笔记HIve 基本概念Hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类 SQL 查询功能Hive 本质:将 HQL 转化成 MapReduce 程序(1)Hive 处理的数据存储在 HDFS(2)Hive 分析数据底层的实现是 MapReduce(3)执行程序运行在 Yarn 上Hive 架构原理1)用户接口:ClientCLI(command-line interface)、JDBC/ODBC(jdbc 访问 hive)、WEBU
2021-08-25 14:02:23
478
原创 ZooKeeper集群部署
ZooKeeper集群部署安装rz上传hadoop到hadoop102服务器上[hadoop@hadoop102 software]$ lshadoop-3.1.3.tar.gz jdk-8u212-linux-x64.tar.gz zookeeper-3.4.5-cdh5.12.1.tar.gz[hadoop@hadoop102 software]$ tar -zxvf zookeeper-3.4.5-cdh5.12.1.tar.gz -C /opt/module/配置服务器编号(
2021-08-20 17:03:37
166
原创 Hadoop安装和配置集群
Hadoop集群安装前准备安装虚拟机配置网络关闭防火墙systemctl stop firewalldsystemctl disable firewalld.service创建用户[root@hadoop102 hadoop]# useradd hadoop[root@hadoop102 hadoop]# passwd hadoop配置hadoop 用户具有 root 权限,方便后期加 sudo 执行 root 权限的命令[root@hadoop102 hadoop
2021-08-20 11:33:28
405
原创 MAC OS 搭建大数据环境(3)——安装HADOOP
MAC OS 搭建大数据环境(3)——安装HADOOP安装hadoop下载hadoop配置环境变量安装hadoop下载hadoop到官网 http://hadoop.apache.org/releases.html 下载hadoop最新版本点击 版本进入拿到地址进行下载,解压#下载[hadoop@localhost ~]$ wget https://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.2.2/hadoop-3.2.2-src.ta
2021-04-16 10:03:43
279
原创 MAC OS 搭建大数据环境(2)——安装JDK,MAVEN配置ssh 免登陆
MAC OS 搭建大数据环境(2)——安装JDK,配置ssh 免登陆,安装hadoop准备机器,创建用户安装JDK安装JDK配置java 环境变量配置SSH 免登陆准备机器,创建用户root 用户登录之后 创建一个新用户useradd hadoop设置密码passwd hadoop授予hadoop 用户root 权限chmod u + w /etc/sudoersvim /etc/sudoers#在root ALL=(ALL) ALL 下添加 hadoop ALL=(ALL) A
2021-02-08 12:53:08
322
3
原创 MAC OS 搭建大数据环境(1)——VirtualBox 安装 centos7,配置静态地址,关闭防火墙
MAC os VirtualBox 安装 centos7资源准备安装配置修改linux 虚拟机配置动态ip (可忽略)配置静态ip(可与宿主机之间进行通信)关闭防火墙资源准备1.使用镜像地址下载Centos7链接安装点“新建”按钮,输入名称centos,VirtualBox会自动加载与之对应的类型与版本,然后点“继续”按钮。分配内存大小,一般你系统内存的1/4 就行现在创建虚拟硬盘,点击创建虚拟硬盘文件类型,点击继续存储在物理硬盘上选择动态分配就好了,点击继续文件位
2021-02-03 09:51:43
509
1
原创 自己制作echarts Map 最新地图,生成最新的 echarts Map地图JSON文件
写在前面用于echarts 首页的地图很美观实用。不过网上下载的地图也会有一些问题,比如 地图文件 不是最新的,很多区县没有;想要 乡镇的地图;地图需要拼接 等等等等,通过这篇文章你只需要花点时间就可以制作 自定义想要的地图了。我碰到的问题就是 地图不是最新的(比如南昌市的地图没有红谷滩新区,高新区,经开区等)。因为给市政府的项目,然后 他们提供了 2020 最新的南昌市的电子地图 .shp 文件(其实没有也没有关系) ,然后通过自己制作的地图实现了南昌市最新的地图效果(本文最后总结处土提供了南昌市地图下
2020-07-16 23:34:15
2221
原创 SpringBoot+RestHighLevelClient集成ElasticSearch
搭建准备ElasticSearch 7.0.0 已经对Transport client 方式弃用了,且在8.0版本中完全移除它。而且springboot yml 的 Transport配置 也过期了。虽然之前用Transport 的方式特别好用????,但是没办法,既然官方说弃用了,那我们就用另外一种方式:RestHighLevelClient。SpringBoot 2.X 以上 start.spring.io链接es 下载地址 链接RestHighLevelClient API文
2020-05-09 11:00:33
7985
2
原创 网站首页布局模板1
最常见的网站首页布局准备代码原理准备说明:参考腾讯云服务首页 (利用html页面定位到指定位置)需要实现的效果 div内容用图片替代,背景图片准备dummyimage(一个很好的生成指定图片尺寸颜色的网站)代码<!DOCTYPE html><html><head> <meta charset="utf-8">...
2020-04-15 12:12:39
7282
2
原创 org.apache.ibatis.binding.BindingException: Invalid bound statement (not found):
org.apache.ibatis.binding.BindingException: Invalid bound statement (not found):最近碰到这个问题,网上找了一堆方法都没有解决。(检查映射名称,方法名等)项目结构:yml mybatis映射文件配置如下:mybatis-plus: mapper-locations: classpath*:mybatis/m...
2019-07-03 09:56:33
298
原创 百度地图自定义图标icon 添加本地图片无法显示问题解决
百度地图自定义图标icon 添加本地图片无法显示问题解决我们在阿里巴巴矢量库找的icon 保存到本地结论我们在阿里巴巴矢量库找的icon 保存到本地链接: 阿里巴巴矢量库.图片: 随便找一个icon我们设置大小var myIcon = new BMap.Icon("/images/yushui.png", new BMap.Size(32, 32));发现百度地图无法展示该icon...
2019-02-22 00:44:35
13708
16
原创 Missing artifact com.microsoft.sqlserver:sqljdbc4:jar:4.0解决,手动安装Microsoft SQL Server JDBC 驱动
idea maven 依赖标红:`Missing artifact com.microsoft.sqlserver:sqljdbc4:jar:4.0`一、直接原因制定路径下确实没有sqljdbc4.jar文件。二、根本原因微软不允许以maven的方式直接下载该文件。三、解决办法3.1 去官网手动下载相关库:http://www.microsoft.com/en-us/downloa...
2018-12-28 21:27:16
13989
4
原创 Gradle + Spring Boot 搭建一个 helloworld工程
Hello World 基于spring boot的hello-world工程 环境配置: gradle 3.5.1 jdk 8+ eclipse 网上安装配置的博客很多。自行安装配置一下。通过Spring Initializr 初始化一个Web 项目 通过 生成web项目。 在浏览器输入上述网址点击生成工程下载,其实在
2017-11-14 19:30:38
1013
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人