- 博客(21)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Flink+Kafka 版wordCount
Kafka 版wordCount package com.jxtele; import org.apache.flink.api.common.functions.FlatMapFunction; import org.apache.flink.api.java.tuple.Tuple2; import org.apache.flink.streaming.api.TimeCharacteristic; import org.apache.flink.streaming.api.datastream.Da
2022-01-26 16:39:58
1498
原创 elk分布式日志管理系统搭建
elk分布式日志管理系统搭建 一般大型系统是一个分布式部署的架构，不同的服务模块部署在不同的服务器上，问题出现时，大部分情况需要根据问题暴露的关键信息，定位到具体的服务器和服务模块，构建一套集中式日志系统，可以提高定位问题的效率。 一个完整的集中式日志系统，需要包含以下几个主要特点： 收集－能够采集多种来源的日志数据 传输－能够稳定的把日志数据传输到中央系统 存储－如何存储日志数据 分析－可以支持 UI 分析 警告－能够提供错误报告，监控机制 ELK提供了一整套解决方案，并且都是开源软件，之间互相配合使
2021-11-19 11:21:37
816
原创 Flink笔记
Flink 简介和特点 简介： Flink 项目的理念是：“Apache Flink 是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架”。 Apache Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink 被设计在所有常见的集群环境中运行，以内存执行速度和任意规模来执行计算。 特点： 事件驱动型(Event-driven) 流与批的世界观 分层 api 快速上手 搭建 maven 工程 FlinkTutorial pom文件添加依赖： <d
2021-11-11 17:28:08
1773
原创 Sqoop笔记
Sqoop笔记 Sqoop 概述 Sqoop 是一款开源的工具，主要用于在 Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres 等）中的数据导进到 Hadoop 的 HDFS 中，也可以将 HDFS 的数据导进到关系型数据库中。 Sqoop 项目开始于 2009 年，最早是作为 Hadoop 的一个第三方模块存在，后来为了让使用者能够快速部署，也为了让开发人员能够更快速的迭代开发，Sq
2021-10-09 15:10:07
184
原创 HBase笔记
HBase 快速入门 Apache HBase 是 Hadoop 数据库，一个分布式、可伸缩的大数据存储。 HBase是依赖Hadoop的。为什么HBase能存储海量的数据？因为HBase是在HDFS的基础之上构建的，HDFS是分布式文件系统。 为什么使用HBase 看懂HBase 知乎的一篇文章 讲的很透彻 HBase 安装部署 前置条件 首先保证Zookeeper集群的正常部署，并启动之： [hadoop@hadoop102 module]$ myzk.sh start =============
2021-10-09 14:39:08
158
原创 Kafka部署笔记
Kafka笔记 kafka基础架构 1）Producer ：消息生产者，就是向 kafka broker 发消息的客户端； 2）Consumer ：消息消费者，向 kafka broker 取消息的客户端； 3）Consumer Group （CG）：消费者组，由多个 consumer 组成。消费者组内每个消费者负责消费不同分区的数据，一个分区只能由一个组内消费者消费；消费者组之间互不影响。所有的消费者都属于某个消费者组，即消费者组是逻辑上的一个订阅者。 4）Broker ：一台 kafka 服务器就是一
2021-09-10 17:51:11
212
原创 ClickHouse部署笔记
ClickHouse 特点 **学习地址：**https://clickhouse.tech/docs/zh/ ，以下笔记部分来源官网，部分来源B站视频：https://www.bilibili.com/video/BV1Yh411z7os?p=1 ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。 OLAP场景的关键特征 绝大多数是读请求 数据以相当大的批次(> 1000行)更新，而不是单行更新;或者根本没有更新。 已添加到数据库的数据不能修改。 对于读取，从数据
2021-09-10 15:50:18
442
原创 Hive部署
Hive笔记 HIve 基本概念 Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类 SQL 查询功能 Hive 本质：将 HQL 转化成 MapReduce 程序 （1）Hive 处理的数据存储在 HDFS （2）Hive 分析数据底层的实现是 MapReduce （3）执行程序运行在 Yarn 上 Hive 架构原理 1）用户接口：Client CLI（command-line interface）、JDBC/ODBC(jdbc 访问 hive)、WEBU
2021-08-25 14:02:23
579
原创 ZooKeeper集群部署
ZooKeeper集群部署 安装 rz上传hadoop到hadoop102服务器上 [hadoop@hadoop102 software]$ ls hadoop-3.1.3.tar.gz jdk-8u212-linux-x64.tar.gz zookeeper-3.4.5-cdh5.12.1.tar.gz [hadoop@hadoop102 software]$ tar -zxvf zookeeper-3.4.5-cdh5.12.1.tar.gz -C /opt/module/ 配置服务器编号 （
2021-08-20 17:03:37
250
原创 Hadoop安装和配置集群
Hadoop集群 安装前准备 安装虚拟机 配置网络 关闭防火墙 systemctl stop firewalld systemctl disable firewalld.service 创建用户 [root@hadoop102 hadoop]# useradd hadoop [root@hadoop102 hadoop]# passwd hadoop 配置hadoop 用户具有 root 权限，方便后期加 sudo 执行 root 权限的命令 [root@hadoop102 hadoop
2021-08-20 11:33:28
523
原创 MAC OS 搭建大数据环境（3）——安装HADOOP
MAC OS 搭建大数据环境（3）——安装HADOOP安装hadoop下载hadoop配置环境变量 安装hadoop 下载hadoop 到官网 http://hadoop.apache.org/releases.html 下载hadoop最新版本 点击 版本进入 拿到地址进行下载,解压 #下载 [hadoop@localhost ~]$ wget https://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.2.2/hadoop-3.2.2-src.ta
2021-04-16 10:03:43
411
原创 MAC OS 搭建大数据环境（2）——安装JDK,MAVEN配置ssh 免登陆
MAC OS 搭建大数据环境（2）——安装JDK,配置ssh 免登陆，安装hadoop准备机器，创建用户安装JDK安装JDK配置java 环境变量配置SSH 免登陆 准备机器，创建用户 root 用户登录之后 创建一个新用户 useradd hadoop 设置密码 passwd hadoop 授予hadoop 用户root 权限 chmod u + w /etc/sudoers vim /etc/sudoers #在root ALL=(ALL) ALL 下添加 hadoop ALL=(ALL) A
2021-02-08 12:53:08
426
3
原创 MAC OS 搭建大数据环境（1）——VirtualBox 安装 centos7，配置静态地址，关闭防火墙
MAC os VirtualBox 安装 centos7资源准备安装配置修改linux 虚拟机配置动态ip (可忽略)配置静态ip（可与宿主机之间进行通信）关闭防火墙 资源准备 1.使用镜像地址下载Centos7链接 安装 点“新建”按钮,输入名称centos,VirtualBox会自动加载与之对应的类型与版本，然后点“继续”按钮。 分配内存大小，一般你系统内存的1/4 就行 现在创建虚拟硬盘，点击创建 虚拟硬盘文件类型，点击继续 存储在物理硬盘上选择动态分配就好了，点击继续 文件位
2021-02-03 09:51:43
659
1
原创 自己制作echarts Map 最新地图，生成最新的 echarts Map地图JSON文件
写在前面 用于echarts 首页的地图很美观实用。不过网上下载的地图也会有一些问题，比如 地图文件 不是最新的，很多区县没有；想要 乡镇的地图；地图需要拼接 等等等等，通过这篇文章你只需要花点时间就可以制作 自定义想要的地图了。我碰到的问题就是 地图不是最新的（比如南昌市的地图没有红谷滩新区，高新区，经开区等）。因为给市政府的项目，然后 他们提供了 2020 最新的南昌市的电子地图 .shp 文件（其实没有也没有关系） ，然后通过自己制作的地图实现了南昌市最新的地图效果（本文最后总结处土提供了南昌市地图下
2020-07-16 23:34:15
2565
原创 SpringBoot+RestHighLevelClient集成ElasticSearch
搭建准备 ElasticSearch 7.0.0 已经对Transport client 方式弃用了，且在8.0版本中完全移除它。而且springboot yml 的 Transport配置 也过期了。虽然之前用Transport 的方式特别好用????，但是没办法，既然官方说弃用了，那我们就用另外一种方式：RestHighLevelClient。 SpringBoot 2.X 以上 start.spring.io链接 es 下载地址 链接 RestHighLevelClient API文
2020-05-09 11:00:33
8486
2
原创 网站首页布局模板1
最常见的网站首页布局准备代码原理 准备 说明： 参考腾讯云服务首页 （利用html页面定位到指定位置） 需要实现的效果 div内容用图片替代，背景图片准备dummyimage（一个很好的生成指定图片尺寸颜色的网站） 代码 <!DOCTYPE html> <html> <head> <meta charset="utf-8">...
2020-04-15 12:12:39
7833
2
原创 org.apache.ibatis.binding.BindingException: Invalid bound statement (not found):
org.apache.ibatis.binding.BindingException: Invalid bound statement (not found): 最近碰到这个问题，网上找了一堆方法都没有解决。（检查映射名称，方法名等） 项目结构： yml mybatis映射文件配置如下： mybatis-plus: mapper-locations: classpath*:mybatis/m...
2019-07-03 09:56:33
389
原创 百度地图自定义图标icon 添加本地图片无法显示问题解决
百度地图自定义图标icon 添加本地图片无法显示问题解决我们在阿里巴巴矢量库找的icon 保存到本地结论 我们在阿里巴巴矢量库找的icon 保存到本地 链接: 阿里巴巴矢量库. 图片: 随便找一个icon 我们设置大小 var myIcon = new BMap.Icon("/images/yushui.png", new BMap.Size(32, 32)); 发现百度地图无法展示该icon...
2019-02-22 00:44:35
14202
16
原创 Missing artifact com.microsoft.sqlserver:sqljdbc4:jar:4.0解决，手动安装Microsoft SQL Server JDBC 驱动
idea maven 依赖标红： `Missing artifact com.microsoft.sqlserver:sqljdbc4:jar:4.0` 一、直接原因 制定路径下确实没有sqljdbc4.jar文件。 二、根本原因 微软不允许以maven的方式直接下载该文件。 三、解决办法 3.1 去官网手动下载相关库：http://www.microsoft.com/en-us/downloa...
2018-12-28 21:27:16
14500
4
原创 Gradle + Spring Boot 搭建一个 helloworld工程
Hello World 基于spring boot的hello-world工程 环境配置： gradle 3.5.1 jdk 8+ eclipse 网上安装配置的博客很多。自行安装配置一下。 通过Spring Initializr 初始化一个Web 项目 通过 生成web项目。 在浏览器输入上述网址 点击生成工程下载，其实在
2017-11-14 19:30:38
1093
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人