- 博客(65)
- 收藏
- 关注
RSS订阅原创 MongoBD-2.3.6安装教程 linux
1.创建软件安装目录 mkdir -p /opt/module2.创建软件上传目录 mkdir -p /opt/software3.将MongoDB安装包上传 /opt/software目录4.将Mongodb-linux-x86_64-3.2.6.tgz解压缩到 /opt/module tar -zxvf /opt/software/mongodb-linux-x86_64-3.2.6.tgz -C /opt/module 5....
2022-05-26 20:45:01
225
原创 Spark 内核
1、Spark 核心组件1.1.1Cluster Manager(Master,ResourceManager)Spark 的集群管理器, 主要负责对整个集群资源的分配与管理.Cluster Manager 在 Yarn 部署模式下为 ResourceManager; 在 Mesos 部署模式下为 Mesos Master; 在 Standalone 部署模式下为 Master.Cluster Manager 分配的资源属于一级分配, 它将各个 Worker 上的内存, CPU 等资源分.
2022-05-26 16:55:51
296
原创 HBase连接失败与用户权限管理
当我们在用java API将数据写入HBase时，如果遇到了Connection连接对象一直未null的情况，很有可能是当前系统的用户对HBase中的命名空间和表的读写权限不够导致的，接下来我会对HBase的权限的设置和查看进行说明。HBase提供五个权限标识符：(RWXCA) R - 读 W - 写 X - 执行 C - 创建 A - 管理举个例子 ：授权namespace：Hbase授权 test_yc 用户对命名...
2022-03-12 10:17:13
4011
原创 Flink-SQL 设置水位线（Watermark）和开窗（window）示例
代码import org.apache.flink.streaming.api.datastream.DataStream;import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;import org.apache.flink.table.api.Table;import org.apache.flink.table.api.bridge.java.StreamTableEnvironment;
2022-01-19 16:07:04
4841
1
原创 多线程下，线程安全的时间转换工具类
工具类代码import java.text.SimpleDateFormat;import java.time.LocalDateTime;import java.time.ZoneId;import java.time.ZoneOffset;import java.time.format.DateTimeFormatter;import java.util.Date;/** * @author zyj * @Date 2020/1/15 16:02 * Desc:日期转换的工.
2022-01-15 16:33:44
2485
原创 maxwell 查询历史数据命令
配置config.properties文件# mysql login infohost=hadoop110user=maxwellpassword=123456client_id=maxwell_1命令bin/maxwell-bootstrap --user maxwell --password 123456 --host hadoop110 --database gmall8888 --table user_info --client_id maxwell_1--user
2022-01-15 09:40:27
1402
原创 阿里云环境下CDH6.3.2中Hbase莫名挂掉的原因
HMaster和HRegionServer很可能是因为OOM挂掉的，因此我们需要更改Master和Regionserver的Java堆栈大小
2022-01-13 16:40:35
830
原创 Flink Kafka 工具类（保证数据精准一致性）
KafkaUtilimport org.apache.flink.api.common.serialization.SimpleStringSchema;import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer;import org.apache.flink.streaming.connectors.kafka.FlinkKafkaProducer;import org.apache.flink.streami.
2022-01-11 11:11:31
913
原创 Flink-CDC 动态监控 mysql 数据表
Flink-CDC监控mysql的好处在于，在项目中无需向canal和maxwell那样要先将数据先存入kafka，而是直接将数据拉取到实时流当中。API方式监控import com.alibaba.ververica.cdc.connectors.mysql.MySQLSource;import com.alibaba.ververica.cdc.connectors.mysql.table.StartupOptions;import com.alibaba.ververica.cdc.
2022-01-07 12:31:25
3939
1
原创 Flink-java 状态机实现连续三次登陆失败
import org.apache.flink.api.common.eventtime.SerializableTimestampAssigner;import org.apache.flink.api.common.eventtime.WatermarkStrategy;import org.apache.flink.api.common.state.ValueState;import org.apache.flink.api.common.state.ValueStateDescriptor;.
2022-01-05 09:37:52
368
原创 Flink-java案例：在一小时内每隔5s统计一次商品pv的TopN
package com.zyj.day04;import org.apache.flink.api.common.eventtime.SerializableTimestampAssigner;import org.apache.flink.api.common.eventtime.WatermarkStrategy;import org.apache.flink.api.common.functions.AggregateFunction;import org.apache.flink.api.
2021-12-29 14:39:53
1576
1
原创 将Scala编译成.class文件和依赖打包的插件
<build> <plugins> <plugin> <groupId>org.scala-tools</groupId> <artifactId>maven-scala-plugin</artifactId> <version>2.15.1</version&g...
2021-12-21 09:51:21
813
原创 Spark Streaming 双流 join
需求：对mysql数据库中的order_info表和order_detail表进行流join关联条件 order_info.id = order_detail.order_id
2021-12-15 20:01:48
3086
原创 Scala Api 操作 Elasticsearch数据库
1、操作前先导Maven包，注意版本一定要一致，新旧版本不兼容 <!--es 相关依赖开始 es客户端的版本必须和服务器版本一致--> <dependency> <groupId>io.searchbox</groupId> <artifactId>jest</artifactId> <version>6.3.1&l
2021-12-14 17:00:21
2028
1
原创 Elasticsearch 基础知识及其操作实例
1、什么是Elasticsearch? Elasticsearch 是一个基于 Apache Lucene(TM) 的开源搜索引擎。无论在开源还是专有领域，Lucene 可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。主要特点：分布式的实时文件存储，每个字段都被索引并可被搜索 分布式的实时分析搜索引擎–做不规则查询 可以扩展到上百台服务器，处理 PB 级结构化或非结构化数据Elasticsearch 使用 Java 开发并使用 Lucene 作为其核心来实现所有索引和..
2021-12-13 01:42:38
1615
原创 canal动态监控mysql的数据表
1、需求：动态监控mysql中gmall2数据库的order_info数据表，将变化的信息转成json字符串存储到kafka中，具体实现如下：CanalClientpackage com.zyj.gmall.canalimport java.net.{InetSocketAddress, SocketAddress}import java.utilimport com.alibaba.fastjson.JSONObjectimport com.alibaba.otter.canal.
2021-12-10 19:58:27
1306
原创 Hbase集成Phoenix
>>上传安装包至 /opt/soft目录>>创建安装目录mkdir/opt/module/phoenix>>解压安装包tar -zxvf apache-phoenix-4.14.2-HBase-1.3-bin.tar.gz -C /opt/module/phoenix/--strip-components 1>>在 /opt/module/phoenix/bin目录下拷贝下列xml文件cd/opt/module...
2021-11-18 23:54:04
1148
原创 Phoenix 操作 HBase
一、hbase和phoenix的对应关系 hbase phoenix namespace database(库) table table（表） column family cf:cq column quliafier rowkey 主键 在sql中如家...
2021-11-17 11:28:58
1050
原创 HBase集成Hive
在$HBASE_HOME/lib目录下创建hive中jar包的软连接ln -s $HBASE_HOME/lib/hbase-common-1.2.0-cdh5.14.2.jar $HIVE_HOME/lib/hbase-common-1.2.0-cdh5.14.2.jarln -s $HBASE_HOME/lib/hbase-server-1.2.0-cdh5.14.2.jar $HIVE_HOME/lib/hbase-server-1.2.0-cdh5.14.2.jarln -s $HBASE
2021-11-01 18:07:12
1015
原创 spark-standalone安装教程
安装环境：CentOS-7、jdk软件版本：spark-2.3.4-bin-hadoop2.6资源路径：百度网盘 请输入提取码提取码：zzzz1、将安装包上传到 /opt 目录下2、解压安装包tar -zxvf spark-2.3.4-bin-hadoop2.6.tgz -C soft/spark234/ --strip-components 13、将 /opt/soft/spark234/conf/slaves.template 拷贝一份改名为slaves，并编辑cp..
2021-10-21 18:51:30
643
原创 HBase单机版安装教程
安装环境：CentOS-7、jdk、hadoop、zookeeper软件版本：hbase-1.2.0-cdh5.14.2资源路径：百度网盘 请输入提取码提取码：zzzz1、将软件上传到 /opt 目录下2、解压安装包tar -zxvf /opt/hbase-1.2.0-cdh5.14.2.tar.gz -C /opt/soft/hbase120/ --strip-components 13、编辑 /opt/soft/hbase120/conf/hbase-env.sh1.
2021-10-19 00:26:16
1403
1
原创 zookeeper单机版安装
安装环境：CentOS-7软件版本：资源路径：提取码：zzzz1、将安装包上传 /opt 目录2、创建软件安装目录mkdir /opt/soft/zookeeper3453、解压安装包至安装目录tar -zxvf zookeeper-3.4.5-cdh5.14.2.tar.gz -C /opt/soft/zookeeper345 --strip-components 14、创建 /opt/soft/zookeeper345/data和 /opt/soft/zookee.
2021-10-18 22:12:57
93
原创 flume安装教程
安装环境：CentOS-7、jdk、hadoop、hiveflume版本：flume-ng-1.6.0-cdh5.14.2资源路径：百度网盘 请输入提取码提取码：zzzz1、上传安装包至 /opt 目录2、创建安装目录mkdir /opt/soft/flume1603、解压安装包tar -zxvfflume-ng-1.6.0-cdh5.14.2.tar.gz -C /opt/soft/flume160 --strip-components 14、修...
2021-10-17 22:11:48
132
原创 Sqoop基本导入导出命令
mysql ——hdfs (条件导入)：sqoop import \--connect jdbc:mysql://192.168.1.101:3306/mydemo \--username root \--password root \--target-dir '/kb13/students' \--delete-target-dir \--num-mappers 1 \--fields-terminated-by ',' \--query 'select * from stude.
2021-10-08 14:55:46
388
原创 Sqoop安装教程
sqoop版本：sqoop-1.4.6-cdh5.14.2资源路径：百度网盘 请输入提取码提取码：zzzz1、将软件安装包拷贝到 /opt 目录下2、创建sqoop安装目录命令：mkdir /opt/soft/sqoop1463、将安装包解压到安装目录命令：tar -zxvf sqoop-1.4.6-cdh5.14.2.tar.gz -C /opt/soft/sqoop146 --scrip-components 14、移动到sqoop安装目录下的conf目录.
2021-10-08 10:48:02
1128
原创 Hadoop-HA 高可用集群搭建
core-site.xml<?xml version="1.0" encoding="UTF-8"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!-- Licensed under the Apache License, Version 2.0 (the "License"); you may not use this file except in compliance with
2021-10-08 08:51:12
367
原创 Hadoop HA 集群无法进行自动故障转移(Standby =＞ Active)的解决办法（ConnectionRefuse）
在学习 HA 自动化配置，按照hadoop官网进行配置，最后所有的节点都启动正常但我们在进行故障测试 kill 掉Active状态的NameNode后，其他Standby状态的NameNode无法转换成Active状态我们知道Standby状态节点中zookepper客户端的zkfc进程一直在监视这Active状态下的节点，而一旦后者出现故障，且后者中的zkfc进程断开了与zookepper服务端的session，此时Standby状态节点中的zkfc进程就会去抢占zookepper服务端，并且会通
2021-10-08 01:51:50
1013
1
原创 Hive语法规范
库操作1.增 CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name [COMMENT database_comment] // 库的注释说明 [LOCATION hdfs_path] // 库在hdfs上的路径 [WITH DBPROPERTIES (property_name=property_value, ...)]; // 库的属性例： create database if not exists ...
2021-09-28 18:23:30
3156
原创 脚本自动安装大数据环境（持续更新中......）
自动安装 jdk1.8 mysql hadoop hive zeppelin 安装脚本代码#!/bin/bash#安装必要的软件，持续填充setup_software(){ yum -y install vim yum -y install tree yum -y install lrzsz}#修改系统名称 同时修改hosts文件modify_sysname(){ hostnamectl set-hostname $1 .
2021-09-27 00:48:29
128
原创 MapReduce的详细工作流程
Map阶段下图为Map阶段详细的工作流程 待处理文本：如 /opt/data/input.txt 根据参数配置，分配一个作业(Job) 提交切片信息：Job.split、wc.jar、Job.xml 4 5 6 7 溢写到文件之前，以分区为单位对区内的数据进行快速排序 此时将环形缓冲区的数据溢写到文件（分区且区内有效） 对所有溢写的文件进行Merge归并排序，此时一个maptaskReduce阶段下图为Reduce阶段详细的工作流程所有mapta..
2021-09-19 23:23:14
330
原创 MapReduce中默认切片策略、块与片的关系及常见的输入格式
FileInputFormat的切片策略(默认) public List<InputSplit> getSplits(JobContext job) throws IOException { StopWatch sw = new StopWatch().start(); // minSize从mapreduce.input.fileinputformat.split.minsize和1之间对比，取最大值 long minSize = M.
2021-09-18 02:07:53
953
原创 高级工具 zeppelin 整合hive教程
安装环境：CentOS-7、JDK1.8、hadoop2.6、hive1.1软件版本：zeppelin-0.8.1-bin-all资源路径：https://pan.baidu.com/s/1-R7Izt4R0bJD-Vb7dlLPmQ提取码：zzzz1、
2021-09-17 02:32:37
1094
原创 CentOS-7中Hive的安装教程
安装环境：CentOS-7、JDK1.8、Hadoop2.6Hive版本：hive-1.1.0-cdh5.14.2资源路径：https://pan.baidu.com/s/17_JG0tFBIuzh_lA5g_--sg提取码：zzzz
2021-09-16 21:52:26
255
原创 SSM整合（spring + spring mvc + mybatis）（XML）
项目结构com.zyj.controller.interceptor.ProjectExceptionAdivcepackage com.zyj.controller.interceptor;import com.zyj.controller.results.Result;import com.zyj.system.exception.BusinessException;import org.springframework.stereotype.Component;i...
2021-09-15 16:39:26
91
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人