- 博客(71)
- 资源 (8)
- 收藏
- 关注
RSS订阅原创 posman插件安装
文章目录1.下载解压2.打开谷歌=》更多工具=》扩展程序3.访问APP打开4.双击打开，注册使用1.下载解压链接：https://pan.baidu.com/s/10fT_KzkGXS8MDgYrs9azuA提取码：hehe2.打开谷歌=》更多工具=》扩展程序开发者工具开启=》加载已解压的扩展程序3.访问APP打开chrome://apps/4.双击打开，注册使用...
2021-06-08 11:11:45
320
1
原创 java编写flink连接kafka常见问题总结
文章目录控制台输出问题没有执行计划问题不能执行sql问题动态表转为动态流问题控制台输出问题问题描述代码运行一会就结束，没有错误提示，也没有运行结果解决方法两种情况第一种日志没配好添加依赖 <dependency> <groupId>org.apache.logging.log4j</groupId> <artifactId>log4j-slf4j-impl</artifactId>
2021-04-21 17:13:28
1797
原创 canal配置文件参数
文章目录canal.propertiesinstance.propertiescanal.properties指一些实例instance公共的配置########################################################## common argument ############################################################### tcp bind ipca
2021-04-16 17:19:58
870
原创 flink滚动窗口和滑动窗口
文章目录滚动窗口滑动窗口滚动窗口时间不重叠，只有一个时间参数，即多长时间滚动一次滚动窗口又分为滚动事件时间窗口，滚动处理时间窗口事件时间指数据中的时间字段处理时间指系统时间TumblingProcesspackage com.hehe.window;import org.apache.flink.api.common.functions.FlatMapFunction;import org.apache.flink.api.java.tuple.Tuple2;import org.
2021-04-13 14:33:25
3251
原创 kafka常用命令
文章目录kafka启动kafka查看list topickafka创建生产者kafka创建消费者kafka 删除topickafka启动首先确保启动zookeeperkafka-server-start.sh -daemon /usr/local/soft/kafka_2.11-1.0.0/config/server.propertieskafka查看list topickafka-topics.sh --list --zookeeper master:2181kafka创建生产者k
2021-04-13 14:23:21
66
原创 java代码读取Kafka生产者和消费者
文章目录生产者消费者生产者package com.hehe.kafka;import org.apache.kafka.clients.producer.ProducerRecord;import org.apache.kafka.clients.producer.KafkaProducer;import java.util.Properties;public class Kafkaproduce { public static void main(String[] args)
2021-04-01 16:33:19
309
原创 canal监控msyql日志打印到kafka，解析日志控制台打印
文章目录一、开启mysql的binlog二、配置canal三、启动zookeeper，启动kafka，启动canal四、打开本地idea，编写代码scala版本java版本五、flink的toAppendStream与toRetractStream一、开启mysql的binlogvim /etc/my.cnf[mysqld]# 打开binloglog-bin=mysql-bin# # 选择ROW(行)模式 binlog-format=ROW# # 配置MySQL replaction需要定
2021-04-01 15:41:16
456
原创 离线安装与卸载单机版clickhouse，MaterializeMySQL引擎进行关联
文章目录一、下载对应版本的rpm文件二、安装三、mysql准备四、启动clickhouse1、启动server2、启动client五、MaterializeMySQL引擎同步mysql六、卸载卸载删除对应得目录一、下载对应版本的rpm文件访问该网站，下载对应版本的client、server、conmmon包https://repo.clickhouse.tech/找到对应版本的rpm 包，上传至虚拟机二、安装环境防火墙永久关闭，且禁止开机自启动，jdk 1.8 centos6.5安装
2021-03-31 10:14:53
370
原创 将hive中的表移至mysql
文章目录一、在hive中准备一个表二、在mysql中创建对应字段的表三、编写idea代码 mysql和navicate的安装 在mysql专栏下，之前写过，需要的自己翻之前的博客一、在hive中准备一个表注意：hive的元数据需开启nohup hive --service metastore >> metastore.log 2>&1 &二、在mysql中创建对应字段的表三、编写idea代码package com.hgh.adsimport jav
2021-03-30 10:25:41
637
原创 idea打含有依赖的包
在项目的pom文件中加入以下内容<plugin> <artifactId>maven-assembly-plugin</artifactId> <configuration> <descriptorRefs> <descriptorRef>jar-with-dependencies&
2021-03-25 14:38:10
282
原创 flink1.12.2单机版安装
文章目录准备一、下载对应版本的flink二、安装1.解压2.修改权限准备java安装好，无需Hadoop环境一、下载对应版本的flinkhttps://flink.apache.org/downloads.html官网下载二、安装1.解压tar -zxvf flink-1.12.2-bin-scala_2.12.tgz2.修改权限chown -R root:root /usr/local/soft/flink-1.12.2...
2021-03-22 15:33:06
717
原创 centos 6 安装mysql 5.7
文章目录1.安装好centos 6 环境，关闭防火墙2.官网下载mysql版本1）访问https://www.mysql.com/2）搜索选择版本3) 下载1.安装好centos 6 环境，关闭防火墙2.官网下载mysql版本1）访问https://www.mysql.com/2）搜索选择版本3) 下载...
2021-03-19 13:25:33
606
原创 spark运行java包
文章目录一、spark二、java中编写spark运行代码1）导入依赖和插件2）代码本地运行打包到集群中运行，结果输出在hdfs上一、spark也是基于mr的计算，和Hadoop的MapReduce阶段底层一样spark是基于内存进行数据处理的，MapReduce是基于磁盘进行数据处理的spark比MapReduce快，不仅因为基于内存，还因为DAG（根本原因）DAG计算模型在迭代计算上还是比MapReduce的效率更高spark中具有DAG有向无环图，DAG有向无环图在此过程中减少了shuf
2020-11-02 23:28:41
915
原创 phonex的使用，二级索引，预分区，调优
文章目录一、基本指令1）创建表2）删除表3）插入数据4）查询数据5）删除数据6）退出命令行二、映射1）视图映射创建视图查询视图删除视图2）表映射删除表3）视图映射和表映射的区别三、二级索引1）修改配置文件2）全局索引增加索引删除索引创建多列索引Hbase适合存储大量的对关系运算要求低的NOSQL数据，受Hbase 设计上的限制不能直接使用原生的PAI执行在关系数据库中普遍使用的条件判断和聚合等操作。Apache Phoenix提供一种更面向普通开发人员的操作方式Phoenix 基于Hbase给面向业
2020-10-25 22:30:30
659
原创 hbase客户端读写操作
文章目录一、hbase读写流程1）系统表2）读流程1.连接zookeeper，获取meta2.检索，查找rowkey所在的region的位置信息，连接对应的regionServer3.如果设置了in-memory缓存4.如果没有设置in-memory缓存3）写流程1.连接zookeeper，获取meta2.检索，查找rowkey所在的region的位置信息，连接对应的regionServer3.将写入的数据保存到memstore中4.后台自动触发flush写入storefile二、过滤器1）操作符2）比较器
2020-10-23 20:54:05
356
原创 Linux基础四（权限更改，解压文件，安装jdk,克隆虚拟机）
文章目录一、指令1.chmod修改权限一、指令1.chmod修改权限相关知识点-rw-r–r--:为标识和权限root：为所属用户root：为所属组 -rw-r--r--:分为四部分 -:第一个字母或符号是一部分,表示什么样的内容,是文件还是路径 rw-:表示读写执行的操作,r表示读 w表示写 x表示执行 -表示没有 root用户 r--:表示读写执行的操作,r表示读 w表示写 x表示执行 -表示没有 root组 r--:表示读写执行的操作,r表示读 w表示写 x表示执行
2020-10-20 22:48:57
317
原创 hbase的介绍和使用
文章目录一、hbase二、hbase的操作指令1）start-hbase.sh启动hbase集群2）hbase shell 进入hbase命令行3）创建一个表，指定一个列族，每个表中必须要有一个列族4）list查看当前命名空间下的表5）向表中插入数据6）查询数据7）describe 'test' 查看表结构8）删除列族和增加列族9）scan ‘test’ 扫描全表10）统计记录数11)禁用和启用表，删除表一、hbasehbase是一个实时分布式的高维数据库基于hdfs文件存储系统，通过MapRed
2020-10-20 20:33:53
737
3
原创 Hadoop基础学习十三（zookeeper的搭建）
文章目录一、上传zookeeper压缩包，解压二、配置系统环境变量可以在任意位置进入zookeeper三、修改配置文件四、同步到其他节点五、在三个节点中都操作1）在zk目录下创建目录data2）在data目录下创建myid文件六、启动zookeeper七、注意一、上传zookeeper压缩包，解压zookeeper资源下载链接：https://pan.baidu.com/s/11uHI2Ej5AJA082bZAyGqqQ提取码：hehetar -xvf zookeeper-3.4.6.tar.g
2020-10-19 15:35:26
150
原创 Hadoop基础学习十一（hive语法）
文章目录1.map阶段2.reduce阶段3.where2.join3.group by4.order by5.sort by6.if（判断条件，成立的返回值，否则的返回值）7.case when xx then yy else zz endhIve的hql的u数据类型和java中的基本数据类型差不多，但是data类型的格式必须为YYYY-MM-DDMySQL的执行顺序：from=》where=》group by =》having=》select=》order by=》limithive的执行语句
2020-10-18 19:53:10
677
原创 Hadoop基础学习九（Hive的介绍和使用，创建表）
文章目录一、hivehive与MySQL的区别1）存储位置：2）数据更新3）执行延迟4）数据规模hive的存储格式二、使用1.启动hive2.创建数据库3.建表1）方法一：全部使用默认配置2）方法二：指定建表目录3）方法三：指定存储文件格式一、hivehive是基于Hadoop的一个客户端工具，可以用来进行数据提取转化加载（ETL ），部署时不一定放在集群管理节点中，可以放在某个节点上是大数据行业中数据仓库建设的工具之一。hive不是分布式Hive是SQL解析引擎，它将SQL语句转译成M
2020-10-16 10:29:24
1205
原创 Hadoop基础学习六（两张表的连接）
import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job;import org.apache.hadoop.mapreduce.Mapper;import org.apache.
2020-10-15 18:23:50
289
原创 Hadoop运行程序时的异常处理
1.Exception in thread “main” java.lang.NoSuchMethodException: DDD_Demo2.main([Ljava.lang.String;) at java.lang.Class.getMethod(Class.java:1786) at org.apache.hadoop.util.RunJar.run(RunJar.java:215) at org.apache.hadoop.util.RunJar.main(RunJar.java:136)出现找
2020-10-15 15:36:55
374
原创 hadoop的优化
文章目录1.hdfs2.mapreduce1)配置层面2）程序层面3.yarn1.hdfsHDFS：做HA高可靠。如果磁盘空间充足，可以增加副本数。还有一些小文件合并。hdfs的文件存储：比如可以压缩文件等。2.mapreduce1)配置层面调整map数量当集群的资源（cpu，内存）比较充足。可以适当将切片大小，调小。这时候会增加map的数量，加快读取处理速度。当集群的资源（cpu，内存）比较紧缺。可以适当将切片大小，调大。这时候会减少map的数量，可以一定程度提高效率。调整redu
2020-10-15 14:05:58
505
原创 Hadoop基础学习五（MapReduce，wordcount）
文章目录一、MapReduce1.概述2.过程1.map阶段2.reduce阶段一、MapReduce1.概述mapreduce是一个分布式计算模型，由map和reduce两个阶段组成，map和reduce阶段都是一个独立的程序，由很多个节点同时运行，每个节点处理一部分数据，可以只有map，不可以只有reduce。2.过程1.map阶段1）切片从hdfs上读取数据，在读取数据时，首先要对要读取的文件进行逻辑上的划分，每个block块对应一个切片，切片大小由block的大小决定（默认为128MB
2020-10-14 18:29:03
325
原创 java连接hdfs将数据插入到MySQL中
一、从主节点中查看要插入的文件在hdfs上的元信息数据并没有存放在主节点中，主节点用于维护文件系统，存放元信息（文件的属性，路径，大小，在DN上的位置信息等）二、在MySQL中建好表用于插入数据三、编写代码java中要有Hadoop和数据库的依赖包package hdfs;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;import org.apa
2020-10-13 20:16:52
571
原创 可视化工具建表时1064-You have an error in your SQL syntax
出现1064 check the manual that corresponds to your MySQL server version for the right syntax to use near NULL错误出现1064错误是因为字符串没有给长度，将每个不定长字符，指定长度，即可再次保存，输入表名就可以了...
2020-10-13 19:38:39
370
原创 java应用五（lombok）
文章目录一、lombok二、应用1）加入依赖2）下载插件3）重启idea4）代码演示一、lombokLombok是一个Java库，它会自动插入编辑器和构建工具中，Lombok提供了一组有用的注释，用来消除Java类中的大量样板代码。仅需几行就可以替换数百行代码从而产生干净，简洁且易于维护的Java类。二、应用创建对象时，除了指定属性外，还需set、get方法，构造方法，tostring方法，重复度高且繁琐，应用lombok可以减少代码量1）加入依赖<!-- https://mvnrepos
2020-10-11 12:31:33
95
原创 Redis九（redis的集群安装）
文章目录一、首先把单节点的redis缓存文件全部删除二、建立三个连接，master、note1、note21.将redis文件复制到note1和note22.创建安装目录 在master ,node1 ,node2中分别创建三、在master中将redis 复制到redis-cluster 目录下修改名字为7000四、修改配置文件 vim redis.conf五、复制7000，建立六个节点，三主三从六、将7001到7005的端口号进行更改七、将7002 ，7003 复制到node1八、将7004 ，7005
2020-09-29 19:17:41
280
原创 Redis七（Redis持久化）
文章目录一、Redis持久化二、Redis的持久化方式1）RDB（Redis DB）自动手动1）save指令**2）bgsave指令****3）SAVE 和 BGSAVE 命令**RDB的优点和缺点2）AOF（AppendOnlyFile）一、Redis持久化缓存：缓存是提高了CPU对内存反复的数据的处理速度.CPU要运算的数据都是从内存取来的内存：速度比缓存慢，比硬盘块，重启后内容会消失硬盘：重启后数据依然存在持久化：将数据从掉电易失的内存存放到能够永久存储的设备上redis是基于内存的，提
2020-09-29 15:03:30
479
原创 java应用四（连接池）
文章目录一、连接池介绍二、MySQL从连接池中建立连接1）dbcp2）c3p0三、Redis从连接池中建立连接四、MySQL连接池的工具类一、连接池介绍连接池是创建和管理一个连接的缓冲池的技术，这些连接准备好被任何需要它们的线程使用。运行原理：在实际应用开发中，特别是在WEB应用系统中，如果JSP、Servlet或EJB使用JDBC直接访问数据库中的数据，每一次数据访问请求都必须经历建立数据库连接、打开数据库、存取数据和关闭数据库连接等步骤，而连接并打开数据库是一件既消耗资源又费时的工作，如果频繁
2020-09-28 21:35:07
324
原创 Redis五（练习，spring，数据库，redis，java）
文章目录环境需求一：通过学号查询学生信息代码1.bean层2.controller层3.service层4.dao层5.运行spring接口测试第二次查询另外一个学生，学号为29此时学号以29结尾的学生已在cache里，再次查询该生（查询速度要在10秒内，或者会过期），并查询学号为30的比较需求二：在一操作的基础上通过班级名称查询班级人数controller层service层dao层测试需求三，通过学号查询学生总分controller层service层dao层测试环境数据库中存放的数据格式redis
2020-09-27 21:53:03
393
原创 Redis四（java连接redis）
文章目录环境一、java连接redis，执行相关指令二、读取学生表的信息，将其存入redis环境建立maven项目，加入Redis的依赖，为了方便测试也加入junit依赖 <!-- https://mvnrepository.com/artifact/redis.clients/jedis --> <dependency> <groupId>redis.clients</groupId>
2020-09-27 16:32:02
194
原创 Redis三（redis的使用、相关指令、String类型）
文章目录一、redis的数据模型二、命令1.set key value 将值存入redis2.set key value EX [秒] 多少秒后过期3.set key value PX [毫秒] 多少毫秒时过期，5000毫秒即为5秒4.set key value NX key不存在才能设置5.set key value XX key存在时才设置6.mset key1 value1 key2 value2 设置多个值7.EXPIRE key time 设置过期时间，几秒 PEXPIRE key time
2020-09-27 15:31:33
221
原创 Redis二（redis的单节点安装）
文章目录一、在Linux中安装Redis1.下载配置文件一、在Linux中安装Redis1.下载配置文件wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-6.repowget用于在虚拟机中下载文件，在浏览器中下载的东西都可以通过wget指令下载到虚拟机中make test 测试，比较耗时间，...
2020-09-26 17:06:14
270
原创 java与MySQL应用三（spring的应用，在浏览器中显示数据库登录注册的结果，数据库索引）
文章目录一、建立spring项目1.首先安装一个spring插件2.建立一个spring模块3.项目中会自动有一个名为Application的java文件，相当于一个接口程序，通过运行该文件和添加反射注释，加载其他类文件，该文件一运行就不会停止4.由于要编写的代码级别必须要比Application小，或者会扫描不到，这里可以在application的同级目录下建立一个包，在该包中编写文件5.测试二、通过spring在浏览器中显示登录注册的结果1.下载数据库依赖2.建立四个包1)bean2)controlle
2020-09-25 22:50:43
546
redis安装和桌面插件.rar
2020-09-26
intellij-spring-assistant-0.12.0.zip
2020-09-25
mysql在虚拟机中得安装资源含客户端和服务器端
2020-09-21
远程连接Xshell和Xftp4.rar
2020-09-13
java导入其他软件下的包资源
2020-09-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人