热心市民爱抽烟屁-CSDN博客

原创 Flink CDC监听Mysql及SQLserver

flink cdc监听mysql、sqlserver

2024-07-17 16:51:14 353

[root@singlenode ~]#rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch #导入源的GPG[root@singlenode ~]#vi /etc/yum.repos.d/elasticsearch.repo[elasticsearch]name=Elasticsearch repository for 7.x packagesbaseurl=https://artifacts.elast...

2021-08-21 01:01:49 213

原创 Vertica常用函数

Vertica常用函数--第一个参数：字符串--第二个参数：字符串中的分隔符--第三个参数：就是需要取离分隔符多远的字符串，比如说nihao_nishizhu，参数是1就是nihao,参数是2就是nishizhuselect split_part('nihao_nishizhu','_',1) from google.ga_campaign;--日期函数，都是没有时分秒--date不管你加不加横杠，显示的时候都活有横杠显示，没有横杠可以节约空间(2021-08-10)select date(

2021-08-10 17:01:52 3627

原创一个可以上热点事件的桌面软件

软件名字叫:MyDockFinder官网下载地址:https://www.mydockfinder.com/最后在把我的桌面壁纸给你们壁纸链接:https://i.loli.net/2021/07/04/ONtuFTj7gGKkvqd.png

2021-07-04 18:33:10 333

原创 hbase rowkey的模糊查询

package com.lhh.hbaseapi.rowkeyhbase;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.TableName;import org.apache.hadoop.hbase.client.*;import org.apache.hadoop.hbase.filter.C

2021-07-02 11:59:21 2992

原创 hbaseApi操作

package com.lhh.hbaseapi;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.HColumnDescriptor;import org.apache.hadoop.hbase.HTableDescriptor;import org.apache.hadoop.hbase.Tab

2021-07-02 11:55:25 156

原创 HDFS支持的存储格式及压缩算法？

1.存储格式(1) SequenceFile以二进制键值对的形式存储数据,支持三种记录存储方式。.➢无压缩: io效率较差，相比压缩，不压缩的情况下没有什么优势。➢记录级压缩:对每条记录都压缩，这种压缩效率比较一般。➢块级压缩: 这里的块不同于HDFS中的块的概念.这种方式会将达到指定块大小的二进制数据压缩为一个块。(2) Avro将数据定义和数据- -起存储在一条消息中，其中数据定义以JSON格式存储，数据以二进制格式存储。Avro 标记用于将大型数据集分割成适合MapReduce处理

2021-07-02 11:47:50 2621

原创 *HDFS集群安全模式的作用？什么情况下会进入到安全模式？安全模式的解决办法？

1.进入安全模式的情况集群启动时必定会进入安全模式:1.NameNode启动时，首先将映像文件(fsimage)载入内存，并执行编辑日志(edits)中的各项操作.一旦在内存中成功建立文件系统元数据的映像，则创建一个新的fsimage文件和一个空的编辑日志.此时，NameNode开始监听DataNode请求.但是此刻，NameNode运行在安全模式，即NameNode的文件系统对于客户端来说是只读的。2.系统中的数据块的位置并不是由NameNode维护的，而是以块列表的形式存储在DataNod

2021-07-02 11:46:05 1248

原创解决连CentOs7界面版没有联网的标志,以及连不上网解决方法

解决连CentOs7界面版没有联网的标志,以及连不上网解决方法--终端执行mv /var/lib/NetworkManager /var/lib/NetworkManager.bak--执行完之后重启

2021-06-14 11:43:54 345 1

原创 hadoop

启动hadoop系统,使用sbin/strat-all.sh命令时,请给出启动顺序namenode --> datanode --> secondarynamenode --> resourcemanager -->nodemanager大数据的四特性 4v1.数据量大2.数据类型多3.商业价值高4.处理速度快hadoop是什么,作用是什么,适用于什么场景--1.hadoop是什么?hadoop是由java编写的,在分布式服务器集群上存储海量数据并运行分析

2021-06-13 23:05:05 1371 1

原创 shiro笔记

shiro权限使用url配置控制鉴权授权：配置缩写功能anon 指定url可以匿名访问authc 指定url需要form表单登录，注销不关闭浏览器也会清除sessionauthcBasic 指定url需要basic登录,注销不关闭浏览器就不清除sessionlogout 登出过滤器，配置指定url就可以实现退出功能noSessionCreation 禁止创建会话roles 需要指定角色才能访问perms 需要指定权限才能访问port

2021-05-24 22:48:52 142

原创 jedis

Hyperloglog什么是基数？一组数据中不重复的个数 A（1,3,5,7,8,7）B（1,3,5,7,8）基数 = 5 312312简介 redis2.8.9更新了hyperloglog数据结构！ redis Hyperloglog基数统计算法！优点：占用的内存是固定的，2^64不同的元素的技术，只需要费12KB的内存！如果要从内存的角度来比较 Hyperloglog是首选注意：0.81%的错误率！统计UV任务，可以忽略不计如果允许，

2021-05-24 22:44:54 173

原创正则表达式

案例元字符描述\将下一个字标记符,或一个向后引用,列如"\n"匹配\n“\n”匹配换行符。序列“\”匹配“\”而“(”则匹配“(”。即相当于多种编程语言中都有的“转义字符”的概念。^匹配输入首行,如果设置了RegExp对象的Multiline属性，^也匹配“\n”或“\r”之后的位置。$匹配输入行位,如果设置了RegExp对象的Multiline属性，$也匹配“\n”或“\r”之前的位置。*匹配前面的子表达式任意次数,例如，zo*能匹配“z”，也能匹配“zo

2021-05-24 22:41:58 71

原创 ElasticSearch

安装ElasticSearch[root@singlenode ~]#rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch #导入源的GPG[root@singlenode ~]#vi /etc/yum.repos.d/elasticsearch.repo[elasticsearch]name=Elasticsearch repository for 7.x packagesbaseurl=https:

2021-05-24 22:36:50 73

原创 mongonDB

安装MongODBvim /etc/yum.repos.d/mongodb-org-4.2.repo[mongodb-org-4.2]name=MongoDB Repositorybaseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/4.2/x86_64/gpgcheck=1enabled=1gpgkey=https://www.mongodb.org/static/pgp/server-4.2.a

2021-05-24 22:35:29 143

原创 Linux常用命令

1.查看cpuvmstat -n 3 2.查看资源使用top3.查看磁盘空间df -h4.通过端口号查看进程netstat -nltp --查看所有端口号netstat -nltp |grep -i 9083 --通过具体的端口号找进程shell 编程的管道符 – |将上一次获取到的结果往下传,并且进行可以进行其他操作[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-e7NH0rW2-1621866769851)(…/TypoarWrok

2021-05-24 22:33:10 202

原创数仓环境搭建及案例

1.安装Docker1.查看版本cat /etc/redhat-release #查看centos版本2.添加yum源yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo3.设置aliyun源dnf install https://mirrors.aliyun.com/docker-ce/linux/centos/8.3/x86_64/st

2021-05-24 22:31:53 1794

转载 school五十道练习题,高级查询

on条件是在生成临时表时使用的条件，它不管on中的条件是否为真，都会返回左边表中的记录。简单解释就是假设两个表A、B。以A表为左，B表为右。如果是ON A.key = B.key,如果符合条件那么B表的内容也会列出来如果不符合条件那么A表的属性会显示，但是B表的内容就全部显示为NULL--1、查询"01"课程比"02"课程成绩高的学生的信息及课程分数:select stu.s_id,stu.s_name,stu.s_birth,stu.s_sex,sc.s_score from studen

2021-05-24 22:28:46 94

原创 atguiguZookeeper

请简述选举机制(面试题)1.半数机制:集群中半数以上的机器存活,集群可用,所以zookeeper适合安装奇数台服务器2.zookeeper虽然在配置文件中没有指定Master,Slave,但是zookeeper,工作时,是有有个节点为Leaber,其他则为Follwer,Leader,是通过内部的选举机制临时产生的,3.zookeeper选举流程图[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-cuWKnqJ1-1621866342253)(…/TypoarWrokP

2021-05-24 22:26:29 134 1

原创 Kafka

第一章Kafka概述1.1定义:Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。1.2消息队列1.2.1传统消息队列的应用场景MQ传统应用场景值异步处理[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YseQRzvu-1621440239437)(https://i.loli.net/2021/05/02/Sy2vpEu6xMz9C4g.png)]使用消息队列的好处1）解耦允许你独立的扩展或

2021-05-20 00:05:30 410

原创 HBase知识点

解决hbase热点数据的问题?1.一个region是一个无边界的,所有的rowkey都会写入同一个rowkey,当rowkey的size大到一定的阈值时,hbase就会将region一分为二,这个过程叫做分裂–解决方案1.rowkey的散列或者预分区(1).预分区一开始就预建好了一部分region，这些region都维护着自己的start-end keys，我们将rowkey做一些处理，比如RowKey%i，写数据能均衡的命中这些预建的region，就能解决上面的那些缺点，大大提供性能(2)..

2021-05-20 00:03:24 417

原创 Flume

面试题4.1 你是如何实现 Flume 数据传输的监控的使用第三方框架 Ganglia 实时监控 Flume。4.2 Flume 的 Source**，Sink，**Channel 的作用？你们 Source 是什么类型？1、作用（1）Source 组件是专门用来收集数据的，可以处理各种类型、各种格式的日志数据，包括 avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy（2

2021-05-20 00:01:07 433 2

原创 failedVertices1 killedVertices0

2.错误解决Vertex did not succeed due to OWN_TASK_FAILURE, failedTasks:1 killedTasks:1, Vertex vertex_1619629015797_0001_1_00 [Map 1] killed/failed due to:OWN_TASK_FAILURE]DAG did not succeed due to VERTEX_FAILURE. failedVertices:1 killedVertices:0#在hadoop/etc

2021-04-29 15:30:47 937

原创 1.错误解决 Error GC overhead limit exceeded

解决:#在hadoop/etc/hadoop/mapred-site.xml添加如果配置 <property> <name>mapred.child.java.opts</name> <value>-Xmx1000m</value> </property>重启hadoop

2021-04-29 15:25:39 142

原创 MapReducer 取前五的案列Top n

1.业务需求,统计单词个数取前五Top 52.数据Chief Justice Roberts, Vice President Harris, Speaker Pelosi, Leader Schumer, Leader McConnell, Vice President Pence, my distinguished guests, [and] my fellow Americans.This is America’s day.This is democracy’s day.A day of hi

2021-04-25 17:00:15 426

原创 HADOOP MapReduce WordCount案列

1.安装windows hadoop 运行环境2.IDEA 创建maven项目导入依赖 <dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> &lt

2021-04-25 16:33:45 78

原创 Hadoop API 操作

导入依赖 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>3.1.3</version> </dependency>获取FileSystem的四种方式 /**

2021-04-25 16:21:58 297

原创 Hadoop经典面试题

启动hadoop系统,使用sbin/strat-all.sh命令时,请给出启动顺序namenode --> datanode --> secondarynamenode --> resourcemanager -->nodeamnager大数据的四特性 4v1.数据量大2.数据类型多3.商业价值高4.处理速度快hadoop是什么,作用是什么,适用于什么场景--1.hadoop是什么?hadoop是由java编写的,在分布式服务器集群上存储海量数

2021-04-25 16:03:54 238

原创数据仓库-Hive

1.数据仓库的基本概念[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-v0OhlHVi-1616598779764)(…/TypoarWrokPath/images/1615604642904.png)]数据仓库的特性数据仓库是面向主题的（Subject-Oriented ）、集成的（Integrated）、非易失的（Non-Volatile）和时变的（Time-Variant ）数据集合，用以支持管理决策。1.2.1. 面向主题数据仓库是面向主题的,数据仓库通过一个

2021-04-22 23:40:18 1006

TYM112的博客