wt5264的博客

原创 mysql与oracle递归查询的区别

【代码】mysql与oracle递归查询的区别。

原创 前端js通过xlsx组件实现将json数据处理成表格并导出成excel数据

【代码】前端js通过xlsx组件实现将json数据处理成表格并导出成excel数据。

原创 mongoDB使用工具类

【代码】mongoDB使用工具类。

原创 Hystrix主要配置

原创 springcloud深度探索

Spring Cloud 封装了 Netflix 公司开发的Eureka 模块来实现服务治理在传统的rpc远程调用框架中，管理每个服务与服务之间依赖关系比较复杂，管理比较复杂，所以需要使用服务治理，管理服务于服务之间依赖关系，可以实现服务调用、负载均衡、容错等，实现服务发现与注册。Eureka用了CS的设计架构，Eureka Senver 作为服务注册功能的服务器，它是服务注册中心。而系统中的其他微服务，使用 Eurea的客户端连接到 Eureka Server并维持心跳连接。

原创 vue级联组件改造-根据勾选内容得顺序返回结果

【代码】vue级联组件改造选择。

原创 vue实现pdf高亮显示，以及矩形绘图(vue-pdf插件使用)

【代码】vuePdf组件实现高亮展示以及矩形绘图。

原创 vue实现水印

实现水印

原创 kafka单机部署

准备kafkakafka_2.10-0.10.0.1.tgz解压kafkatar -zxvf kafka_2.10-0.10.0.1.tgz -C /opt/重命名 mv kafka_2.10-0.10.0.1.tgz kafka配置环境变量 export KAFKA_HOME=/opt/kafka export PATH=$PATH:$KAFKA_HOME/bin编辑server.properties broker.id=1 #代理id...

原创 kafka入门学习

1.定义kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。2.消息队列最大的优势就是解耦削峰。两种模式：点对点模式（1对1消费模式）、发布订阅模式（1对n消费模式）。发布订阅模式分为两种：1.消费者主动拉取的（kafka模式，优点，可以根据自己的消费情况来拉去生产者生产的数据。缺点：浪费资源，时刻不停地要访问队列是否存在要拉去的数据）。2.由队列主动推送的（比如公众号模式，弊端，不想要的信息也会强行推送进来）...

原创 Hbase shell 操作

1. Hbase中的手动切分region split 'ns1:t1','row040'2. Hbase手动移动region​ move 'f6e6164514db53d660c5414df1f3864e','uplooking05,16020,1539222350164' 服务器之间移动3. Hbase中row-key的设计- 行健的热点问题​ 是由于行健相似、连续且数据量过大操作成单region的数据量过大，进而影响读写效率​ 行健应该尽量的...

原创 Hbase的安装部署

安装hbase高可用集群之前首先要保证zookeeper和hadoop已经安装完成准备安装包集群的规划uplooking03: master regionserveruplooking04: regionserveruplooking05: regionserver解压安装包tar -zxvf hbase-1.1.5-bin.tar.gz -C /opt/重命名mv hbase-1.1.5/ hbase配置环境变量export HBASE_HOME=/opt.

原创 HBase分布式存储系统学习

简介：hadoop的数据库，根据谷歌的bigtable论文实现的 分布式的可扩展的大数据存储技术 随机访问 实时读写海量数据 存储数‘十亿行 百万例’的数据 高性能、高可靠、面向列、可伸缩的分布式存储系统 HBase的底层也是基于hdfs的 利用zookeeper作为一个协调工作的HBase到底是什么东西？分布式开源数据库，基于hadoop文件系统 模仿提供了Goole文件系统的BigTable数据库的所有功能 处理非常庞大的表 数10亿，百万列 利用mr计算数据，利用zoo

原创 hive表的分类

1. hive中的表的分类1.1 内部表(管理表)create table t3(name string,.....);就是说数据的生命周期受表的控制，当表删除的时候，其数据文件一并被删除1.2 外部表 create ==external== table t4(name string,....);就是说数据的生命周期不受表的控制，当表删除的时候，其数据文件并不会删除1.3 分区表分区可以理解为分类，通过分类把不同类型的数据放到不同的目录下 分类的标准就是分区字段，可以一个，...

原创 hive表的操作（二）

1. Hive中的 DDL 定义表（创建表 创建库） DML 修改表 DQL 查询表***把hdfs中海量的数据查询出来，这才是目的给hive表添加数据insert into t1 values('admin',12)(不推荐使用); 直接给hdfs中添加文件即可(不推荐使用) hdfs dfs -put users.csv/user/hive/warehouse/db1.db/t3(不推荐使用) load data [local] inpath '/root/users.csv' in...

原创 hive表的操作（一）

1.执行linux命令方式 ： ! + 命令 + ；2.执行hadoop-hdfs操作方式 ： 例如：dfs -ls /; 相当于省略了hdfs， 内部封装了hdfs。3.Hive的模式本地模式 开发阶段建议使用本地模式 set hive.exec.mode.local.auto=true;集群模式（默认） 生产环境建议使用集群模式 9. Hive的访问cli(命令行) shell中使用 webui(很少用) 使用hive源码制成...

原创 linux环境下安装hive

原创 hive数据库学习

1.概念是建立在hadoop-hdfs上的一个数据仓库，存放在hdfs的数据仓库。（mysql存放在本地硬盘，windows的本地文件中），本质是披着MapReduce的一个工具（分析引擎）可以将hql翻译成mapreduce作业。 允许不熟悉mapreduce开发的人员可以借助hive来存储在hdfs的海量数据。 hadoop的客户端工具，不一定部署带集群当中。hive没有专门的数据存储格式 ...

原创 MapReduce中的数据倾斜

数据倾斜：由于map中的key通过hash取模算法进行分区，大多数取模的值都相同，这样就导致分区的数量出现两极分化，称这种现象为数据倾斜。解决数据倾斜：重写分区方法，进行自定义分区。 增大reduce的个数 重构数据的key，增大hash的随机概率。...

原创 MapRduce-单词统计的执行流程

分配资源阶段发起一个提交作业的请求，到达resourcemanager nodemanager想resourcemanager汇报自己的状态（带宽，内存，cpu...） 客户端进行规划，在job.xml中，进行切片。 resourcemanager 管理很多的nodemanager 为其分配资源（带宽，内存，cpu...） 分配完资源之后，客户端与nodemanager打交道，把自己的jar包、切片 分发给nodemangaer，datamanager就有了客户端的数据。 客户端就知道运行多少

原创 MapReduce 分布式计算模型

简介：主要用于搜索领用，解决海量数据的计算问题。Map和Reduce都是独立的阶段。处理多余10PB数据时趋向于变慢。基于网络IO和磁盘IO计算的。模型：计算海量的数据，不能在同一个机器上计算。 移动计算，不移动数据。 两个阶段 map：映射阶段 reduce：计算阶段 如何计算：在每个datanode上进行计算，但datanode节点占用的资源非常大，所以就引出了资源调度管理（yarn），专门为MapReduce分配资源。...

原创 uni-app封装uni-request请求方法

// 封装uni-requestimport uniRequest from 'uni-request';let baseURL = "***"; function request(params) { let headerData = { 'content-type': 'application/json' } let method = params.method.toUpperCase(); //小写改为大写 let dataObj = null; let reques.

原创 线程池使用

背景:经常创建和销毁、使用量特别大的资源，比如并发情况下的线程，对性能影响很大。 思路：提前创建好多个线程，放入线程池中，使用是直接获取，使用完放回池中。可以避免频繁创建销毁、实现重复利用。类似生活中的公共交通工具。 好处 提高响应输度（减少创建线程的时间） 降低资源消耗（重复利用线程池中线程，不需要每次都创建） 便于线程管理 corePoolSize:核心池的大小 maximumPoolSize:最大线程数 keepAliveTime：县城没有任务时最多保持多长时间后回终止

原创 线程通信（生产者和消费者）

1.分析这是一个线程同步问题，生产者和消费者共享同一个资源，并且生产者和消费者之间相互依赖，互为条件。对于生产者，没有生产产品之前，要通知消费者等待，而生产了产品之后，有需要马上通知消费者消费 对于消费者，消费完之后，要通知生产者已经结束消费，需要生产新的产品以供消费 生产者消费者问题中，仅有synchronized是不够的 synchronized可阻止并发更新同一个共享资源，实现了同步 synchronized不能用来实现不同线程之纪检的消息传递 2.线程通信提供的方法方法名

原创 线程同步（lock）

1、死锁多个线程各自占有一些共享资源，并且相互等待其他线程占有的资源才能运行，而导致两个或者多个线程都在等待对方释放资源，都停止执行的情形。某一个同步块同事拥有“两个以上的对象的锁”时，就可能发生死锁问题。2、死锁产生的必要条件：互斥条件：一个资源每次只能被一个进程使用。 请求与保持条件：一个进程因请求资源而阻塞时，对以获取的资源保持不放。 不剥夺条件：进程已获得的资源，在未使用玩之前，不能强行剥夺。 循环等待条件：若干县城之间形成以中头尾相接的循环等待资源关系。上面列出了死锁的四个必要

原创 线程同步（synchronized）

1、synchronized由来由于我们可以通过private关键字来保证数据对象只能被方法访问，所以我们只需要针对方法提出一套机制，这套机制就是synchronized关键字，他包括两种用法：synchronized方法和synchronized块。2、什么是synchronized方法synchronized方法控制“对象”的访问，每个对象对应一把锁，每个synchronized方法都必须获得调用该方法的对象的锁才能执行，否则线程会阻塞，方法一但执行，就独占该锁，直到该方法返回才释放锁，后面

原创 线程同步（重点难点）

1.什么叫线程同步?多个线程同时操作一个程序，导致线程不安全，所以提出来一个线程同步的概念，实际就是一个等待机制。比如多人买票，食堂吃饭排队，同一张一行卡同一时间用不同的方式取钱等等。2.对象的等待池由于多个需要同时访问的线程去访问同一个方法时，会出现线程不安全的问题，所以会让线程入到对象的等待池。3.队列和锁...

原创 消息队列初步学习

上面这个图便是消息队列最原始的模型，它包含了两个关键词：消息和队列。1、消息：就是要传输的数据，可以是最简单的文本字符串，也可以是自定义的复杂格式（只要能按预定格式解析出来即可）。2、队列：大家应该再熟悉不过了，是一种先进先出数据结构。它是存放消息的容器，消息从队尾入队，从队头出队，入队即发消息的过程，出队即收消息的过程...

原创 浏览器禁止后退按钮，并刷新当前页面。

1.防止页面后退function preventBack(){window.history.forward();}setTimeout("preventBack()", 0);window.onunload=function(){null};

原创 阿里云短信服务接入

1.了解阿里云用户权限操作 创建用户组，进行短信服务授权 创建用户，拿到用户名，密码（AccessKey ID，AccessKey Secret ）2.开通短信服务 在搜索搜索短信服务 点击国内短信，创建模板和签名等待审核。...

原创 Docker的环境搭建与简单的使用

1.Docker简介Docker是一个开源的容器引擎，它有助于更快地交付应用。 Docker可将应用程序和基础设施层隔离，并且能将基础设施当作程序一样进行管理。使用 Docker可更快地打包、测试以及部署应用程序，并可以缩短从编写到部署运行代码的周期。Docker 是一个开源的商业产品，有两个版本：社区版（Community Edition，缩写为 CE）和企业版（Enterprise Edition，缩写为 EE）。企业版包含了一些收费服务，个人开发者一般用不到。下面的介绍都针对社区版。2.Do

原创 23种设计模式入门

一、设计模式的三个分类 创建型模式：对象实例化的模式，创建型模式用于解耦对象的实例化过程。结构型模式：把类或对象结合在一起形成一个更大的结构。行为型模式：类和对象如何交互，及划分责任和算法。二、各分类中模式的关键点 1创建模式 ...

原创 原生js实现模板弹出框

<!DOCTYPE html><head> <meta charset="utf-8"> <title>登录确定提醒</title> <style> html, body { margin: 0; padding: 0; font-family: "微软雅黑"; } .wrap-dialog { positi.

原创 跨域解决方案

jsonp 实际开发不用。面试会问 原理是什么？动态生成script标签，通过src去进行访问。（服务器是不拦截的）只支持get请求，这是用的最少的原因。应用：有些第三方的数据接口可能会使用jsonp解决跨域问题。工作中不怎么用。2.中间服务器的代理浏览器阻止跨域 ，服务器之间不存在跨域eg：前端部署的地址：127.0.0.1:8000中间服务器：127.0.0.1:8000目标服务器地址：127.0.0.2:8888...

原创 windows环境下搭建vue开发环境

windows环境搭建Vue开发环境一、安装node.js官网：https://nodejs.org/en/download/历史版本：https://nodejs.org/en/download/releases/下载完毕后，可以安装node，建议不要安装在系统盘（如C：）。二、设置nodejs prefix（全局）和cache（缓存）路径1、在nodejs安装路径下，新建node_global和node_cache两个文件夹2、设置缓存文件夹npm c.

原创 nginx配置

#user nobody;user root;worker_processes 1;#error_log logs/error.log;#error_log logs/error.log notice;#error_log logs/error.log info;#pid logs/nginx.pid;events { worker_connections 1024;}http { include mime.types...

原创 linux 启动jar包

nohup java -jar xxx.jar >/usr/local/temp.txt &

原创 Nacos的启动与关闭

先找到Nacos的安装目录的bin目录下// 后台开启./startup.sh -m standalone &// 关闭./shutdown.sh

原创 Zookeeper集群环境搭建以及shell的操作

安装Zookeeper集群搭建要求大于1的奇数台奇数 是一个高可用的分布式文件系统。1.准备开源包tickTime=2000 每一次投票使用的时间更新系统时间为北京时间yun -y install ntp ntpdatentpdate -u ntp.api.bz...

原创 WT-Zookeeper学习与介绍

一.概念（文件系统）：开源的分布式协调服务，是Google的chubbly一个开源的实现，他是一个分布式提供一致性的软件。二.zookeeper提供的功能：配置维护 域名服务 分布式锁 主服务三.Zookeeper的特点：简单zookeeper的核心是一个精简的额文件系统，它支持一个简单的操作和一些抽象操作丰富可实现一些协调数据结构和协议，例如：分布式队列，分布式锁和一组统计别节点中的“领导者选举”高可靠支持集群模式，可以很容易解决单点故障问题松耦合交互不同进程之