- 博客(20)
- 收藏
- 关注
RSS订阅原创 Mybatis-plus知识点
Mybatis-plus封装了许多的方法，dao层接口继承BaseMapper，user为pojo对象内部有很多常用的方法。Service层同样实现额很多的方法，可以通过继承IService来实现高级查询Mapper可以通过eq,allEq等来实现wrapper来实现高级查询缺点：QueryWrapper queryWrapper = new QueryWrapper();queryWrapper.eq(“name”,“zhansan”);userService.getOne(queryW
2021-06-09 11:05:34
174
原创 第三方授权登录
https://gitee.com/yadong.zhang/JustAuth做授权登录首先这里需要在gitee上获取第三方登录的// 创建授权requestAuthRequest authRequest = new AuthGiteeRequest(AuthConfig.builder() .clientId("clientId") .clientSecret("clientSecret") .redirectUri("redirectUri")
2021-06-09 11:02:01
1010
原创 elasticsearch集群
1、linux系统搭建es集群linux对应es jar包解压到对应目录下修改elasticsearch.yml并分发# 加入如下配置#集群名称cluster.name: cluster-es#节点名称，每个节点的名称不能重复node.name: node-1#ip 地址，每个节点的地址不能重复network.host: linux1#是不是有资格主节点node.master: truenode.data: truehttp.port: 9200# head 插件需要这打开这两个
2021-05-20 16:30:53
100
原创 elasticSearch 倒排索引，索引修改流程，实时搜索，分词，文档冲突
倒排索引以前是id对应数据1001 hello Myworld倒排是hello 1001world 1001分词器主要对hello Myworld做分词还要看hello Myworld得数据类型，如果是keyword就无法分词就是hello Myworld 1001分词器得话主要是ik_max_word最细粒度区分和ik_smart区分词条：索引中最小存储和查询单元词典：字典，词条的集合，B+tree,hashMap倒排表：单词在倒排列表中的存储位置
2021-05-20 16:30:27
192
原创 elasticSearch容易错误点
1、matchQuery和matchPhraseQuery一个是分词查询,一个是精确的。2、索引类型为text可以分词查询和精确查询。keyword不支持分词查询（matchQuery）查询不到的。3、范围查询rangeQuery，可以查询keyword和text还有基本数据类型，日期类型。4、不管是keyword还是text还是date还是数值类型都不支持数值分词查询，比如一个类型为keyword或text或date或者long类型的1000数值，只能通过1000查询到不能通过1查询到。5、模糊查
2021-05-18 14:46:23
210
原创 elasticsearch基本操作和restApi
1、elasticsearch安装启动看见访问localhost：9200能见到for search说明正常2、安装head插件elasticsearch的可视化工具 端口为91003、整合kibanahttp://localhost:5601/app/kibanakibana以来node.js,需要安装kibana汉化，在kibana.yml中加i18n.locale: “zh-CN”kibana.yml也可以配置elasticsearch服务的地址和端口等。4、与java整合与sp
2021-05-18 14:40:28
141
原创 大数据学习----------Yarn----------（八）基本操作，调度器，tool接口
Apache Hadoop默认的资源调度器是容量调度器。CDH框架默认调度器是公平调度器
2021-04-29 10:00:13
280
原创 大数据学习 Yarn--MapReduce--HDFS整体流程详细总结
1、提交jar包程序到节点，想RM申请资源.2、返回一个路径和一个task文件夹，task文件夹再这个路径中3、转向hdfs文件存储系统找对应的文件，并对文件进行切片操作，然后会在task中创建jar（运行的java代码），job.split(文件的切片信息，默认情况下切片大小等于hdfs文件存储block大小，128M)，job.xml(里面包含job运行所需的配置)。4、向RM（资源老大）申请运行ApplicationMaster(mapTask管理)程序5、初始化一个task，并放入队列中，.
2021-04-26 14:14:40
295
2
原创 大数据学习----------MapReduce----------（七）Join，压缩
Hadoop reduce阶段迭代器重用问题protected void reduce(Text key, Iterable<TableBean> values, Context context) throws IOException, InterruptedException { ArrayList<TableBean> orederBeans = new ArrayList<>(); TableBean pbBean = new T
2021-04-26 13:41:03
70
原创 大数据学习----------MapReduce----------（六）Shuffle机制，Partition 分区，WritableComparable 排序，Combiner 合并，数据输出
mapreduc详细工作流程（1）MapTask 收集我们的 map()方法输出的 kv 对，放到内存缓冲区中（2）从内存缓冲区不断溢出本地磁盘文件，可能会溢出多个文件（3）多个溢出文件会被合并成大的溢出文件（4）在溢出过程及合并的过程中，都要调用 Partitioner 进行分区和针对 key 进行排序（5）ReduceTask 根据自己的分区号，去各个 MapTask 机器上取相应的结果分区数据（6）ReduceTask 会抓取到同一个分区的来自不同 MapTask 的结果文件，Redu
2021-04-23 15:08:17
347
原创 大数据学习----------HDFS----------（四）NameNode 和 SecondaryNameNode工作机制和区别，DataNode工作机制
思考：类似导航的NameNode 中的元数据是存储在哪里的？如果是存在磁盘，效率低下，如果是内存，服务器宕机后数据会消失，集群无法工作，因此产生在磁盘中备份元数据的FsImage。但是如果内存数据更新后，FsImage的数据必须也要及时更新（防止宕机后数据不一致），效率会受影响，因此，引入 **Edits 文件（只进行追加操作，效率很高）**每当元数据有更新或者添加元数据时，修改内存中的元数据并追加到 Edits 中。这样，一旦 NameNode 节点宕机断电，可以通过 FsImage 和 Edits
2021-04-19 15:50:46
99
原创 大数据学习----------hadoop----------（三）HDFS优缺点，组成架构，Shell常用操作，Api操作，HDFS读写流程和节点距离
HDFS优点HDFS缺点HDFS架构这里注意管理数据的块大小是根据磁盘的传输速度得来的，一盘磁盘传输速率为100M/s 所有块设置为128M如果使用固态硬盘传输速率达到300M到400M，块可以设置大小为256M。...
2021-04-19 14:48:37
150
2
原创 大数据学习----------hadoop----------（二）数据拷贝，免密登入，集群配置
前提条件：VM虚拟机linux版本为 CentOS-7.5-x86-1804详细安装和配置步骤可以问度娘。软件资源我会上传上去，要关闭防火墙。1、创建三台虚拟机为hadoop102，hadoop103，hadoop104都创建用户atguigu卸载虚拟机自带jdk。2、保证 Linux 系统 ifcfg-ens33 文件中 IP 地址、虚拟网络编辑器地址和 Windows 系 统 VM8 网络 IP 地址相同...
2021-04-15 08:57:42
222
原创 大数据学习----------hadoop----------（一）
1、hadoop主要解决，海量数据的存储和计算。优势：高可靠性（数据有备份），高扩展性（动态增加节点），高效性（多台服务器并行计算），高容错（失败的任务重新分配到其他服务器）。2、hadoop组成...
2021-04-09 15:22:53
109
原创 rabbitMQ注意点
1、轮询分发（消息接受自动确认）和公平分发（消息接受手动确认）,手动不确认的话消息队列中消息不会消失。2、消息队列持久话设置，队列会存盘，mq服务器宕机后队列不会消失。Durability设置为durable，但是里边的消息会消失3、rabbitmq设置ttl过期时间主要有两种，在BasicProperties中设置expiration还有一种是args2.put(“x-message-ttl”,5000);channel.queueDeclare(“ttl.queue”, true, false
2021-04-08 14:34:47
328
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人