- 博客(27)
- 收藏
- 关注
RSS订阅原创 docker发布dubbo服务 外部程序访问不到问题处理
程序通过docker向zookeeper注册服务时，会将容器地址(内网地址)作为服务的通信地址。当我们的程序都在容器内相互通信时，可以凭借容器地址相互通信。在创建容器时，给容器增加dubbo相关的特殊配置。特别是我们开发时需要连接一些测试环境的服务时，遇到这种问题总不能把服务在本地都启动一遍吧。31882宿主机端口与程序内配置的dubbo端口别忘记映射，好多人容易忽略。添加完之后，重新构建一个容器，观察dubbo服务提供者的通信地址 就变成。至此本地与容器内的dubbo服务就可以正常通信了。
2024-02-27 17:41:18
636
1
原创 JAVA并发编程入门之-闭锁、信号量、栅栏
闭锁的作用相当于一扇门，在闭锁到达结束状态之前，这扇门一直是关闭的，并且没有任何线程能通过，当到达结束状态时，这扇门会打开并允许所有线程通过；Future表示的计算是通过Callable来实现，相当于一种可生成结果的Runnable，并且可处于以下三种状态：等待运行，正在运行(Running)和运行完成(Completed)；线程调用await()方法的时候，这个线程就会被阻塞，当调用await()的线程数量到达屏障数的时候，主线程就会取消所有被阻塞线程的状态。闭锁用于等待事件，而栅栏用于等待其它线程；
2024-01-04 17:54:54
1181
原创 分布式与微服务的区别--之不是一个玩意篇
分布式系统原理与范型》定义：“分布式系统是若干独立计算机的集合，这些计算机对于用户来说就像单个相关系统”。分布式系统（distributed system）是建立在网络之上的软件系统。分布式诞生所要解决的是：存储、计算两个问题，且分布式一定是集群架构。分布式存储：当系统需要存储的文件过大，超出了单机硬盘的存储能力，就需要将文件拆分成若干个有序的小文件，分别存储到不同的机器上。并记录这些小文件的存储的元数据信息，比如：顺序、大小、存储位置等。
2023-07-10 16:07:27
184
转载 linux根分区扩展-非LVM
之前遇到过一个linux服务器分区采用的是标准分区（非LVM），后来由于业务增长磁盘无法满足需求，但是磁盘分区除了boot和swap剩余就一个根分区，只能扩展根分区。因为根目录会包含很多系统应用运行的配置等，肯定不能直接卸载，所以要采用一种既不破坏数据，又能扩容的方法：情况说明：/dev/vda3挂载在/目录，是/dev/vda最后一个分区，刚好新增的空间跟vda3是连续的，在最后选择start和end的时候，刚好就能连接上，这是成功的前提！！！
2023-06-30 17:43:28
986
原创 浅谈恶意请求造成缓存穿透和布隆过滤器
Bloom Filter（布隆过滤器）是一种空间效率很高的随机数据结构，它利用位数组很简洁地表示一个集合，并能判断一个元素是否属于这个集合。Bloom Filter的这种高效是有一定代价的：在判断一个元素是否属于某个集合时，有可能会把不属于这个集合的元素误认为属于这个集合（false positive）。因此，Bloom Filter不适合那些“零错误”的应用场合。而在能容忍低错误率的应用场合下，Bloom Filter通过极少的错误换取了存储空间的极大节省。优点：空间效率和查询时间都远远超过一般的算法。
2023-01-08 21:11:56
154
1
原创 组织结构树处理-告别递归
怎样效率又高又不会出现栈溢出的情况呢，我的思路是利用Map。言归正传，我们开始遍历组织列表的list，每次拿到值之后，我们就当他是最底层的节点，要做的就是从Map中寻找他的parentId。对，就是在Map中通过不断的引用来形成我们需要的树。一直以来，我们对于组织结构树的处理，第一印象就是递归，因为谁也不知道到底有多少层。但是当组织结构的叶子变得越来越大，还有比较恶心的场景非要返回整棵树怎么办，还是感觉能跑就行？哈哈）这样场景，递归的时间复杂度为O(2^n)，指数型增长，效率指数型下降，滋滋~。
2022-12-09 22:16:33
218
原创 ORACLE之RAC集群环境修改db_files大小
随着数据量不断增大，每次手动或者程序监听自动增加表空间，都会逻辑划分一块磁盘用来存储。而逻辑磁盘的数量会受到oracle配置的影响。默认是200（我用的12C和18C版本都是200）。当逻辑磁盘数大小到200时，表空间就无法进行扩展了。
2022-11-29 17:58:38
1284
转载 分布式锁-这一篇全了解(Redis实现分布式锁完美方案)
前言 在某些场景中，多个进程必须以互斥的方式独占共享资源，这时用分布式锁是最直接有效的。 随着技术快速发展，数据规模增大，分布式系统越来越普及，一个应用往往会部署在多台机器上（多节点），在有些场景中，为了保证数据不重复，要求在同一时刻，同一任务只在一个节点上运行，即保证某一方法同一时刻只能被一个线程执行。在单机环境中，应用是在同一进程下的，只需要保证单进程多线程环境中的线程安全性，通过 JAVA 提供的 vol...
2021-07-18 21:16:16
866
原创 FileChannel无法设置非阻塞原因
个人观点：阻塞与非阻塞发生在进程与进程之间的通信，一般文件的读写操作只会发生在进程内部，不存在外部进程的传输，即使存在进程间的传输，文件依旧需要通过网络通信，把内容转成数据流传输，这点的传输和Socket通信是相同的，所以没必要再造一个API出来。...
2021-07-07 11:40:29
412
1
原创 The consumer group[] has been created before, specify another name please。RocketMQ异常
异常信息：org.apache.rocketmq.client.exception.MQClientException: The consumer group[] has been created before, specify another name please.See http://rocketmq.apache.org/docs/faq/ for further details. at org.apache.rocketmq.client.impl.consumer.DefaultMQPus
2021-06-10 15:06:52
9295
6
原创 基于Vue的高德离线地图开发--省市县
基于Vue的高德离线地图离线地图优势环境需要下载地图离线资源包本项目功能具体代码离线地图优势高德地图接口，个人每天免费调用次数为500次，渲染速度受网络波动影响，又或许项目部署在局域网，无法访问外网。所以需要使用离线地图。环境需要npm install echarts --save下载地图离线资源包https://hxkj.vip/demo/echartsMap/将离线包导入到Vue项目中，资源包格式geoJson，Vue可能出现不识别情况，可将后缀名改成.Json格式。本项目功能本项目
2021-03-26 12:14:29
4401
2
转载 线程组和线程池的区别
线程组：线程组存在的意义，首要原因是安全。java默认创建的线程都是属于系统线程组，而同一个线程组的线程是可以相互修改对方的数据的。但如果在不同的线程组中，那么就不能“跨线程组”修改数据，可以从一定程度上保证数据安全。线程池：线程池存在的意义，首要作用是效率。线程的创建和结束都需要耗费一定的系统时间（特别是创建），不停创建和删除线程会浪费大量的时间。所以，在创建出一条线程并使其在执行完任务后不结束，而是使其进入休眠状态，在需要用时再唤醒，那么就可以节省一定的时间。如果这样的线程比较多，那么就可以..
2020-09-29 14:55:42
326
原创 oracle大数据量常用操作
当oracle存储大数据量数据时的常用操作**一、分区表索引失效**原因：当表重新规划分区时可能会出现索引失效情况，此时需要重建索引1、查看失效的索引:select * from dba_ind_partitions where status != 'USABLE';2、将查询结果拼接成重建索引的sql语句select 'alter index ' || index_name || ' rebuild partition ' || partition_name || ';' from db
2020-09-02 10:46:52
627
转载 购物车存储在什么位置比较合适？Session？Cookie？数据库？
目前我们使用购物车的存储方式主要有：Session方式，Cookie方式，数据库存储，我们来一一分析优缺点。1.Session（Memcached）方式优点：购物车信息保存在服务端，可以保存1M 信息。缺点：对于大型网站会占有过多的服务器内存资源，造成服务器压力过大。Session保存的信息会在用户退出登录后丢失。用户下次登录，购物车中商品信息丢失，用户只能从新选择。2.Cookie方...
2019-12-12 23:27:02
1486
转载 spark性能调优之合理的并行度设置
Spark性能调优之合理设置并行度1.Spark的并行度指的是什么？ spark作业中，各个stage的task的数量，也就代表了spark作业在各个阶段stage的并行度！ spark当分配完所能分配的最大资源了，然后对应资源去...
2019-12-11 19:48:43
460
原创 hive启动元数据schema报错解决办法
博主最开始接触hive时，使用的还是0.14版本，这个版本用着相当不爽，bug百出，也没有多少内置的函数，in的子查询还报错。。。。。但是博主凭着强大的sql能力，巧妙的绕过了不能使用的函数以及子查询等。但是没有这些内置函数和语法的不健全，博主去下载了一个hive2.3版本。但是问题就出现了。ERROR session.SessionState: Error setting up authori...
2019-12-10 18:03:33
1389
原创 数据库优化之索引对DML语句效率的影响
索引是一个可以提高select查询最有效的手段，可以在数据库中为一列或者多列建立索引，创建索引首先将数据按照从小到大排序，让后存储到存盘中。Mysql中数据存储以页的方式存储，页大小默认16K，存放数据的称之为表页，存放索引的称之为索引页，两者存储角度没有什么区别，但是表页一般相互独立，而索引页之间的关系呈树形结构。根据树的层级结构划分：根节点、叶子节点、分支节点。叶子结点存储索引列排序后的值...
2019-12-10 17:29:18
1300
原创 Hive中的UDF、UDAF和UDTF简单使用和应用场景
UDFUser-Defined-Function 自定义函数 、一进一出；背景系统内置函数无法解决实际的业务问题，需要开发者自己编写函数实现自身的业务实现诉求。应用场景非常多，面临的业务不同导致个性化实现很多，故udf很需要。意义函数扩展得到解决，极大丰富了可定制化的业务需求。IO要求-要解决的问题in:out=1:1,只能输入一条记录当中的数据，同时返回一条处...
2019-12-01 19:07:30
1955
转载 Spark DAGSchduler stage划分原理与源码解析
①stage划分的算法的原理DAGSchduler对stage的划分，从出发action操作开始，往前倒推。首先会为最后一个rdd创建一个stage，往前倒推的过程中如果rdd之间存在宽依赖又创建一个新的stage，之前的最后一个rdd就是最新的stage的最后一个rdd ，以此类推，根据窄依赖和宽依赖判断，直到所有rdd遍历完成为止。②stage划分源码解析DAGSchduler.sca...
2019-12-01 18:02:40
177
原创 nginx-kafka插件安装
插件的作用，在统计系统的pv、uv等指标时，可以使用nginx直接对接kafka，实现效率提升。安装nginx-kafka插件步骤1.安装gityum install -y git2.切换到/usr/local/src目录，然后将kafka的c客户端源码clone到本地cd /usr/local/srcgit c...
2019-11-30 19:12:15
326
原创 Flume故障断点续传实现----自定义Source
我们在flume收集数据时，flume节点如果宕掉，后续flume再重新工作时不知道上次读到了什么地方，可能会出现重复读取数据或者漏数据的情况。解决办法就是每次读取数据是，记录一下偏移量信息。flume的Source是读取数据的组件，我们需要自定义一个Source，具体代码如下package com.utt.f...
2019-11-30 18:47:20
663
转载 spark的HA配置之recoveryMode模式
默认情况下，Standalone的Spark集群是Master-Slaves架构的集群模式，由一台master来调度资源，这就和大部分的Master-Slaves结构集群一样，存在着Master单点故障的问题。如何解决这个单点故障的问题呢？Spark提供了两种方案：基于文件系统的单点恢复(Single-...
2019-11-29 09:50:17
1331
原创 windows环境下Spark-mlib保存模型出现空指针异常情况解决
程序本来写的没什么问题，但windows不想理你，并向你抛了一堆异常！产生异常的主要原因： 是缺少winutil.exe这个插件，没有这个插件正常在windows端打印结果什么的，虽然会报异常但不会影响到结...
2019-11-18 22:06:48
283
原创 数据仓库、数据集市和数据湖三者的区别
数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。数据仓库算是优化的数据库，用于分析来自事务系统和业务线应用程序的关系数据，事先定义数据结构和约束来优化sql查询速度，其中结果通常用于操作报告和分析，数据经过ETL，可以充当用户信任的数据源。数据集市：数据集市就是满足特定的部门或者用户的需求，按照多维的方式进行存储，包...
2019-11-18 21:29:14
2886
原创 数据库优化之——索引对DML语句效率的影响
索引是一个可以提高select查询最有效的手段，可以在数据库中为一列或者多列建立索引，创建索引首先将数据按照从小到大排序，让后存储到存盘中。Mysql中数据存储以页的方式存储，页大小默认16K，存放数据的称之为表页，存放索引的称之为索引页，两者存储角度没有什么区别，但是表页一般相互独立，而索引页之间的关...
2019-11-04 22:56:48
1302
原创 关于jQuery的slideDown()不起作用问题解决
关于jQuery的各种坑爹属性，这里不做详述，本文只讲述jQuery中的slideDown和slideUp和slideToggle方法不能出现上下滑动的解决办法。方法作用的原因这个原因也是我的推断。<img>的src属性指向图片的地址，然后读取解析显示出来。但<img>在显示图片之前并不知道图片本身的宽度和高度属性，所以在调用slideDown()方法时，浏览器并不知...
2019-08-23 21:21:17
3479
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人