- 博客(685)
- 资源 (31)
- 收藏
- 关注
RSS订阅原创 详解RocketMQ中的consumer
RocketMQ的Consumer创建启动流程(1) Push和Pull这两种方式，本质都是Pull实现的，所以DefaultMQPullConsumerImpl的start方法启动(2) 配置通知方式：广播/集群(3) 配置消息队列分配策略：默认都是平均，此外还有循环平均、配置分配等。(4) 根据Topic创建这个消费者对应的SubscriptionData，包括：TAG。(5) DefaultMQPullConsumerImpl里面的rebalanceImpl将会把topic和Subscrip
2022-07-26 10:30:49
1188
原创 springboot自带缓存caffeine使用
轻松搞定springboot缓存缓存使用步骤：@Cacheable这个注解，用它就是为了使用缓存的。所以我们可以先说一下缓存的使用步骤：开启基于注解的缓存，使用 @EnableCaching 标识在 SpringBoot 的主启动类上。...
2022-07-22 17:43:44
653
原创 Git之将master合并到自己分支
首先拉取代码到自己服务器上1.切换到master主分支上git checkout master2.将master更新的代码pull到本地git pull3.切换到自己的分支上git checkout branchName4.合并master到自己的分支git merge master5.add 和commitgit add .git commit -m "merge master"7.将自己分支的代码提交到远程git push o..
2022-04-22 14:24:46
1027
原创 win10配置多个pip源头
1.创建pip.ini文件#1.win+R输入%APPDATA%2.新建pip文件夹3.在pip文件夹中创建pip.ini,使用utf-8编码pip.ini文件内容1.创建pip.ini文件#1.win+R 输入%APPDATA%2.新建pip文件夹3.在pip文件夹中创建pip.ini,使用utf-8编码pip.ini文件内容2.配置环境变量新增环境变量：PIP_CONFIG_FILE=%APPDATA%\pip\pip.ini;3.使用cmd或者pycha..
2022-01-18 19:47:23
1525
原创 hadoop、spark、flink集群修改默认ssh端口号
大数据集群在实际搭建过程中，其默认ssh端口不一定都是22，这时需要根据各自的配置文件进行适配。ssh端口号默认为22，以centos7.x为例，可以在/etc/ssh/sshd_config中进行修改，如下示例将22改为22222：# If you want to change the port on a SELinux system, you have to tell# SELinux about this change.# semanage port -a -t ssh_port_t -
2022-01-13 15:41:31
2212
1
原创 CDH-CM资源下载
CDH-6.3.2链接 : https://pan.baidu.com/s/1Vd9ZaXcKG0JDCDszTtasjQ oycpCDH-6.3.1链接 : https://pan.baidu.com/s/1uaCfCF9p0PLaxdm9mGeQgA 提取码 : pdcbCDH-6.2.1链接 : https://pan.baidu.com/s/19fB1bl0TdDBPNrVr70SE7g 提取码 : 8f3z CDH-5.16.2链接 : h...
2022-01-12 16:34:48
1860
原创 Java Scala 混合编程导致 编译失败 ，【找不到符号】问题解决
大致就是 工程里分了 java 代码 和scala代码。然后在java代码中 引用了 scala 的代码。[ERROR] Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.1:compile (default-compile) on project spark-auth: Compilation failure[ERROR] /Users/hulb/project/dipper/spark-aut.
2022-01-11 16:31:13
1375
原创 KUBERNETES资源对象POD、REPLICASET、DEPLOYMENT、SERVICE之间的关系
Pod、ReplicaSet、Deployment、Service之间的关系如下图Pod：Pod是一个或多个容器的组合，这些容器共享存储、网络和命名空间，以及如何运行的规范。Pod是Kubernetes的最小可部署单元。Pod的中文译词是豌豆荚，docker容器就像是豆子运行在豌豆荚内。ReplicaSet：先说下Replication Controller。Replication Controller的作用是确保Pod以指定的副本个数运行。ReplicaSet是Replication
2021-12-23 09:52:34
1021
原创 kubernetes – 利用descheduler均衡POD分布
kube-scheduler调度POD是一次性决策的，一旦POD选定node运行起来，除非人工干预否则POD将永远运行在该node。那么一个典型的问题就来了，当我们向集群新加入一个node时，POD并不会自动均衡到这个node，除非我们主动滚动发布以便让kube-scheduler做出新的决策。类似的问题还有，我们通常希望同一个deployment的POD可以分布到不同的node上，然而集群中的资源碎片很有可能导致2个POD分布到一个node上，随着集群资源的自然变动，我们希望能有合适的机会重新进行
2021-12-17 16:30:31
816
原创 虚拟机的服务IP老变，怎么办？
我们在做服务环境搭建的时候，一般会采用Linux操作系统，有钱的主可以购买云厂商提供的云服务，比如阿里云，腾讯云，但是像阿里云这样的厂商，购买一个1M，2G内存的配置或许还不贵，但如果我们需要多台，而且配置还不止如此，但就需要一笔费用了。所以，一般我们可以采用本地虚拟机的方式来做实验，之后，再购买云服务做测试，做生产部署。但是本地的虚拟机IP老变，这个有时候第二天醒来，十分苦恼，怎么办？这个问题，我们首先要搞清楚其老变的原因是什么？因为默认我们创建本地虚拟机，其IP的分配策略是DHCP，即动
2021-12-15 14:17:23
1151
原创 Go实现基于RSA加密算法的接口鉴权
基于 RSA 加密算法的接口鉴权方案假设接口调用者是客户端，接口提供方是服务端，则此方案存在以下规则：客户端需要使用 RSA 算法（1024 位长度的私钥）生成公私钥，并将公钥下发给服务端； 客户端使用私钥对请求内容加签，然后需要同时将请求内容和签名一并发给服务端； 服务端收到请求后，使用客户端给的公钥对请求内容和签名进行验签，以确定请求是来自客户端的。生成公私钥# 生成 1024 位长度的私钥openssl genrsa -out private-key.pem 1024 # 生
2021-11-02 16:26:21
451
原创 什么是 JWT -- JSON WEB TOKEN
什么是JWTJson web token (JWT), 是为了在网络应用环境间传递声明而执行的一种基于JSON的开放标准（(RFC 7519).该token被设计为紧凑且安全的，特别适用于分布式站点的单点登录（SSO）场景。JWT的声明一般被用来在身份提供者和服务提供者间传递被认证的用户身份信息，以便于从资源服务器获取资源，也可以增加一些额外的其它业务逻辑所必须的声明信息，该token也可直接被用于认证，也可被加密。起源说起JWT，我们应该来谈一谈基于token的认证和传统的session认
2021-10-29 14:23:18
128
原创 软件设计师考试下午案例真题（专业解析+参考答案）
1、A1：采购人员A2：仓库管理员A3：派送人员U1:用户注册U2:打印订单U3:购买书籍2、U3用例描述主要事件流：1、顾客登录系统2、顾客浏览书籍信息3、系统检查某种书籍的库存量是否为04、顾客选择所需购买的书籍以及购买数量5、系统检查库存量是否足够6、系统显示验证码验证界面7、顾客输入验证码验证8、系统自动生成订单备选事件流3a：若库存量为0则无法查询到该书籍的信息，退回到2；5a：若购买数量超过库存量，则提示库存不足，并退...
2021-10-21 23:08:05
558
原创 tensorflow安装或升级的快速姿势
正常安装，速度非常慢，甚至经常断开：pip install tensorflow使用代理，同样速度非常慢，kb级：pip install --proxy="https://127.0.0.1:19180" tensorflow试试国内的镜像地址，在此为他们的善举点赞????阿里云提供的镜像地址：pip install tensorflow --index-url https://mirrors.aliyun.com/pypi/simple豆瓣提供的地址：pip in
2021-10-14 09:42:10
302
原创 JS实现多线程数据分片下载
在大数据开发过程中，为了提高大文件的上传速度，往往需要将大文件切割为小的数据分片，这样小分片数据可以充分利用有限的带宽，加快上传速度。上传完成后，通常做法是在后端进行合并，而我的做法是后台保持分片存储，数据使用时候，前端JS开启多线程下载，再合并为完整的文件。这样的好处和上传一样，可以提高下载速度很多倍。下载效率和分片算法相关。以下是多线程分片下载聚合的实现。function concatenate(arrays) { if (!arrays.length) return null;
2021-09-29 15:54:28
2107
2
原创 IDEA运行报Command line is too long和unable to find valid certification path to requested target
IDEA解决 Maven：unable to find valid certification path to requested target一、报错信息：Could not transfer artifact org.apache.maven.plugins:maven-install-plugin:pom:2.4 from/to alimaven (https://maven.aliyun.com/repository/central): sun.security.validator.Vali
2021-08-25 14:40:10
575
原创 CentOS 7下用firewall-cmd控制端口与端口转发详解
这篇文章主要给大家介绍了在CentOS 7下用firewall-cmd控制端口与端口转发的相关资料，文中介绍的非常详细，对大家具有一定的参考学习价值，需要的朋友们下来来一起看看吧。一、firewalld 守护进程firewall-cmd命令需要firewalld进程处于运行状态。我们可以使用systemctl status/start/stop/restart firewalld来控制这个守护进程。firewalld进程为防火墙提供服务。当我们修改了某些配置之后（尤其是配置文件的修改），fi
2021-07-08 17:18:45
1682
原创 阿里云云效 Maven
阿里云Maven中央仓库为阿里云云效提供的公共代理仓库，帮助研发人员提高研发生产效率，使用阿里云Maven中央仓库作为下载源，速度更快更稳定。阿里云云效是企业级一站式 DevOps 平台，覆盖产品从需求到运营的研发全生命周期，其中云效也提供了免费、可靠的Maven私有仓库Packages，欢迎您体验使用。 仓库名称 阿里云仓库地址 阿里云仓库地址(老版) 源地址 central ...
2021-07-07 09:48:28
581
原创 C1-任务3-web开发
<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>CSDN能力认证</title> <style> h2{ font-family: 宋体;size: 50px;color: rgba(255, 255, 255, 1); backgrou...
2021-06-02 14:52:37
128
原创 C1-01-作业（植物大战僵尸修改&&二维码图片码）
1、110101010001转十六进制是多少，有什么最快的计算方法得到结果？2、101011.101011对应的十进制数是多少？3、常见的音频bian'ma
2021-06-01 18:30:26
466
1
原创 IPFS-Cluster集群共识协议分析
Consensus共识组件共识组件主要职责：（1）管理全局Pinset集合，包括从其它节点获取或者向其它节点发送Pin操作命令。（2）管理Pinset相关的文件在IPFS中的持久化存储。（3）在所有的节点间实现分布式一致，所有的节点需要收敛相同的Pinset。（4）管理集群节点，包括节点加入离开，设置节点间的管理机制。（5）设置节点信任机制，定义哪些节点可以访问本地RPC服务。IPFS-Cluster共识组件目前有两种具体实现，基于“Raft”的强一致性分布式共识，和基于“Mer
2021-05-08 14:22:45
472
1
原创 IPFS存储数据一致解决方案
参考IPFS官网：https://cluster.ipfs.io/documentation/guides/consensus/引 言星际文件系统（InterPlanetary File System，缩写IPFS）是一个旨在创建持久且分布式存储和共享文件的网络传输协议。它是一种内容可寻址的点对点超媒体分发协议。在IPFS网络中的节点将构成一个分布式文件系统。在IPFS网络中，文件是拆分后存储在不同节点的，每个节点存储的内容并不相同，当我们使用IPFS私有网络来作为系统的文件系统时就存在存储一
2021-05-08 11:22:13
366
原创 软考五大常用算法：分支限界法
一、基本描述 类似于回溯法，也是一种在问题的解空间树T上搜索问题解的算法。但在一般情况下，分支限界法与回溯法的求解目标不同。回溯法的求解目标是找出T中满足约束条件的所有解，而分支限界法的求解目标则是找出满足约束条件的一个解，或是在满足约束条件的解中找出使某一目标函数值达到极大或极小的解，即在某种意义下的最优解。 （1）分支搜索算法 所谓“分支”就是采用广度优先的策略，依次搜索E-结点的所有分支，也就是所有相邻结点，抛弃不满足约束条件的结点，其余结点加入活结点表。然后从表中选择...
2021-04-30 20:16:54
418
1
原创 软考五大常用算法：回溯法
1、概念 回溯算法实际上一个类似枚举的搜索尝试过程，主要是在搜索尝试过程中寻找问题的解，当发现已不满足求解条件时，就“回溯”返回，尝试别的路径。 回溯法是一种选优搜索法，按选优条件向前搜索，以达到目标。但当探索到某一步时，发现原先选择并不优或达不到目标，就退回一步重新选择，这种走不通就退回再走的技术为回溯法，而满足回溯条件的某个状态的点称为“回溯点”。 许多复杂的，规模较大的问题都可以使用回溯法，有“通用解题方法”的美称。2、基本思想在包含问题的所有解的解空间...
2021-04-30 20:14:23
378
1
原创 软考五大常用算法：贪心算法
一、基本概念所谓贪心算法是指，在对问题求解时，总是做出在当前看来是最好的选择。也就是说，不从整体最优上加以考虑，他所做出的仅是在某种意义上的局部最优解。贪心算法没有固定的算法框架，算法设计的关键是贪心策略的选择。必须注意的是，贪心算法不是对所有问题都能得到整体最优解，选择的贪心策略必须具备无后效性，即某个状态以后的过程不会影响以前的状态，只与当前状态有关。所以对所采用的贪心策略一定要仔细分析其是否满足无后效性。二、贪心算法的基本思路 1.建立数...
2021-04-30 20:10:53
793
1
原创 软考五大常用算法：动态规划算法
一、基本概念 动态规划过程是：每次决策依赖于当前状态，又随即引起状态的转移。一个决策序列就是在变化的状态中产生出来的，所以，这种多阶段最优化决策解决问题的过程就称为动态规划。二、基本思想与策略 基本思想与分治法类似，也是将待求解的问题分解为若干个子问题（阶段），按顺序求解子阶段，前一子问题的解，为后一子问题的求解提供了有用的信息。在求解任一子问题时，列出各种可能的局部解，通过决策保留那些有可能达到最优的局部解，丢弃其他局部解。依次解决各子问题，最后一个子问题就是初始问题的解。...
2021-04-30 20:07:48
885
4
原创 软考五大常用算法：分治算法
一、基本概念 在计算机科学中，分治法是一种很重要的算法。字面上的解释是“分而治之”，就是把一个复杂的问题分成两个或更多的相同或相似的子问题，再把子问题分成更小的子问题……直到最后子问题可以简单的直接求解，原问题的解即子问题的解的合并。这个技巧是很多高效算法的基础，如排序算法(快速排序，归并排序)，傅立叶变换(快速傅立叶变换)…… 任何一个可以用计算机求解的问题所需的计算时间都与其规模有关。问题的规模越小，越容易直接求解，解题所需的计算时间也越少。例如，对于n个元素的排序问题，当n=1时，不...
2021-04-30 20:03:40
1059
2
原创 数据库 关系模型的基本概念
关系（Relation）D1 × D2 × ··· × Dn 的子集叫做在域D1，D2，···，Dn 上的关系，表示为 R(D1，D2，···，Dn )，其中R就是关系名，n就是目或度。一个关系对应一张二维表，二维表就是关系名。例如，下图中的整个二维表的值就是一个关系目 或 度（degree）二维表关系R(D1，D2，···，Dn )中的 n 就是关系的目或度。关系模式（Relation Schema）在二维表中的行定义，即对关系的描述称为关系模式。一般表示为（属性1，属性2，…,属
2021-04-29 16:55:34
1729
原创 UML—用例图的扩展关系和包含关系的区别
用例图（Use Case Diagram）是从用户的角度描述系统的功能，并指出各功能的操作者，主要作用有3个：获取需求、指导测试、在整个过程中的其他工作流中期指导作用。用例元素包括参与者和用例，用例间的关系主要是：继承关系、扩展关系和包含关系，这里比较难区分的的是扩展关系和包含关系，比较容易混淆，分析整理一下。【知识点】扩展关系（Extend）：当某个新用例在原来的用例基础上增加了新的步骤序列，则原来用例被称为基用例，这种关系称为扩展关系，可以这样理解这里的基用例是一个完整的用例，...
2021-03-19 00:34:37
2120
原创 Mongodb GridFS——适合大小超过16MB的文件
一、概述 GridFS是基于mongodb存储引擎是实现的“分布式文件系统”，底层基于mongodb存储机制，和其他本地文件系统相比，它具备大数据存储的多个优点。GridFS适合存储超过16MB的大型文件，不过16M数据在当今互联网时代，已经不足为奇。我们可以使用GridFS构建大规模的“图片服务器”、“文档服务器”、“视频、音频”文件服务器，GridFS对于web应用，可以结合nginx插件“ningx-gridfs”能够简单的实现负载均衡等特性，非常便捷；可以简单认为GridFS是为web应用..
2021-03-16 16:50:02
1442
原创 IPFS pubsub功能的使用
什么是 pubsub？发布订阅模式(Publish–subscribe pattern)，最早是由苹果公司在 Mac OS 引入。消息的发送者（publishers）不直接将消息发送给接收者(subscriber)。而是将消息分门别类，发送者并不知道也无需知道接收者的存在。而接收者只需要订阅一个或者多个类别的消息类，只接收感兴趣的消息，不知道也无需知道发布者的存在。（https://en.wikipedia.org/wiki/Publish%E2%80%93subscribe_pattern）写代
2021-03-16 14:42:02
520
原创 大数据之Hadoop3.0 新特性
总览官网https://hadoop.apache.org/docs/r3.1.4/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml最低要求的Java版本从Java 7增加到Java 8 支持HDFS中的擦除编码 YARN时间轴服务v.2 Shell脚本重写 支持随机container和分布式计划 MapReduce任务级本机优化 支持两个以上的NameNode 多个服务的默认端口已更改 支持Microsoft Azure Data
2021-03-09 15:06:16
153
原创 hadoop配置文件详解系列（二）-hdfs-site.xml篇
上一篇介绍了core-site.xml的配置，本篇继续介绍hdfs-site.xml的配置。 属性名称 属性值 描述 hadoop.hdfs.configuration.version 1 配置文件的版本 dfs.namenode.rpc-address 处理所有客户端请求的RPC地址，若在HA场景中，可能有多个namenode，就把名称ID添加到进来。该属性的格式为nn-host1:rpc-port。 d
2021-03-09 09:04:45
2178
原创 hadoop配置文件详解系列（一）-core-site.xml篇
导读：关于hadoop的配置文件，目前其它网站资料中都是只写了几个常用的属性配置，但平时可能也会用到其它属性，这里就一起写出来，供大家参考。本篇先从core-site.xml开始，后续将继续进行其它配置文件的梳理。 属性名称 属性值 描述 hadoop.common.configuration.version 0.23.0 配置文件的版本。 hadoop.tmp.dir /tmp/hadoop-${user.name}
2021-03-09 09:02:36
4114
1
原创 hadoop访问ssh非默认端口问题
启动报错[root@vpt00043s1a15 sbin]# cd /usr/local/hadoop-3.1.4/sbin[root@vpt00043s1a15 sbin]# start-dfs.shStarting namenodes on [vpt00043s1a15]Last login: Mon Mar 8 10:42:05 CST 2021 from 10.225.252.137 on pts/0vpt00043s1a15: ssh: connect to host vpt000
2021-03-08 15:09:40
587
转载 快速理解raft协议（附件动画演示）
正文 raft是工程上使用较为广泛的强一致性、去中心化、高可用的分布式协议。在这里强调了是在工程上，因为在学术理论界，最耀眼的还是大名鼎鼎的Paxos。但Paxos是：少数真正理解的人觉得简单，尚未理解的人觉得很难，大多数人都是一知半解。本人也花了很多时间、看了很多材料也没有真正理解。直到看到raft的论文，两位研究者也提到，他们也花了很长的时间来理解Paxos，他们也觉得很难理解，于是研究出了raft算法。 raft是一个共识算法（consensus algorithm），所谓共识，就是多个
2021-03-05 10:38:32
756
1
原创 ipfs 存储目录结构
~/.ipfs 为节点的存储目录目录 存储内容 备注 blocks 文件块内容 hash.data datastore 存储本地数据 ipns 等 keystore 存储公私钥对 config 配置文件 version 版本信息 datastore_spec datastore的存储：https://github.com/ipfs/go-datastoreIPFS是...
2021-03-03 17:15:03
1052
1
转载 人力资源社会保障部 工业和信息化部颁布智能制造、大数据、区块链工程技术人员3个国家职业技术技能标准
近日，人力资源社会保障部与工业和信息化部联合颁布了智能制造工程技术人员、大数据工程技术人员、区块链工程技术人员等3个国家职业技术技能标准。这3个职业是2019年4月以来人力资源社会保障部办公厅、市场监管总局办公厅、统计局办公室陆续发布的新职业，均属于《中华人民共和国职业分类大典（2015年版）》第二大类“专业技术人员”中的职业。随着智能制造、大数据、区块链等新技术与各产业发展深入融合，推动了传统产业高端化、智能化、数字化，催生了一批新兴产业增长引擎，智能制造工程技术人员、大数据工程技术人员、区块链工程技
2021-02-24 09:25:17
395
原创 AI实战第九课 定时爬取豆瓣前250名的电影生成html
#!/usr/bin/env python# encoding=utf-8import requestsimport refrom bs4 import BeautifulSoupfrom openpyxl import Workbookimport logging,dominate,osfrom dominate.tags import *import datetimeimport xlrdimport schedimport timewb = Workbook()des.
2021-02-08 10:52:41
583
1
grafana-3.1.1-1470047149.x86_64.rpm
2016-10-01
arcgis_api_for_flex_3_6 api库文件
2014-03-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人