- 博客(377)
- 资源 (86)
- 问答 (47)
- 收藏
- 关注
RSS订阅
原创 [微服务]Spring Cloud Sleuth全链路追踪
如果我们要在网管中记录是否是Get请求,我们可以使用网关过滤器:配置过滤器---zuul模块中继承ZuulFilter@Slf4j@ComponentextendsZuulFilter@AutowiredprivateTracertracer;/**过滤器类型@return*/@Overridepublic() {returnPRE_TYPE;/**过滤器顺序@return*/
2023-10-25 21:33:24
232
原创 Spring Cloud Config
服务端:一个集中化配置中心,可以是一个独立的服务,也可以注册到服务治理中心,它可以集中管理各个 微服务的配置;作用原理是从某个地方读取(本地/云端)提供给其客户端作为配置;客户端:作为一个服务端,通过读取Config的服务端来获取自己的配置文件;注意客户端配置文件名 为bootstrap.yml。快速失败避免长期读取不到服务端配置而长期占用资源。这里指定了配置文件的后缀部分。则需要配置用户名密码。这里的配置文件名要跟。
2023-10-25 12:38:40
352
原创 【SpringCoud】
大部分情况下都不需要自定义;全局配置:FUNDribboneager-loadenable: trueclients连接超时时间: 1000请求超时时间: 3000最大连接数: 500每个服务提供者的最大连接数: 100是否所有操作都重试: false重试其他实例的最大重试次数不包括首次所选的server: 2同一实例的最大重试次数不包括首次调用: 1。
2023-10-22 21:39:30
132
原创 自学大数据第17天~Hive安装与配置及常用命令
在启动Hive时，有可能会出现Hive metastore database is not initialized的错误，文章中给出解决方案。解决Hive启动，Hive metastore database is not initialized的错误。
2023-04-16 14:04:03
572
原创 自学大数据第16天~Pig安装与配置及其他
Apache Pig是一个用于分析大型数据集的平台，它由用于表达数据分析程序的高级语言以及用于评估这些程序的基础架构组成。Pig程序的显着特性是它们的结构适合大量的并行化，这反过来使它们能够处理非常大的数据集。
2023-04-09 20:35:22
387
原创 自学大数据的第15天~Hadoop框架的历史沿革
前面学习了MongoDB,也只是一些入门的操作,后续还会继续深入学习深入学习Hadoop,那么就需要了解Hadoop发展的历史沿革,就像学习历史一样;当然一件事物被创作出来需要不断地发展才能完善;
2023-04-08 16:58:01
347
原创 自学大数据第14天NoSQL~MongoDB及其命令
如果要确保在创建集合时MongoDB不会创建_id字段，并且要指定自己的ID作为集合的_id，则需要在创建集合时明确定义它。在显式创建id字段时，需要使用名称中的_id创建它。
2023-04-05 21:43:01
1045
5
原创 自学大数据第13天~Hbase数据库操作
前面学习了Hbase的安装与简单的使用(shell命令),今天首先复习一下Hbase的简单命令:启动Hbase,创建表,插入数据:可以看到,一次只能插入一列,不能插入多个列插入数据,然后查看这里可以看到每个数据都带有时间戳,所以如果是分布式集群的方式要注意每个机器之间的时间要统一;如果在之前的位置插入的数据可以看到,我们获取数据时获得的是最新的数据;我们还可以在创建表的时候指定某一列保存的版本数;创建一个表可以看到我们在创建表的时候 命令是区分大小写的;
2023-04-02 16:17:26
228
原创 自学大数据第12天~Hbase
先留个问题~ERROR: KeeperErrorCode = ConnectionLoss for /hbase/master稍后解决找到了问题的根因:查看报错日志事关tmp文件夹的配置,所以去找一下hbase配置文件中关于这个文件夹的配置项我的策略是将这个配置项注销掉然后启动hbase ,之后hmaster就成功启动了;接着shell命令进入hbase数据库可以通过shell操作habse的了;
2023-03-28 21:16:48
636
原创 自学大数据第十一天~Hbase
通过这种方式实现的工具主要有 Hindex(华为开发);专门针对Hbase数据库开发,支持多个表的索引也支持多个列的索引,也支持基于部分列值的索引;但是这会对机器的性能带来影响,每插入一条数据,就会向索引表插入数据,这回加大对IO的消耗;
2023-03-28 19:49:15
447
原创 自学大数据第十天~Hbase
随着数据量的增多,数据的类型也不像原来那样都是结构化数据,还有非结构化数据;Hbase时google 的bigtable的开源实现,虽然有了HDFS和MR,但是对于数据的实时处理是比较困难的,没有办法应对数据的爆炸式增长;
2023-03-24 21:27:07
1385
1
原创 自学大数据第九天~hdfs读写以及java api
在hadoop1.0版本时由于只有一个NameNode,所以当NameNode宕机之后,集群就挂了(停止运行),这时候要通过SecondryNameNode冷备来恢复;在hadoop2.0版本的时候有了热备,此时主NameNode挂了之后,热备的会顶上;第二名名称节点还是一个备胎~冷备;由于NameNode的数据存放在内存中,内存不能无限制大,所以当集群数据越来越多时,性能就会下降;
2023-03-15 21:06:03
431
原创 自学大数据第七天~Hadoop集群的部署与使用
我们来分析一下啊,由于要储存海量数据,DataNode的数量肯定要很多,如何找到这些海量数据就需要NameNode,所以,NameNode所在的机器要有很高的可靠性,而DataNode所在的机器由于备份机制的存在,所以没有那么高要求;对于小集群,NameNode跟JobTracker是可以运行在一个机器上的,但是随着集群中数据的增加,NameNode跟JobTracker是要运行在不同机器上的;其里面有很多元数据,为了提高数据的访问速度,这些数据都是直接保存在内存中;两个4核或8核CPU。
2023-03-12 19:55:44
296
原创 自学大数据第六天~HDFS命令(一)
我们在HDFS系统中删除文件,其实就像是在win/linux中,文件先被放进回收站;如果在 Hadoop Shell 运行这个命令，会提示功能还没实现。根据反馈结果,rmr在最新版本中已被废弃,推荐使用 -rm -r。查看文件内容跟~tail–>文件最后1KB内容。moveToLocal命令失败了。这风格更像是linux中的命令了。还可以下载多个文件合并到下载。先用不同命令上传到hdfs中。
2023-03-11 19:17:51
3090
1
原创 自学大数据第5天~hadoop集群搭建(二)
写入该文件,每行一个,默认localhost(即把本机(namenode也作为数据节点),所以我们在伪分布式是没有配置该文件;此处提示该命令被废弃了(这个跟hadoop版本有关,按照提示,使用mapred --daemon start 代替上述命令。/usr/local文件权限不能随便改,于是我在local下建了一个 临时文件夹,传输完成后,将文件夹移来;的,冗余通常为3,也就是说,一份数据有三分副本,所以存1G的数据需要3G的容量;于是修改文件所属为hadoop,授予文件700权限,还是不可以;
2023-03-08 21:48:11
967
原创 自学大数据第四天~hadoop集群的搭建(一)
当hadoop采用分布式模式部署和运行时,存储采用分布式文件系统HDFS,此时HDFS名称节点和数据节点位于不同的机器上;数据就可以分布到多个节点,不同的数据节点上的数据计算可以并行执行了,这时候MR才能发挥其本该有的作用;之后登录虚拟机就很容易辨认出当前是处于Master节点上进行操作，不会和Slave节点产生混淆。由于本节点启动时默认没有启动网卡,所以就不关闭了,为了便于区分节点,我们还需要修改各个节点的主机名。其他的节点自己测试一下就可以,这里不再展示。修改之后的具体配置如下。
2023-03-05 12:08:59
361
原创 自学大数据第二天
这不得不让我去看看hadoop-env.sh中 到底配置了什么。下面启动NameNode 守护进程 和DataNode守护进程。启动失败了,报错了----ssh本地连接被拒绝,正在查找原因S。可以看到文件中有 NameNode和DataNode。启动之前先看一下 sbin文件夹下的内容。start-dfs.sh文件中的内容。1,设置java环境的。
2023-02-26 20:35:14
99
原创 自学大数据的第一天
1,逻辑上分离~集群之间没有依赖,互不影响2,某些进程往往部署在一台服务器上,但是属于不同的集群3,MapReduce 是计算框架,代码层面的处理逻辑
2023-02-25 21:27:27
638
原创 Go中赋值、转换、反射创建对象、调用方法
但是,Go使用interface实现的功能叫组合，Go是使用组合来实现的继承，说的更精确一点，是使用组合来代替的继承;在java中反射是可以获取继承关系,而go语言实际是不支持继承的,所以必须是相同的类型才能使用AssignableTo(),ConvertibleTo()简单来讲跟结构体的嵌套差不多,只不过这次是实现接口,从代码的实际应用来讲,实现接口是为了实现特定的目的,这个跟java中接口的实现的作用是差不多的功能;简单来看这种继承的方式实际就是结构体的嵌套(刚开始学,不知道这样理解是否正确)
2022-11-27 11:38:32
673
原创 Go中的泛型和反射以及序列化
我们接触过java的同学都会知道,java中的反射是怎么一回事---->>在运行期间去获得对象的类型信息以及其他一些信息;
2022-11-19 20:54:37
510
原创 Go的接口,闭包,异常捕获
errorCode string errorResult string } // 结构体实现Error接口 func(d DivideByZeroError) Error() string {errorCode : "error" , errorResult : "divide by zero" , } return - 1 , byZeroError //返回 float64 与error(这里有点问题,结果为-1时 } return a / b , nil } func main() {err!
2022-09-04 21:34:49
239
原创 Go中的函数
Go中的函数给我的感觉就是C中的函数,js中的函数,但是Go中的函数又有些不一样;首先回顾一下java中方法中的参数,有的是传的指针,有的是传是值的拷贝;因为切片的内部结构是 指针(引用),len 和cap。我们也可以在声明返回值的类型时将返回值声明好。不要好奇,因为他扩容了呗。这样做跟下面的区别----显而易见。举个例子就是 传的是切片。...
2022-08-29 21:30:41
219
原创 Go中的逻辑处理(if,switch),for循环,goto
在switch type 语句中case字句不能使用fallthrough。if可以嵌套,但是如果是多个判断条件,那么可以使用switch。switch -case-default 这个跟java类似;在if中声明的局部变量只是作用在if这个判断逻辑里,if句子中云粗包含一个分号常见的if语句的形式。上面的案例看到switch是不支持穿透的,这里提示要求是左侧应该是接口类型的数据类型。接口之后再去深入学习,先简单了解下—1,逻辑表达式中可以有变量或者常量。......
2022-08-21 22:37:56
322
原创 Apache-Solr的部署与使用
~在海量数据下，对MySQL或Oracle进行模糊查询或条件查询的效率是很低的;~> Solr 是一个独立的企业搜索服务器，具有类似 REST 的 API。 你把 通过 JSON、XML、CSV 或 HTTP 上的二进制文件（称为“索引”）。 您通过 HTTP GET 查询它并接收 JSON、XML、CSV 或二进制结果。常见的搜索解决方案~>基于Apache Lucene（全文检索工具库）实现搜索>基于谷歌API实现搜索和基于百度API实现搜索;Solr 在使用 Lucene 搜索库并对
2022-03-05 22:51:06
410
原创 单体架构分布式架构~RPC
RPC为什么要学习RPC?单体架构分布式架构RPCRPC与HTTPRPC的实现RMI实现RPC为什么要学习RPC?这就要讲项目架构的历史渊源了,在以前互联网不发达的时候,数据访问的并发量不大,这时候的项目大多数是以单体架构为主;什么是单体架构?单体架构一个项目里面的全部代码实现全部的业务功能;画图便于理解,这里以jd.com为例当我们要访问业务时,这些业务实现的代码都打包在一个项目包里,这样的做法有优点,也有缺点;优点:1,部署简单----部署一个项目代码2,成本低----只需要一
2022-02-14 16:59:53
358
原创 【manjaro的安装后的配置】解决输入法安装与声卡配置
manjorod的安装与配置欢迎各位采坑manjoro安装输入法前的准备-----》》欢迎各位采坑manjoro你好！ 这是我第二次安装manjoro了如果不算虚拟机安装的话，基本的安装步骤1,拷贝到镜像到 U盘上2,重启系统，然后U盘启动3,自己选择一些配置，可以将manjoro安装到一个盘符里，也可以和win共存剩下的基本就是一路默认—基本也不用选择，等待系统安装完毕安装完毕后发现系统米有中文输入法，别着急，可以自己安装，毕竟manoro是一个高度定制化的系统;安装输入法前的准备-
2021-12-16 13:33:48
3302
10
原创 python
pycharm中的相对路径是相对于解析器的即.venv/Scripts/python.exe。vscode中的文件相对路径是相对于项目的~即该项目的顶级目录的。接下来就是分析返回的数据,解析数据~拿出图片的url。第一步:打开网站,分析图片的数据源来自哪里,发现我们要的数据原来自这里,
2024-05-15 08:12:57
192
原创 python爬虫[简易版]
接下来就是分析返回的数据,解析数据~拿出图片的url。第一步:打开网站,分析图片的数据源来自哪里,发现我们要的数据原来自这里,
2024-05-15 07:59:17
340
原创 简单的爬虫代码[so easy]
我们把从网络上获得的数据保存到一个变量中,3,怎么从这些数据中找到我想要的?1, 爬的数据格式是什么?2,爬的数据大小是多大?需要 urllib 包。然后写入进一个文件中,
2024-05-12 10:59:17
294
1
原创 springcloud 复习day2~[条件装配]
在特定条件下加载bean这里通过配置文件(元数据) 中特定的值来实现,也可以直接在LoginFilterCondition类中添加别的逻辑
2024-03-24 18:48:33
915
原创 【后端卷前端3】
点击按钮修改文本数据, 我们想要监听showHello的值的变化与否,我们需要在data()中去定义一个监听模块–:model 其实是v-bind:model的缩写,其作用是将值传递给该组件,但是从该组件获得的值不能向上传递;注意这里并不能限制输入的数据类型,而是可以帮助我们将数据转换为数字,如果这个值不能被解析,则会返回原始值;前端展示的时候 , :model的 方式并不能实时显示输入的文本。监听的数据是 data()中的动态数据~响应式数据。'获取整个dom元素'效果是去掉两边的空格。
2023-12-16 20:53:35
261
原创 一致性hash算法
这样我们在新增节点的时候,只需要通过hash算法将下一个节点的部分数据分配给新增的节点即可,减少节点的时候,只需要将减少的节点的数据插入到顺时针的下一个节点即可;但是这样随着数据量的增多,如果数据库实例要增加,那么就要重新及逆行数据的分配(即之前用户的数据路由到的库的数据可能要做数据迁移,这要付出时间和代价,对企业来讲成本很高;结果显示数据库的数据量明显分配不均匀呀,这是因为使用 hash值划分hash环不太平均,导致区间大的分配到的数据就多,划分小的分配到的数据就小;如果没有大于当前节点的哈希值的数据。
2023-10-27 12:00:59
245
解决分布式数据插入数据库~一致性hash算法
2023-10-27
goLang笔记+beego框架
2023-09-06
微服务的RestTemplate调用和声明式调用
2022-10-22
bridge-utils1.7.1网桥工具教程[内含软件包].zip
2022-07-10
大数据同步代码框架实现源码
2022-04-01
SpringSecurity function ModifyAuthroties RemebeMe
2022-03-28
快速搭建网站的工具,快速：体积小，加载速度快 开源：开放源代码，高水平，高品质
2022-02-28
golang中关于post请求的一个疑问
2023-08-21
Hadoop官方教程中,下面这个操作失败,有可以回答一下的朋友吗
2023-02-25
这里的内存效果指的什么
2022-06-18
mysql的优化,官方的翻译如下,热心人给解答一下
2022-06-12
java作用域中在套一个作用域,属性重名就不行,为什么C语言就可以?
2022-05-02
下面这断代码结果是什么?
2022-04-24
想不通的一个问题~权限与角色springsecurity
2022-03-25
solr导入数据库数据总是查询到0条数据
2022-03-07
git bash here出现下面这种情况
2022-02-18
解答一下这个该怎么遍历?freemarker
2022-01-19
为什么1.2.3就正常,1.2.9就异常?
2022-01-17
ajax中的data该怎们写
2021-12-21
http 500错误,怎么解决?
2021-12-09
关于Junit4和junit5测试环境整合
2021-11-27
微软自带浏览器太占内存了,怎么解决?
2021-11-21
为什么maven中父工程的<scope>import</scope>不起作用?
2021-11-18
为什么连接远程库会这么慢?
2021-11-16
java中的flatmap方法怎么使用?
2021-11-11
来人呀,看YM source看到这里不太理解这是什么意思
2021-10-25
ThreadLocal在现实业务中有什么应用场景?
2021-10-15
下面这些是什么意思呀?给讲一下吧;
2021-10-09
这段代码有什么问题吗?
2021-10-08
这个代码的运行结果有人给解释一下吗?最好是带图的那种;
2021-10-08
百度API该怎么调用呢?
2021-10-07
shutdownNow方法该怎么用呢?等一个有缘人解答
2021-10-05
求解答一下LockSupport中park和unpark方法
2021-10-03
为什么会这个样子?需要帮助,急
2021-10-03
servlet入门问题,还请解答一下
2021-09-29
怎样设置框架随着浏览器窗口大小进行变化呀?
2021-09-27
Servlet发送给浏览器的中文时出现中文乱码"?"怎么解决?
2021-09-27
为什么会出现这么一块蓝色的部分?是哪里的问题?
2021-09-27
为什么相同的网页在火狐中打开是预想的模样,在edge中就不是呢?
2021-09-27
如何理解 "GET在浏览器回退时是无害的，而POST会再次提交请求。"中的无害??
2021-09-26
这是什么?微软彩蛋吗?还是tomcat出现了什么问题?
2021-09-25
为什么鼠标滚轮和鼠标悬停事件识别不到,是因为是div吗?
2021-09-24
怎么用js调用方法播放音乐?
2021-09-24
搞不懂呀,js的原型中这个是啥意思?
2021-09-24
有一个疑惑需要确认一下!
2021-09-24
怎么使用js中的这个方法呀?
2021-09-24
TA创建的收藏夹 TA关注的收藏夹
TA关注的人