- 博客(384)
- 资源 (86)
- 问答 (47)
- 收藏
- 关注
原创 [微服务]Spring Cloud Sleuth全链路追踪
如果我们要在网管中记录是否是Get请求,我们可以使用网关过滤器:配置过滤器---zuul模块中继承ZuulFilter@Slf4j@ComponentextendsZuulFilter@AutowiredprivateTracertracer;/**过滤器类型@return*/@Overridepublic() {returnPRE_TYPE;/**过滤器顺序@return*/
2023-10-25 21:33:24 279
原创 Spring Cloud Config
服务端:一个集中化配置中心,可以是一个独立的服务,也可以注册到服务治理中心,它可以集中管理各个 微服务的配置;作用原理是从某个地方读取(本地/云端)提供给其客户端作为配置;客户端:作为一个服务端,通过读取Config的服务端来获取自己的配置文件;注意客户端配置文件名 为bootstrap.yml。快速失败避免长期读取不到服务端配置而长期占用资源。这里指定了配置文件的后缀部分。则需要配置用户名密码。这里的配置文件名要跟。
2023-10-25 12:38:40 369
原创 【SpringCoud】
大部分情况下都不需要自定义;全局配置:FUNDribboneager-loadenable: trueclients连接超时时间: 1000请求超时时间: 3000最大连接数: 500每个服务提供者的最大连接数: 100是否所有操作都重试: false重试其他实例的最大重试次数不包括首次所选的server: 2同一实例的最大重试次数不包括首次调用: 1。
2023-10-22 21:39:30 146
原创 自学大数据第17天~Hive安装与配置及常用命令
在启动Hive时,有可能会出现Hive metastore database is not initialized的错误,文章中给出解决方案。解决Hive启动,Hive metastore database is not initialized的错误。
2023-04-16 14:04:03 601
原创 自学大数据第16天~Pig安装与配置及其他
Apache Pig是一个用于分析大型数据集的平台,它由用于表达数据分析程序的高级语言以及用于评估这些程序的基础架构组成。Pig程序的显着特性是它们的结构适合大量的并行化,这反过来使它们能够处理非常大的数据集。
2023-04-09 20:35:22 416
原创 自学大数据的第15天~Hadoop框架的历史沿革
前面学习了MongoDB,也只是一些入门的操作,后续还会继续深入学习深入学习Hadoop,那么就需要了解Hadoop发展的历史沿革,就像学习历史一样;当然一件事物被创作出来需要不断地发展才能完善;
2023-04-08 16:58:01 362
原创 自学大数据第14天NoSQL~MongoDB及其命令
如果要确保在创建集合时MongoDB不会创建_id字段,并且要指定自己的ID作为集合的_id,则需要在创建集合时明确定义它。在显式创建id字段时,需要使用名称中的_id创建它。
2023-04-05 21:43:01 1081 5
原创 自学大数据第13天~Hbase数据库操作
前面学习了Hbase的安装与简单的使用(shell命令),今天首先复习一下Hbase的简单命令:启动Hbase,创建表,插入数据:可以看到,一次只能插入一列,不能插入多个列插入数据,然后查看这里可以看到每个数据都带有时间戳,所以如果是分布式集群的方式要注意每个机器之间的时间要统一;如果在之前的位置插入的数据可以看到,我们获取数据时获得的是最新的数据;我们还可以在创建表的时候指定某一列保存的版本数;创建一个表可以看到我们在创建表的时候 命令是区分大小写的;
2023-04-02 16:17:26 250
原创 自学大数据第12天~Hbase
先留个问题~ERROR: KeeperErrorCode = ConnectionLoss for /hbase/master稍后解决找到了问题的根因:查看报错日志事关tmp文件夹的配置,所以去找一下hbase配置文件中关于这个文件夹的配置项我的策略是将这个配置项注销掉然后启动hbase ,之后hmaster就成功启动了;接着shell命令进入hbase数据库可以通过shell操作habse的了;
2023-03-28 21:16:48 664
原创 自学大数据第十一天~Hbase
通过这种方式实现的工具主要有 Hindex(华为开发);专门针对Hbase数据库开发,支持多个表的索引也支持多个列的索引,也支持基于部分列值的索引;但是这会对机器的性能带来影响,每插入一条数据,就会向索引表插入数据,这回加大对IO的消耗;
2023-03-28 19:49:15 560
原创 自学大数据第十天~Hbase
随着数据量的增多,数据的类型也不像原来那样都是结构化数据,还有非结构化数据;Hbase时google 的bigtable的开源实现,虽然有了HDFS和MR,但是对于数据的实时处理是比较困难的,没有办法应对数据的爆炸式增长;
2023-03-24 21:27:07 1396 1
原创 自学大数据第九天~hdfs读写以及java api
在hadoop1.0版本时由于只有一个NameNode,所以当NameNode宕机之后,集群就挂了(停止运行),这时候要通过SecondryNameNode冷备来恢复;在hadoop2.0版本的时候有了热备,此时主NameNode挂了之后,热备的会顶上;第二名名称节点还是一个备胎~冷备;由于NameNode的数据存放在内存中,内存不能无限制大,所以当集群数据越来越多时,性能就会下降;
2023-03-15 21:06:03 450
原创 自学大数据第七天~Hadoop集群的部署与使用
我们来分析一下啊,由于要储存海量数据,DataNode的数量肯定要很多,如何找到这些海量数据就需要NameNode,所以,NameNode所在的机器要有很高的可靠性,而DataNode所在的机器由于备份机制的存在,所以没有那么高要求;对于小集群,NameNode跟JobTracker是可以运行在一个机器上的,但是随着集群中数据的增加,NameNode跟JobTracker是要运行在不同机器上的;其里面有很多元数据,为了提高数据的访问速度,这些数据都是直接保存在内存中;两个4核或8核CPU。
2023-03-12 19:55:44 327
原创 自学大数据第六天~HDFS命令(一)
我们在HDFS系统中删除文件,其实就像是在win/linux中,文件先被放进回收站;如果在 Hadoop Shell 运行这个命令,会提示功能还没实现。根据反馈结果,rmr在最新版本中已被废弃,推荐使用 -rm -r。查看文件内容跟~tail–>文件最后1KB内容。moveToLocal命令失败了。这风格更像是linux中的命令了。还可以下载多个文件合并到下载。先用不同命令上传到hdfs中。
2023-03-11 19:17:51 3147 1
原创 自学大数据第5天~hadoop集群搭建(二)
写入该文件,每行一个,默认localhost(即把本机(namenode也作为数据节点),所以我们在伪分布式是没有配置该文件;此处提示该命令被废弃了(这个跟hadoop版本有关,按照提示,使用mapred --daemon start 代替上述命令。/usr/local文件权限不能随便改,于是我在local下建了一个 临时文件夹,传输完成后,将文件夹移来;的,冗余通常为3,也就是说,一份数据有三分副本,所以存1G的数据需要3G的容量;于是修改文件所属为hadoop,授予文件700权限,还是不可以;
2023-03-08 21:48:11 1032
原创 自学大数据第四天~hadoop集群的搭建(一)
当hadoop采用分布式模式部署和运行时,存储采用分布式文件系统HDFS,此时HDFS名称节点和数据节点位于不同的机器上;数据就可以分布到多个节点,不同的数据节点上的数据计算可以并行执行了,这时候MR才能发挥其本该有的作用;之后登录虚拟机就很容易辨认出当前是处于Master节点上进行操作,不会和Slave节点产生混淆。由于本节点启动时默认没有启动网卡,所以就不关闭了,为了便于区分节点,我们还需要修改各个节点的主机名。其他的节点自己测试一下就可以,这里不再展示。修改之后的具体配置如下。
2023-03-05 12:08:59 419
原创 自学大数据第二天
这不得不让我去看看hadoop-env.sh中 到底配置了什么。下面启动NameNode 守护进程 和DataNode守护进程。启动失败了,报错了----ssh本地连接被拒绝,正在查找原因S。可以看到文件中有 NameNode和DataNode。启动之前先看一下 sbin文件夹下的内容。start-dfs.sh文件中的内容。1,设置java环境的。
2023-02-26 20:35:14 110
原创 自学大数据的第一天
1,逻辑上分离~集群之间没有依赖,互不影响2,某些进程往往部署在一台服务器上,但是属于不同的集群3,MapReduce 是计算框架,代码层面的处理逻辑
2023-02-25 21:27:27 653
原创 Go中赋值、转换、反射创建对象、调用方法
但是,Go使用interface实现的功能叫组合,Go是使用组合来实现的继承,说的更精确一点,是使用组合来代替的继承;在java中反射是可以获取继承关系,而go语言实际是不支持继承的,所以必须是相同的类型才能使用AssignableTo(),ConvertibleTo()简单来讲跟结构体的嵌套差不多,只不过这次是实现接口,从代码的实际应用来讲,实现接口是为了实现特定的目的,这个跟java中接口的实现的作用是差不多的功能;简单来看这种继承的方式实际就是结构体的嵌套(刚开始学,不知道这样理解是否正确)
2022-11-27 11:38:32 743
原创 Go中的泛型和反射以及序列化
我们接触过java的同学都会知道,java中的反射是怎么一回事---->>在运行期间去获得对象的类型信息以及其他一些信息;
2022-11-19 20:54:37 554
原创 Go的接口,闭包,异常捕获
errorCode string errorResult string } // 结构体实现Error接口 func(d DivideByZeroError) Error() string {errorCode : "error" , errorResult : "divide by zero" , } return - 1 , byZeroError //返回 float64 与error(这里有点问题,结果为-1时 } return a / b , nil } func main() {err!
2022-09-04 21:34:49 252
原创 Go中的函数
Go中的函数给我的感觉就是C中的函数,js中的函数,但是Go中的函数又有些不一样;首先回顾一下java中方法中的参数,有的是传的指针,有的是传是值的拷贝;因为切片的内部结构是 指针(引用),len 和cap。我们也可以在声明返回值的类型时将返回值声明好。不要好奇,因为他扩容了呗。这样做跟下面的区别----显而易见。举个例子就是 传的是切片。...
2022-08-29 21:30:41 235
原创 Go中的逻辑处理(if,switch),for循环,goto
在switch type 语句中case字句不能使用fallthrough。if可以嵌套,但是如果是多个判断条件,那么可以使用switch。switch -case-default 这个跟java类似;在if中声明的局部变量只是作用在if这个判断逻辑里,if句子中云粗包含一个分号常见的if语句的形式。上面的案例看到switch是不支持穿透的,这里提示要求是左侧应该是接口类型的数据类型。接口之后再去深入学习,先简单了解下—1,逻辑表达式中可以有变量或者常量。......
2022-08-21 22:37:56 353
原创 Apache-Solr的部署与使用
~在海量数据下,对MySQL或Oracle进行模糊查询或条件查询的效率是很低的;~> Solr 是一个独立的企业搜索服务器,具有类似 REST 的 API。 你把 通过 JSON、XML、CSV 或 HTTP 上的二进制文件(称为“索引”)。 您通过 HTTP GET 查询它并接收 JSON、XML、CSV 或二进制结果。常见的搜索解决方案~>基于Apache Lucene(全文检索工具库)实现搜索>基于谷歌API实现搜索和基于百度API实现搜索;Solr 在使用 Lucene 搜索库并对
2022-03-05 22:51:06 426
原创 单体架构分布式架构~RPC
RPC为什么要学习RPC?单体架构分布式架构RPCRPC与HTTPRPC的实现RMI实现RPC为什么要学习RPC?这就要讲项目架构的历史渊源了,在以前互联网不发达的时候,数据访问的并发量不大,这时候的项目大多数是以单体架构为主;什么是单体架构?单体架构一个项目里面的全部代码实现全部的业务功能;画图便于理解,这里以jd.com为例当我们要访问业务时,这些业务实现的代码都打包在一个项目包里,这样的做法有优点,也有缺点;优点:1,部署简单----部署一个项目代码2,成本低----只需要一
2022-02-14 16:59:53 380
原创 【manjaro的安装后的配置】解决输入法安装与声卡配置
manjorod的安装与配置欢迎各位采坑manjoro安装输入法前的准备-----》》欢迎各位采坑manjoro你好! 这是我第二次安装manjoro了如果不算虚拟机安装的话,基本的安装步骤1,拷贝到镜像到 U盘上2,重启系统,然后U盘启动3,自己选择一些配置,可以将manjoro安装到一个盘符里,也可以和win共存剩下的基本就是一路默认—基本也不用选择,等待系统安装完毕安装完毕后发现系统米有中文输入法,别着急,可以自己安装,毕竟manoro是一个高度定制化的系统;安装输入法前的准备-
2021-12-16 13:33:48 3472 10
原创 七天进阶roketmq[one]
顺序消息是 Apache RocketMQ 提供的一种高级消息类型,支持消费者按照发送消息的先后顺序获取消息,从而实现业务场景中的顺序处理。相比其他类型消息,顺序消息在发送、存储和投递的处理过程中,更多强调多条消息间的先后顺序关系。Apache RocketMQ 顺序消息的顺序关系通过消息组(MessageGroup)判定和识别,发送顺序消息时需要为每条消息设置归属的消息组,相同消息组的多条消息之间遵循先进先出的顺序关系,不同消息组、无消息组的消息之间不涉及顺序性。
2024-06-16 16:42:09 1031
原创 七天进阶elasticsearch[Three]
被进行分词的数据类型。上面的查询我们看到了有一个_score 字段,这个字段用于表示查询到的这一个数据与我们想要查询的数据的相关度,但是当我们查询的时候,我们希望的是精确查询,但是ES默认是会进行相关度算分的,这个相关度计算是需要消耗算力的,那么怎么在精确查询的时候不使用_score算分呢?关于term查询为什么会查不到数据~首先term精确查询的时候是不分词的,但是存的时候的倒排表是按照分词进行存储的,比如我们使用term查 三国志,查询的时候他是不分词的, 但是倒排表中是分词的(三国志,三国,三,国…
2024-06-06 19:32:17 486
原创 七天进阶elasticsearch[two]
可以看到es限制了返回的数据量,如果要查询两万条数据,则需要分页查询,分页查询时,需要使用scroll api,scroll api是es提供的一个api,可以解决大数据量查询的问题。这是仍然会返回 错误,因为新的索引没有修改限制,所以需要修改限制,足以见得官方并不想让我们通过修改数据量限制的方式来消除此种错误,这是仍然会返回 错误,因为新的索引没有修改限制,所以需要修改限制,足以见得官方并不想让我们通过修改数据量限制的方式来消除此种错误,而且修改限制只会对当前已经有的索引生效,之后创建的索引并不会生效;
2024-06-06 09:18:43 168
原创 七天进阶elasticsearch[one]
Elasticsearch是一个近实时的搜索平台。这意味着,从索引一个文档直到这个文档能够被搜索到有一个很小的延迟(通常是一秒)
2024-06-05 17:36:19 1000
原创 elasticSearch配置
Elasticsearch是使用Java构建的,并且至少需要才能运行。只支持Oracle的Java和OpenJDK。在所有Elasticsearch节点和客户端上应使用相同的JVM版本。我们建议安装Java版本。如果使用已知的错误版本的Java,Elasticsearch将拒绝启动。Elasticsearch使用的Java版本可以通过设置JAVA_HOME环境变量进行配置。注意Elasticsearch自带的JVM默认配置是运行在64位服务器上的, 如果你想以客户端模式运行在32位机器上,你需要在。
2024-06-05 17:35:31 1006 2
原创 python
pycharm中的相对路径是相对于解析器的即.venv/Scripts/python.exe。vscode中的文件相对路径是相对于项目的~即该项目的顶级目录的。接下来就是分析返回的数据,解析数据~拿出图片的url。第一步:打开网站,分析图片的数据源来自哪里,发现我们要的数据原来自这里,
2024-05-15 08:12:57 218
elasticsearch配置优化文档
2024-06-05
解决分布式数据插入数据库~一致性hash算法
2023-10-27
goLang笔记+beego框架
2023-09-06
微服务的RestTemplate调用和声明式调用
2022-10-22
bridge-utils1.7.1网桥工具教程[内含软件包].zip
2022-07-10
大数据同步代码框架实现源码
2022-04-01
SpringSecurity function ModifyAuthroties RemebeMe
2022-03-28
快速搭建网站的工具,快速:体积小,加载速度快 开源:开放源代码,高水平,高品质
2022-02-28
golang中关于post请求的一个疑问
2023-08-21
Hadoop官方教程中,下面这个操作失败,有可以回答一下的朋友吗
2023-02-25
这里的内存效果指的什么
2022-06-18
mysql的优化,官方的翻译如下,热心人给解答一下
2022-06-12
java作用域中在套一个作用域,属性重名就不行,为什么C语言就可以?
2022-05-02
下面这断代码结果是什么?
2022-04-24
想不通的一个问题~权限与角色springsecurity
2022-03-25
solr导入数据库数据总是查询到0条数据
2022-03-07
git bash here出现下面这种情况
2022-02-18
解答一下这个该怎么遍历?freemarker
2022-01-19
为什么1.2.3就正常,1.2.9就异常?
2022-01-17
ajax中的data该怎们写
2021-12-21
http 500错误,怎么解决?
2021-12-09
关于Junit4和junit5测试环境整合
2021-11-27
微软自带浏览器太占内存了,怎么解决?
2021-11-21
为什么maven中父工程的<scope>import</scope>不起作用?
2021-11-18
为什么连接远程库会这么慢?
2021-11-16
java中的flatmap方法怎么使用?
2021-11-11
来人呀,看YM source看到这里不太理解这是什么意思
2021-10-25
ThreadLocal在现实业务中有什么应用场景?
2021-10-15
下面这些是什么意思呀?给讲一下吧;
2021-10-09
这段代码有什么问题吗?
2021-10-08
这个代码的运行结果有人给解释一下吗?最好是带图的那种;
2021-10-08
百度API该怎么调用呢?
2021-10-07
shutdownNow方法该怎么用呢?等一个有缘人解答
2021-10-05
求解答一下LockSupport中park和unpark方法
2021-10-03
为什么会这个样子?需要帮助,急
2021-10-03
servlet入门问题,还请解答一下
2021-09-29
怎样设置框架随着浏览器窗口大小进行变化呀?
2021-09-27
Servlet发送给浏览器的中文时出现中文乱码"?"怎么解决?
2021-09-27
为什么会出现这么一块蓝色的部分?是哪里的问题?
2021-09-27
为什么相同的网页在火狐中打开是预想的模样,在edge中就不是呢?
2021-09-27
如何理解 "GET在浏览器回退时是无害的,而POST会再次提交请求。"中的无害??
2021-09-26
这是什么?微软彩蛋吗?还是tomcat出现了什么问题?
2021-09-25
为什么鼠标滚轮和鼠标悬停事件识别不到,是因为是div吗?
2021-09-24
怎么用js调用方法播放音乐?
2021-09-24
搞不懂呀,js的原型中这个是啥意思?
2021-09-24
有一个疑惑需要确认一下!
2021-09-24
怎么使用js中的这个方法呀?
2021-09-24
TA创建的收藏夹 TA关注的收藏夹
TA关注的人