![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 77
盈梓的博客
2020毕业于浙江大学计算机科学与技术系,目前就职于电信公司,负责带领一个小团队进行系统开发,对软件开发具有浓厚的兴趣,工作之余喜欢钻研技术,关注IT技术的发展趋势,发布一些小的毕业设计项目,感谢大家的关注与支持。
展开
-
Hadoop节点的分类与作用
lock信息,但是block的位置信息不会持久化,需要每次开启集群的时候DN上报。随和时间的推移,日志文件会越来越大,当达到阈值的时候(64M 或 3600秒)当客户端读写数据的时候,首先去NN查询file与block与dn的映射。edits文件大小不可控,随着时间的发展,集群启动的时间会越来越长。DN启动的时候,会将自己节点上存储的Block信息汇报给NN。NN关机的时候是不会存储任意的Block与DN的映射信息。存放的是文件的数据信息和验证文件完整性的校验信息。原创 2023-03-07 09:19:13 · 394 阅读 · 0 评论 -
ERP不规范,同事哭晕在厕所
相信绝大多数在大型企业工作过的人,对公司的办公系统,ERP系统等都会怨声载道,越是和信息化无关的传统行业,此类问题愈加严重,甚至相当比例的人曾经因为ERP的问题而影响了工作效率,而今天撰写此文,其实就是想对这些普遍的ERP问题做一些深度的探讨和思考,为了激发大家的阅读兴趣,先搞几个案例批判一翻!这些均是我亲身深度参与并观察的实际案例,略加变化以保护身份信息,其他如有雷同,那完全真实,就是你!案例1-某大型餐饮连锁企业。 此企业已经上市,连锁店数超过1000家,年销售50亿不到,一个特别传统的企业,在面临互原创 2023-02-20 09:11:04 · 436 阅读 · 0 评论 -
部署dapr的辛酸历程
dapr大概的了解,个人理解他就是一个分布式服务的管理,把微服务常用的组件(缓存,消息中间件、分布式锁、安全id4等)和监控以及服务注册、发现等等一系列功能以一个很抽象的方式管理起来。可能我们部署微服务用consul、ocelot、polly套件、orleans等去实现,但是不可避免的会遇到服务之间的调用等问题,更不用说服务本身的一些列骚操作,dapr刚好帮助我们解决了这些,原创 2023-02-19 19:51:52 · 506 阅读 · 1 评论 -
在Flask中构建API接口的相关概念
session 是基于cookie实现, 保存在服务端的键值对(形式为 {随机字符串:‘xxxxxx’}), 同时在浏览器中的cookie中也对应一相同的随机字符串,用来再次请求的 时候验证。第二个路由的URL没有尾部斜杠,因此其行为表现与一个文件类似,如果访问这个URL时添加了尾部斜杠就会得到一个404错误,这样可以保持URL唯一,并帮助搜索引擎避免重复索引同一页面。第一个路由的URL尾部有一个斜杠,看起来就像一个文件夹,访问一个没有斜杠结尾的URL时,Flask会自动进行重定向,在结尾加上一个斜杠。原创 2023-02-12 16:30:11 · 716 阅读 · 0 评论 -
使用docker安装hadoop
3.三台主机都修改/etc/hosts文件。3.创建slave1容器,不开放端口。4.创建slave2容器,不开放端口。2.创建master容器,开放端口。进入hadoop的bin目录格式化。1.创建hadoop内部网络。5.启动hadoop。转载 2023-02-01 10:03:17 · 313 阅读 · 0 评论