分布式
文章平均质量分 83
少女,你的代码掉了
头秃少女的日常思考
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
微服务的概念、优缺点和一些使用过的思考
什么是微服务? 最早没有参加过工作的时候,不太理解微服务是什么。毕竟之前自己做的项目都比较小,还没有到“单体地狱”那么麻烦的程度。后面参加工作,经历了40多后端服务搭建成的一个产品线,突然就理解微服务的概念了。 服务本身是一个小巧但是功能齐全的应用程序,它实现的是一组相关功能,比如订单管理,身份识别,用户中心等等。 这些服务可以根据需求进行用例部署层面的实例扩展,或者是使用路由将请求发给不同namespace的服务。 微服务的理念就是 将服务拆分为一组服务的架构风格 微服务的特点 服务直接都是松耦合的原创 2021-04-10 15:42:21 · 304 阅读 · 0 评论 -
k8s的系统组件构成
k8s的前身borg BorgMaster类似于是中心调度的大脑,Borglet是一些真正运行服务的节点,其中包含某些节点的副本,一般来说节点的数量都是奇数的为了防止投票的时候出现平手的现象一般都是用奇数个节点。 scheduler调度器 scheduler将数据写入Paxos数据库当中之后再发给Borglet去消费这些数据。 K8s的架构 master服务器分为三部分 scheduler : 调度器 replication controller :配置控制器,负责控制副本数量得,伸展和收缩容器的数量原创 2020-09-30 19:06:03 · 589 阅读 · 0 评论 -
Lucene语言的常用API的使用
Lucene 获得文档 原始文档:要基于原始文档的数据内容建立索引 搜索引擎:使用爬虫获得原始文档 站内搜索:数据库内的数据查询 构建文档对象 对应每个文件创建document对象 每个document对象都包含多个域(field) 域中保存就是原始文档的数据,域包括名称和数据。 每一个文档都包含一个编号ID 分析文档 分词:根据空格进行拆分句子,得到单词的列表 把单词转为小写 去掉标点符号 去掉一些停用词(the a等) 每个关键词都封装到一个Term对象当中,Term中包含两部分,关键词所在的原创 2020-07-13 23:23:22 · 288 阅读 · 0 评论 -
Yarn设计机制和使用方式
Yarn是什么 yarn是一个分布式程序的运行调度平台 yarn中有两大核心角色: 1、Resource Manager 接受用户提交的分布式计算程序,并为其划分资源(调度者) 管理、监控各个Node Manager上的资源情况,以便于均衡负载 Resource Manager最好不要放在namenode上面,因为resource不需要读取数据,resource manager非常重要所以需要单独放在一个机器上面。 2、Node Manager 管理它所在机器的运算资源(cpu + 内存) 负责接受Re原创 2020-07-09 15:21:47 · 205 阅读 · 0 评论 -
mapreduce框架学习
Map和Reduce阶段都是分离的 map阶段–程序mapTask mapTask可以运行在多个服务器上面,具体启动的数量取决于数据的数量。将文件化分给不同的mapTask的过程叫做切片。 因为每个文件的大小不一致,所以并不是单纯的按照文件的个数进行分配。所以其实是将文件分为一些固定大小的数据块,并且将数据块分配给不同的map程序。 首先是对文件的大小进行扫描,之后根绝文件的整体的大小启动相应数量的map程序 需要给map程序提供一个接口类,map将数据直接传给接口类,之后接口类处理完的数据内容再递交给ma原创 2020-07-07 15:47:53 · 147 阅读 · 0 评论 -
使用HDFS完成一个简单的wordcount程序
wordcount业务需要的执行步骤 在hdfs中读取文件:一次读取一行 调用一个方法对每一行进行业务处理 将处理的结果放入一个缓存当中 最后将缓存中的统计结果输出到HDFS中的结果文件内 HDFS的客户端 //可以使用反射等方式从配置文件读取应该初始化的Handler的类型 //或者直接初始化 WordCountHandler wcHandler = new WordCountHandler(); //获取文件系统 FileSystem fs = FileSystem.get(new URI("原创 2020-07-02 22:06:14 · 621 阅读 · 0 评论 -
hadoop客户端指令
hdfs客户端的常用操作命令 上传文件到hdfs中 hadoop fs -put /本地文件 /aaa copyFromLocal作用相同 下载文件到客户端本地磁盘 hadoop fs -get /hdfs中的路径 /本地磁盘目录 copyToLocal命令效果一致 在hdfs中创建文件夹 hadoop fs -mkdir -p /aaa/xxx 移动hdfs中的文件(更名) hadoop fs -mv /hdfs的路径1 /hdfs的另一个路径2 复制hdfs中的文件到hdf原创 2020-06-24 01:54:42 · 193 阅读 · 0 评论
分享