分布式
文章平均质量分 83
少女,你的代码掉了
头秃少女的日常思考
展开
-
微服务的概念、优缺点和一些使用过的思考
什么是微服务?最早没有参加过工作的时候,不太理解微服务是什么。毕竟之前自己做的项目都比较小,还没有到“单体地狱”那么麻烦的程度。后面参加工作,经历了40多后端服务搭建成的一个产品线,突然就理解微服务的概念了。服务本身是一个小巧但是功能齐全的应用程序,它实现的是一组相关功能,比如订单管理,身份识别,用户中心等等。这些服务可以根据需求进行用例部署层面的实例扩展,或者是使用路由将请求发给不同namespace的服务。微服务的理念就是 将服务拆分为一组服务的架构风格微服务的特点服务直接都是松耦合的原创 2021-04-10 15:42:21 · 235 阅读 · 0 评论 -
k8s的系统组件构成
k8s的前身borgBorgMaster类似于是中心调度的大脑,Borglet是一些真正运行服务的节点,其中包含某些节点的副本,一般来说节点的数量都是奇数的为了防止投票的时候出现平手的现象一般都是用奇数个节点。scheduler调度器scheduler将数据写入Paxos数据库当中之后再发给Borglet去消费这些数据。K8s的架构master服务器分为三部分scheduler : 调度器replication controller :配置控制器,负责控制副本数量得,伸展和收缩容器的数量原创 2020-09-30 19:06:03 · 510 阅读 · 0 评论 -
Lucene语言的常用API的使用
Lucene获得文档原始文档:要基于原始文档的数据内容建立索引搜索引擎:使用爬虫获得原始文档站内搜索:数据库内的数据查询构建文档对象对应每个文件创建document对象每个document对象都包含多个域(field)域中保存就是原始文档的数据,域包括名称和数据。每一个文档都包含一个编号ID分析文档分词:根据空格进行拆分句子,得到单词的列表把单词转为小写去掉标点符号去掉一些停用词(the a等)每个关键词都封装到一个Term对象当中,Term中包含两部分,关键词所在的原创 2020-07-13 23:23:22 · 222 阅读 · 0 评论 -
Yarn设计机制和使用方式
Yarn是什么yarn是一个分布式程序的运行调度平台yarn中有两大核心角色:1、Resource Manager接受用户提交的分布式计算程序,并为其划分资源(调度者)管理、监控各个Node Manager上的资源情况,以便于均衡负载Resource Manager最好不要放在namenode上面,因为resource不需要读取数据,resource manager非常重要所以需要单独放在一个机器上面。2、Node Manager管理它所在机器的运算资源(cpu + 内存)负责接受Re原创 2020-07-09 15:21:47 · 153 阅读 · 0 评论 -
mapreduce框架学习
Map和Reduce阶段都是分离的map阶段–程序mapTaskmapTask可以运行在多个服务器上面,具体启动的数量取决于数据的数量。将文件化分给不同的mapTask的过程叫做切片。因为每个文件的大小不一致,所以并不是单纯的按照文件的个数进行分配。所以其实是将文件分为一些固定大小的数据块,并且将数据块分配给不同的map程序。首先是对文件的大小进行扫描,之后根绝文件的整体的大小启动相应数量的map程序需要给map程序提供一个接口类,map将数据直接传给接口类,之后接口类处理完的数据内容再递交给ma原创 2020-07-07 15:47:53 · 102 阅读 · 0 评论 -
使用HDFS完成一个简单的wordcount程序
wordcount业务需要的执行步骤在hdfs中读取文件:一次读取一行调用一个方法对每一行进行业务处理将处理的结果放入一个缓存当中最后将缓存中的统计结果输出到HDFS中的结果文件内HDFS的客户端//可以使用反射等方式从配置文件读取应该初始化的Handler的类型//或者直接初始化WordCountHandler wcHandler = new WordCountHandler();//获取文件系统FileSystem fs = FileSystem.get(new URI("原创 2020-07-02 22:06:14 · 522 阅读 · 0 评论 -
hadoop客户端指令
hdfs客户端的常用操作命令上传文件到hdfs中hadoop fs -put /本地文件 /aaacopyFromLocal作用相同下载文件到客户端本地磁盘hadoop fs -get /hdfs中的路径 /本地磁盘目录copyToLocal命令效果一致在hdfs中创建文件夹hadoop fs -mkdir -p /aaa/xxx移动hdfs中的文件(更名)hadoop fs -mv /hdfs的路径1 /hdfs的另一个路径2复制hdfs中的文件到hdf原创 2020-06-24 01:54:42 · 150 阅读 · 0 评论