linux
文章平均质量分 72
LLLSoul
这个作者很懒,什么都没留下…
展开
-
MIT 6.824-Lab 1 MapReduce
1 前言实验环境配置:https://pdos.csail.mit.edu/6.824/labs/lab-mr.html。这篇笔记主要起到自我学习过程记录的作用,只写了我完成这个实验的大致步骤和遇到问题的解决思路,没有写我的实现思路(其实我的实现思路也很简单,不像很多大佬都做了优化),所以希望看到这篇文章的大佬不要太过严格,但是如果能对其他人提供帮助的话那就更好了。2 阅读代码看一下map函数:// The map function is called once for each file of原创 2022-01-29 17:17:14 · 3122 阅读 · 2 评论 -
网络编程-socket通信(二)
socket通信(二)分包、粘包TCP虽然可以保证顺序不变,但是依然可能会发生分包和粘包的问题:分包:发送一个包”helloworld“,但对方却收到了两个包”hello“和”world“粘包:和分包相反recv()函数参数需要指定接收的字节长度,但是实际开发中是不知道对方发的消息内容有多少个字节,所以一般就是设置为buffer的长度,这就会导致出现粘包和分包的问题解决方法:自定义一份协议规定 报文长度+报文内容:1010helloworld。报文长度采用ascii码(十进制)或者二原创 2021-12-06 16:55:14 · 294 阅读 · 0 评论 -
HBase初步学习与性能测试
HBase初步学习1、HBase定义HBase(Hadoop Database)是一个分布式、可扩展的NoSQL数据库。基于Big Table,为Hadoop框架当中的结构化数据提供存储服务,是面向列的分布式数据库。这一点与HDFS是不一样的,HDFS是分布式文件系统,管理的是存放在多个硬盘上的数据文件,不支持随机修改,而Hbase管理的是类似于key—value映射的表。2、HBase数据模型Name space:关系型数据库中表放在database中,而Hbase的表放在命名空间中,自带的命名原创 2021-07-09 18:12:32 · 1634 阅读 · 1 评论 -
Hadoop(1.5)——配置历史服务器
配置历史服务器配置mapred.xml在该文件下增加如下配置: <!--历史服务器地址端口(节点之间用)--> <property> <name>mapreduce.jobhistory.address</name> <value>hadoop102:10020</value> </property> <!--历史服务器地址端口(用户浏览器通过该端口访问)--&原创 2021-05-18 19:08:25 · 374 阅读 · 0 评论 -
Hadoop(1.4)——群起集群
1. 配置workers几台主机配置几个worker。先切换到$HADOOP_HOME/etc/hadoop/文件夹,编辑其内部的workers文件。[root@hadoop102 hadoop]# cat workershadoop102hadoop103hadoop104再使用xsync workers将workers文件分发至其他主机。2. 启动集群集群第一次启动:在102节点格式化NameNode,初始化完毕后,会在hadoop_home目录下产生data、logs文件夹[原创 2021-05-18 10:03:21 · 361 阅读 · 0 评论 -
使用vagrant创建linux虚拟机
安装virtualBoxhttps://www.virtualbox.org/安装vagranthttps://www.vagrantup.com/downloadscmd 利用vagrant创建centos7虚拟环境cmd命令:vagrant init centos/7启动虚拟容器:vagrant upvagrant默认创建了SSH连接:default: SSH address: 127.0.0.1:2222default: SSH username: vagrantdefault.原创 2021-02-24 15:16:50 · 99 阅读 · 0 评论