2018年04月_淡淡的倔强

转载一致性hash算法--字符串哈希函数比较

一个股票交易系统的后台，为了能快速查找各种股票代码的Tick，会计算其哈希值，然后存贮在哈希表里面。一个好的哈希函数应该能实现很好地分布性，减少冲突。这里选取了几种常用的字符串哈希，包括BKDRHash，APHash，JSHash，RSHash，SDBMHash，PJWHash，ELFHash和DJBHash，通过在不同的字符串集合测试，来测试其性能。各种常用算法一、BKD...

2018-04-19 15:06:51 3546

原创 Hadoop 多次namenode -format造成datanode进程异常

之前在启动hadoop集群时，使用jps命令没有查看到datanode，但第一次启动集群时有datanode，查看datanode的相关日志，报Java IO异常“java.io.IOException”，异常信息里显示的是，namenode和datanode的clusterID不一致，这些异常就导致了后面提示初始化失败、DataNode进程退出等异常、警告信息,回想之前的操作，在停止集群后，又对...

2018-04-18 21:11:33 1827

原创 Hadoop系列(一)Docker部署Hadoop集群

搭建一个Hadoop集群环境时需要多台服务器，对于我们个人，这通常是个门槛，需要使用虚拟机，安装操作系统，然后运行起来多个虚机。安装操作系统是个不太轻松的任务，并且运行多个虚机对个人电脑性能也有一定要求，这些门槛影响了很多小伙伴的实践积极性使用Docker的话就简单了，不用安装操作系统，直接下载一个镜像，如centos，这样操作系统就有了，基于这个系统镜像运行多个容器，就相当于起了多个虚机...

2018-04-17 22:13:41 9675 5

原创使用Dockerfile创建docker镜像及Dockerfile命令详解

Dokerfile 是一个文本文件，其中包含了若干条指令，指令描述了构建镜像的细节。1、先来编写一个最简单的Dockerfile文件FROM nginxRUN echo '<h1>welcome to nginx by dockerfile build</h1>' /usr/share/nginx/html/index.html该Dockerfile 非常简单...

2018-04-17 19:40:00 7164 1

转载 Docker容器内部无法解析域名

Linux系统默认没有打开IP转发功能，要确认IP转发功能的状态，可以查看/proc文件系统，使用下面命令：cat /proc/sys/net/ipv4/ip_forward0如果上述文件中的值为0,说明禁止进行IP转发；如果是1,则说明IP转发功能已经打开, 要想打开IP转发功能，可以直接修改上述文件：echo 1 &gt; /proc/sys/net/ipv4/ip_for...

2018-04-16 20:03:46 11748

转载 docker安装centos后没有ifconfig命令解决办法

使用docker pull centos命令下载下来的centos镜像是centos7的最小安装包，里面并没有携带ifconfig命令，导致我想查看容器内的ip时不知道该怎么办，google了一下发现了一下命令：yum provides ifconfig yum whatprovides ifconfig 示例输出如下：Loaded plugins: fastestmirror ...

2018-04-16 20:00:19 5007 1

转载删除docker images中为none的镜像

由于平时一直使用docker build 命令才生成一个镜像，有时候由于代码跟新频繁就会产生很多的none的image，最近想着清除一下。于是就写了以下脚本：docker ps -a | grep "Exited" | awk '{print $1 }'|xargs docker stopdocker ps -a | grep "Exited" | awk '{print $1 }'|...

2018-04-13 21:52:56 3523

原创 Docker系列(四)Docker 网络模式及配置

四种网络模式摘自 Docker 网络详解及 pipework 源码解读与实践一、Docker网络模式docker run 创建 Docker 容器时，可以用 –net 选项指定容器的网络模式，Docker 有以下 4 种网络模式：host 模式，使用 –net=host 指定。container 模式，使用 –net=container:NAME_or_ID 指定。none ...

2018-04-12 18:22:12 12552 1

原创 Docker系列(三)Docker 端口映射

查看Docker容器IP地址docker inspect --format '{{ .NetworkSettings.IPAddress }}' NAME|ID无论如何，这些 ip 是基于本地系统的并且容器的端口非本地主机是访问不到的。此外，除了端口只能本地访问外，对于容器的另外一个问题是这些 ip 在容器每次启动的时候都会改变。Docker 解决了容器的这两个问题，并且给容器内部服务...

2018-04-11 19:45:05 3641

原创 Docker系列(二)Docker常用命令

Docker有很多命令，这些命令有助于控制Docker的行为。本文将详细探讨Docker常用命令。一、Docker镜像常用命令1、搜索镜像可使用docker search 命令搜索存放在Docker Hub中的镜像。例如：docker search java执行该命令后，Docker就会在Docker Hub中搜索含有java这个关键词的镜像仓库。执行该命令后，...

2018-04-11 00:17:02 2446

原创 Docker系列(一)Docker简介及安装

一、Docker简介Docker是一个开源的容器引擎，它有助于更快地交付应用。Docker可将应用程序和基础设施隔离，并且能将基础设施当作程序一样进行管理。使用Docker，可更快地打包、测试以及部署应用程序，并可以缩短从编写到部署运行代码的周期。Docker的应用场景Web 应用的自动化打包和发布。自动化测试和持续集成、发布。在服务型环境中部署和调整数据库或其他的后台应用。从...

2018-04-10 22:06:05 2329

淡淡的倔强的博客