docker初识
每天八小时
加油,期待明天的自己
展开
-
shell脚本在容器云中搭建hadoop集群(二)
哎。又是伤脑的一天,脚本都写好,就是在容器中不能顺利调用,进入容器后,手动运行脚本却成功执行,哎真是悲催总结一下今天的学习1,上午继续测试脚本,把昨晚能想到的方法试了试,可是它心依旧啊,悲催2,中午请教了Docker中文交流群2里面的 @北京-MD-蜗牛 大哥,觉得应该重新认识Docker、容器、虚拟机、hadoop、Swarm等概念, 说是在docker中不适宜运行ha原创 2017-09-03 21:50:26 · 214 阅读 · 0 评论 -
整理docker及Hadoop脚本(一)
总结一下今天的学习过程1,上午使用昨天组装的机器配置了基本环境,并安装了虚拟机VMware11,以及配置基础镜像步骤(centos7):1,关闭防火墙firewall-cmd --statesystemctl stop firewalld.servicesystemctl disable firewalld.service2,关闭SELINUXsed -i 's原创 2017-09-15 23:18:42 · 342 阅读 · 0 评论 -
shell脚本搭建容器云(-)
哎,幻想着使用脚本自动化部署docker容器云集群,借助上次输入命令行搭建容器云,写好逻辑脚本,结果只是Bat批处理调用j函数、执行脚本、使用putty远程更新yum源,就高了半天,好不顺当,悲催简单总结一下今天的学习1,学会了利用bat文件,调用黑窗口,并执行js文件2,将web前端用到的js操作用到了shell脚本中,熟悉了json数据配合shell脚本的数据动态交互3,学会了原创 2017-08-30 22:28:39 · 509 阅读 · 0 评论 -
补昨日博客-使用putty登录Windows实现虚拟机中的系统的开机、关机、重启
总结一下昨天的学习过程1,昨天,上午继续尝试了使用putty登录Windows实现虚拟机中的系统的开机、关机、重启 万幸的是,在师兄的帮助下,终于实现成功了,shit shit shit 思路:1.1 VMware的安装目录1.2 虚拟机的存放目录1.3putty以及plink在脚本文件的同一目录下1,4确保远程Windows允许远程连接1,5原创 2017-09-25 21:32:40 · 644 阅读 · 0 评论 -
整理docker及Hadoop脚本(三)-实现一键式命令行远程安装docker集群
总结一下今天的学习过程1,将昨天实验成功的使用putty以及plink登录远程Windows实现虚拟机的开机、关机、重启的具体代码做了整理(代码参考上一篇)2,不过今天又跳进自己给自己挖的坑了 自己配置的基础镜像尽然不用关闭防火墙的开机自启动,,折腾了一下午才发现,不过也有好处:让我对脚本又有了新的理解3,今天算是近半个多月以来算是一个小小的历史性的跨越前提使用基础原创 2017-09-25 21:51:17 · 312 阅读 · 0 评论 -
shell脚本搭建容器云(二)
今天算是体会到了摸着石头过河的艰难之处了总结一下今天得学习过程:1,要有足够的耐心等待,黑窗口虽然是底层操作,但是也没有想象的那么快,更没有想象中的友好提示,只有那一动不动的黑底白字。 本来自己的思路是正确的,看到黑窗口的静止,就怀疑了自己2,其实怀疑自己还是有用处的 Windows下运行 PUTTY管理软件,暂时还没有深究它的具体工作原理,只知道是基本的原创 2017-08-31 23:20:11 · 253 阅读 · 0 评论 -
整理docker及Hadoop脚本(四)-在docker集群集群中一键式部署hadoop
总结一下今天的学习过程(整理之前写的零散的脚本)1,实现在docker集群集群中一键式部署hadoop2,实现在docker中部署单个web项目(基于官方镜像:MySQL与Tomcat)3,实现高并发、吞吐项目部署NginxTomcatRedisWebMysql(一个小型的项目示例)近一个月的脚本历程终于整理结束了,对自己来说算是历史性的跨越一步吧美好的一天,明天加油原创 2017-09-26 22:40:15 · 277 阅读 · 0 评论 -
shell脚本搭建容器云完结篇(三)
经过不断的调试与漫长的等待,终于完成了shell脚本容器云的安装,非常感谢王师兄的指导!总结一下今天的学习过程1,简化hostname与IP-hostname映射配置,去除前天使用的 ansible-playbook changehostname.yml 方式2,重新创建基础镜像:yum源更新,关闭防火墙,关闭SELINIX,设置开机时间等待1秒,桥接模式原创 2017-09-01 22:19:04 · 566 阅读 · 0 评论 -
shell脚本在容器云中搭建hadoop集群(一)
哎,今天还是没有完成任务总结一下今天的学习1,利用Dockerfile搭建hadoop基础镜像成功。 包含sshd服务、用于格式化HDFS的which命令、用于交互的expect命令、JDK、hadoop2,尝试使用一个脚本配置hadoop集群中的各个hadoop的ssh免密登录、hosts、5个xml文件、集群停止与启动、scp hadoop-------失败原创 2017-09-02 22:48:34 · 356 阅读 · 0 评论 -
shell脚本在容器云中搭建hadoop集群(四)
总结一下今天的学习过程1,上午继续观看学习Python的数据库编程视屏,测试Django项目使用MariaDB数据库,由列表实现数据库表的映射,总结了区别sqlite: 不需要继承models.Modelclass student01(): id = models.IntegerField(primary_key=True) name = models.CharField原创 2017-09-11 22:24:12 · 487 阅读 · 0 评论 -
shell脚本在容器云中搭建hadoop集群(五)
总结一下今天的学习过程1,先说下今天下午以及半个晚上写了上学期的数据库作业,加上之前写的整整写了12页A4纸,总算完成了一门课2,上午继续调试了昨日未完成的工作,不过还是差一部分没有完成 分模块的测试了各个组件的正确性,暂时算是各个模块成功了吧,主要是从节点的配置,主节点的5个xml文件配置、分发Hadoop文件、格式化HDFS、启动从节点以及主节点容器、并同时设置IP与容器原创 2017-09-12 23:17:29 · 284 阅读 · 0 评论 -
shell脚本实现从master节点批量配置salve节点(主机名有瑕疵,IP映射,ssh服务)
# !/bin/bash#修改主机名与IP映射,添加至 /etc/hostsIP_hostname="masterIP docker1salve1IP docker2salve2IP docker3"function editHosts(){ cat >> /etc/hosts $IP_hostnameEOF}#editHosts#校园网登陆,敏原创 2017-08-29 22:27:43 · 701 阅读 · 0 评论 -
shell脚本在容器云中搭建hadoop集群(七)
总结一下今天的学习过程1,用一句描述我今天上午的感受:这两天白忙活了 hadoop集群子所以不能正确完整启动成功:是因为分配的内存不够用,分配的内存不够用,分配的内存不够用(重要的事说三遍) 今天上午师兄调试我写的脚本,发现很慢,他说不应该这么慢的,查找发现没有什么大问题,看了下内存剩余空间以及我镜像的大小,说有点不合理,而且我的hadoop集群三个容器跑在一个主节点上,原创 2017-09-14 22:46:09 · 192 阅读 · 0 评论 -
docker中hadoop暂止(三)
说一下今天的学习过程1,今天上午继续尝试自己的思路构建hadoop集群,虽然在docker中的hadoop容器中运行那么多应用是很不符合docker创建初衷的,但是毕竟做了两天了还是不甘心,可结果依然是残酷的,还是没成功了。2,想想暂时不会花太多精力去尝试了,等灵感,灵感一来再去尝试。3,大致了解了yaml文件编写的语法,以及相关命令4,今天下午无意间尝试了Python,感觉可以P原创 2017-09-04 22:38:19 · 167 阅读 · 0 评论 -
shell脚本在容器云中搭建hadoop集群(六)
总结一下今天的学习过程1,上午继续昨天的问题,继续调试Hadoop集群。启动了namemaneger节点,但是又出现了一个DataNode节点争抢的问题,刚刚启动时,两个DataNode节点进程相关启动正确,但是过几分钟,出现争抢的状况,最后之启动了一个从节点,另一个节点消失了,在web50070界面只看到一个live node节点,不明所以,在网上查了很多资料,也没有找到答案,再加上时间久了原创 2017-09-13 23:20:23 · 214 阅读 · 0 评论 -
docker初步学习
学习参考网址:http://www.docker.org.cn/book/docker/docker-download-image-7.html1,搜索镜像命令 :docker search name2,下载:docker pull 镜像名称 这里的是名称指搜索的名称的全部完整名称3,docker容器可以理解为在沙盒中运行的进程。这个沙盒包含了该进程运行所必须的资源,包括文件系统、系原创 2017-08-29 13:53:02 · 192 阅读 · 0 评论 -
centos的主机的桥接方式创建与使用
1,centos6.7最小化安装后,在启动后需要在 /etc/sysconfig/network-scripts/ifcfg-eth0 文件中将ONBOOT=yes设置为 yes 关闭防火墙以及SELINUX关闭 service iptables status service iptables stop原创 2017-08-29 13:54:28 · 463 阅读 · 0 评论 -
centos7安装
1,centos7与centos6不同 将网络设置成桥接并开启,会看到网卡自动分配的IP地址,不用再手动设置配置文件 /etc/sysconfig/network-scripts/ifcfg-eth0, 文件中将ONBOOT=yes设置为 yes 关闭防火墙以及SELINUX关闭 CentOS 7.0默认使用的是firewall作为防火墙,这里改为iptable原创 2017-08-29 13:59:59 · 222 阅读 · 0 评论 -
docker学习命令
1,命令删除已停止的容器for ss in `docker ps -a | grep Exited | awk '{print $1}'`; do docker rm $ss ; done还可扩展到stop等命令2,运行Tomcat的时候,尤其是pull下来官方的,后缀不要加 /bin/bash后台方式运行 -d: docker run -d -p 8090:8080 --nam原创 2017-08-29 14:02:06 · 248 阅读 · 0 评论 -
Windows环境下,Nginx+tomcat+redis实现web项目集群
参考链接地址http://blog.csdn.net/gds421570371/article/details/49121461注意:所有实现session的类必须实现java.io.Serializable再注意:数据库jdbc链接地址要加上参数:&autoReconnect=trueNginx暂不支持Tomcat8这几个比较难下载redis-x64com原创 2017-08-29 14:05:37 · 809 阅读 · 0 评论 -
容器云集群安装配置
注意:这里使用的centos7.x,也必须是7以上,6不适用1,将主机与IP地址写入hosts文件夹中,master与salve都需要master etcd registry 是指向主节点IP地址 也就是说配置三项或者一项都可2,关闭防火墙systemctl disable firewalld.servicesystemctl stop firewalld.serv原创 2017-08-29 14:20:16 · 492 阅读 · 0 评论 -
容器云环境下,Nginx+tomcat+redis实现web项目集群
环境:由于在Windows下Tomcat8与Nginx实验不成功,错误的认为8不行,就有了下面的历程,,,,经过请教师兄,发现自己的方法不对,#利用centos基础镜像以及jdk Tomcat 编辑新的镜像Tomcat7#删掉jdk文件夹下多余文件, 降低build的镜像大小rm -rf /root/image/jdk7/*src.zip \ /root/imag原创 2017-08-29 14:34:20 · 1389 阅读 · 0 评论 -
容器云下hadoop集群的搭建
参考博客文档 ,真心感谢 http://blog.csdn.net/xu470438000/article/details/50512442感谢博主的分享,我是初学者,不知这样写是否侵权,如有不到之处,请告知留言centos7情况下1,sshd服务安装需要RUN yum install -y openss#要记得设置的添加账户的密码,后面会用到RUN ssh原创 2017-08-29 14:50:00 · 356 阅读 · 0 评论 -
整理docker及Hadoop脚本(二)
总结一下今天的学习过程(数学建模已经过去,劳动学习以后再整理,继续shell脚本搭建Hadoop整理)感觉今天算是一个杂事比较多的一天上午一半时间在整理数据建模比赛上交论文与资料,后一半以及中午老师召开实验室全体会议(同门15人),并请我们吃了顿大餐,哈哈,下午与同届的四个同学进行了小组讨论,主题是自己的研究方向,大致为人工智能领域中的机器学习,结合大数据与深度学习,并向图书馆接了三本书籍原创 2017-09-20 23:23:53 · 168 阅读 · 0 评论