q328730422的博客

问题描述：jdk8 使用了openjdk:8-jre-alpine 镜像 时区无法修改，导致定时器无法正常使用dockerfile 如下FROM openjdk:8-jre-alpineMAINTAINER "deyi <xxh018@deyi.com.cn>"#设置时区RUN ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtimeRUN sh -c echo 'Asia/Shanghai' >/etc/timezone

基于目前的计算资源已经无法满足日益增长的业务需求，故手动增加一个node缓解一下集群资源紧缺问题进入正题1.确认你已经更新到了最新的ansible-palybook2.增加一个参数 new-nodes[OSEv3:children]mastersnodesnew_nodes3.增加一个新的模块，可以安装如下的内容格式[nodes]master[1:3].examp...

鉴于互联网公司越来越多的需求，各种自建以及第三方服务不断的被加入到公司的系统里。同时互联网公司的人员更替也是流水一般时刻不停，这时候对于员工的账户管理也就变成了一个非常有挑战的任务。这时候开源的账户统一管理产品就必须被用起来了。Openldap作为开源目录服务，也是大家首选的产品。优点很多，开源（免费用），用户量大（遇坑可以找出坑方法），功能强大，众多第三方的软件都加入了对openladp的支持。...

本次安装按照3 master和3 node 的架构来进行master1:192.168.15.235 centos 7.6master2:192.168.15.236 centos 7.6master3:192.168.10.237 centos 7.61.在Router上 安装ansible 方便3个master节点的批量安装#需要先安装pip工具方法1:yum inst...

（一）简要说明    如果你的Web服务器前端有代理服务器或CDN时日志中的$remote_addr可能就不是客户端的真实IP了。比较常用的解决方法有以下三几种，本文将主要介绍如何使用Nginx自带realip模块来解决这一问题：1，用CDN自定义IP头来获取2，通过HTTP_X_FORWARDED_FOR获取IP地址3，使用Nginx自带模块realip获取用户IP地址   ...

（一）简要说明    如果你的Web服务器前端有代理服务器或CDN时日志中的$remote_addr可能就不是客户端的真实IP了。比较常用的解决方法有以下三几种，本文将主要介绍如何使用Nginx自带realip模块来解决这一问题：1，用CDN自定义IP头来获取2，通过HTTP_X_FORWARDED_FOR获取IP地址3，使用Nginx自带模块realip获取用户IP地址   ...

 之前尝试了使用kubeadm工具来安装k8s集群，非常简单，傻瓜也会。那么，其中肯定有诈。所以就花了些时间使用二进制文件方式来安装k8s集群。说白了 ，二进制文件就是可直接执行的底层代码，这样的安装方式无非就是自己手动把kubeadm工具所做的事情做了。废话够多了，开始下一步吧。组织架构master：192.168.10.21    控制节点    安装etcd,kube-apiserv...

转自：https://www.centos.bz/2018/02/centos7-4%E5%AE%89%E8%A3%85kvm%E8%99%9A%E6%8B%9F%E6%9C%BA%EF%BC%88%E4%BD%BF%E7%94%A8virt-manager%E7%AE%A1%E7%90%86%EF%BC%89/之前介绍了使用WebVirtMgr或Openstack来部署及管理kvm虚拟机，下...

1.使用kubeadm工具快速安装Kubernetes集群准备工作关掉selinuxvi /etc/selinux/configdisabled关掉firewalld,iptablessystemctl disable firewalldsystemctl stop firewalldsystemctl disable iptablessystemctl stop ipta...

# -*- coding: utf-8 -*-import scrapyfrom scrapy.linkextractors import LinkExtractorfrom scrapy.spiders import CrawlSpider, Ruleclass wiwjSpider(scrapy.Spider): name = "wiwjSpider" allowed...

from scipy.interpolate import lagrange #导入拉格朗日插值函数 #自定义列向量插值函数 #s为列向量，n为被插值的位置，k为取前后的数据个数，默认为5 def ployinterp_column(s, n, k=5): y = s[list(range(n-k, n)) + list(range(n+1, n+1+k))] #取数 ...

实验条件：Zabbix监控服务器、客户端都已经部署完成，被监控主机已添加完成，Zabbix监控运行正常。实现目的：Zabbix监控服务器设置邮件报警，当被监控主机宕机或达到触发器预设值进，会自动发送报警邮件到指定的邮箱。概念补充：什么是MTA？什么是MUA？通俗的说MUA就是用户使用的客户端，而MTA则是真正发送邮件的发送进程，MUA编写的邮件最终也交由MTA发送至目标端。mailx即为负责查看、...

安装好mysql已经让我焦头烂额了，没想到mysql还给我来了一个密码上的坑。用yum安装好mysql以后，会在/var/log/mysql.log上面有一个默认密码。如下图这时候想要用update修改，会爆出一个错误# use mysql;# update user set password  = password('newpassword') where use = 'root' and ho...

centos 6.9 默认使用yum命令安装的mysql数据库为5.1.*的，而开发同志告知希望使用5.7版本的。故需要自己想办法安装一个mysql5.7 供使用。1.yum安装mysql 默认情况的yum会安装mysql5.1此时可以选择到mysql官网去下载一个mysql的yum源，本人手头的系统为centos6.9  故选择下载好了rpm包以后，安装一下这个yum源# rpm -ivh  m...

 from wordcloud import WordCloud import matplotlib.pyplot as plt import jieba # jieba做中文的分词 filename = '/Users/apple/Downloads/jin.txt' with open(filename) as f:     mytext=f.read() #...

最近爬虫遇到很棘手的事情，就是遇到了动态网站。这种情况下，靠原来的抓包无法找到线索，并解决抓取问题。这时候selenium 便出现了在我的视野里面。首先是安装selenium,mac下很简单pip install Selenium==3.0.1 据说这个版本问题少安装好了 就开始学习使用它吧 1 # -*- coding: utf-8 -*- 2 from selenium import w...

爬虫爬多了，肯定会遇上一些需求不是在H5标签里面的东西。这时候，就只能硬着头皮去使用re正则提取东西了。import reimport urllib2from lxml import etreeins_url = 'https://www.instagram.com/ahmad_monk/'id = 22543622headers = {"User-Agent":"Mozilla/5...

除了使用自带的ImagePipelines方法外，还可以自己在pipelines写一个request，把图片保存下来。其它的都不在赘述，直接上pipelines。Pipelines.py# -*- coding: utf-8 -*-# Define your item pipelines here## Don't forget to add your pipeline to the I...

喜欢用scrapy来爬美女图片的朋友肯定有这样的一个困扰，爬下来的图片都是各种乱码 *****.jpg 看起来不舒服，而且利于套图的归类。我就是在爬完了几十万的图片后，实在是无法忍受了，故想办法解决这个问题。首先定位到ImagePipelines.pyfrom scrapy.pipelines.images import ImagesPipelinefrom scrapy.exceptions ...

mongodb 相对于关系型数据库mysql 有不少的好处，对我而言就是在配合scrapy使用时，配置非常简单，不需要预先建表，设定字段的属性类型。   只需要在settings.py文件里面简单的配置就可以了，如下  当然，作为数据处理中心的pipelines.py也是需要做一些配置