2018年11月_7*24 工作者

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

翻译 URL中中文转码和解码

在爬取数据是时候很多搜索的词语中在浏览器上显示的是中文，但是我们复制url到本地，中文就会出现我们看不懂的文字。如果我们需要爬虫的时候也是一样，我们需要给浏览器传过去的也是对url中的中文进行转码之后的url地址，否则在url中的关键字直接出现中文会有问题。在python3的环境中的urllib库中 quote模块提供了这一功能一、URL转码#!/usr/bin/env python#-...

2018-11-30 12:08:02 11336 1

翻译利用aiohttp制作异步爬虫

asyncio可以实现单线程并发IO操作，是Python中常用的异步处理模块。关于asyncio模块的介绍，笔者会在后续的文章中加以介绍，本文将会讲述一个基于asyncio实现的HTTP框架——aiohttp，它可以帮助我们异步地实现HTTP请求，从而使得我们的程序效率大大提高。一、同步爬虫'''同步方式爬取当当畅销书的图书信息'''#!/usr/bin/env python#-*-...

2018-11-30 09:58:03 536

原创 python+selenium+BSTestRunner生成测试报告

python版本是3.6一、BSTestRunner.py文件"""A TestRunner for use with the Python unit testing framework. It generates a HTML report to show the result at a glance.The simplest way to use this is to invoke ...

2018-11-29 15:29:49 3273

转载 Nexus私服配置setting和pom

一、将jar发送到nexus私服务器1、创建maven项目创建一个最简单的maven项目，然后新建一个工具类，用来测试当把它打成jar包放到私服后，其它项目是否能够成功引用。2、pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" ...

2018-11-21 13:39:53 1838

原创 selenium自动化测试工具补充

一、等待设定1、显式等待显式等待是您定义的代码，用于在代码中继续进行之前等待某个条件发生。这种情况的极端情况是time.sleep()，它将条件设置为要等待的确切时间段。WebDriverWait的结合预期条件是一种方法。#!/usr/bin/env python#-*- coding:utf-8 -*-from selenium import webdriverfrom selen...

2018-11-21 11:41:22 344

翻译 Git服务器Gitosis安装设置

1、安装 openssh服务器$ sudo yum -y install openssh openssh-client2、创建个人公钥和私钥在默认用户的主目录路径下，运行以下命令，按照提示创建公钥和私钥$ ssh-keygen -t rsa默认生成2048位，如果需要提高安全级别，也可以通过下面的命令创建公钥和私钥$ ssh-keygen -t rsa -b 4096默认情况下...

2018-11-19 15:46:11 451

翻译 Centos7：Failed to start LSB: Bring up/down networking

问题在centos7系统下执行systemctl status network显示有标题的错误信息。《Failed to start LSB: Bring up/down networking》原因是 mac地址的问题解决方案1、查看服务对应网卡最新的mac地址命令：ip addr 查看最新的mac地址2、禁用 NetworkManagersystemctl stop Ne...

2018-11-19 10:24:27 3178

打开CentOS7页面出现：welcome to emergency mode！after logging in ，type “journalctl -xb” to view system logs，“systemctl reboot” to reboot ，“systemctl default” to try again to boot into default mode。give roo...

2018-11-19 10:07:44 43091 1

转载 JVM性能调优监控工具jps、jstack、jmap、jhat、jstat、hprof使用详解

企业级Java应用开发、维护中，有时候我们会碰到下面这些问题：OutOfMemoryError，内存不足内存泄露线程死锁锁争用(Lock Contention)Java进程消耗CPU过高…这些问题在日常开发、维护中可能被很多人忽视(比如有的人遇到上面的问题只是重启服务器或者调大内存，而不会深究问题根源)，但能够理解并解决这些问题是Java程序员进阶的必备要求。本文将对一些常用的J...

2018-11-16 10:52:27 792

原创 selenium获取动态网站数据

一、安装pip install selenium二、下载浏览器驱动谷歌浏览器驱动下载地址：http://npm.taobao.org/mirrors/chromedriver/火狐浏览器驱动下载地址：http://npm.taobao.org/mirrors/geckodriver/查看谷歌浏览器版本：帮助 --> 关于 Google Chrome三、爬取今日头条数据进入到...

2018-11-12 14:06:42 1728 1

原创 python爬虫-通过bs4和xpath分析html代码

今天在python中文社区上看到一篇文章：《Python爬虫基础：验证码的爬取和识别详解》url地址为：https://profwang.cloudcare.cn/kl/article/fad57e166edd5bc278fb5cd304a2024e95ea7553?share=1我感觉作者用xpath分析代码的时候不是很好，下面是我重新改善的一、用lxml模块分析代码#!/usr/bin...

2018-11-09 13:56:10 2602

转载 docker容器监控(cAdvisor+InfluxDB+Grafana)

对于一个物理机上运行多个容器应用时，容器的运行情况如：CPU使用率、内存使用率、网络状态、磁盘空间等信息，都是需要去了解的，因此监控是必须的。对于容器的监控方案可谓多种多样，本身自带命令docker stats。[root@docker ~]# docker statsCONTAINER CPU % MEM USAGE / LIMIT MEM % NET I/O...

2018-11-08 14:17:08 2443 1

翻译 docker-compose

官网文档地址： https://docs.docker.com/compose/overview/docker镜像在创建之后，往往需要自己手动pull来获取镜像，然后执行run命令来运行。当服务需要用到多种容器，容器之间又产生了各种依赖和连接的时候，部署一个服务的手动操作是令人感到十分厌烦的。docker-compose技术，就是通过一个 .yml 配置文件，将所有的容器的部署方法、文件映射、...

2018-11-08 13:41:58 6888

翻译 Docker-machine

官网帮助文档： https://docs.docker.com/machine/overview/一、docker-machine 介绍1、定义docker-machine就是docker公司官方提出的，用于在各种平台上快速创建具有docker服务的虚拟机的技术，甚至可以通过指定driver来定制虚拟机的实现原理（一般是virtualbox）。2、Docker 与 Docker Machi...

2018-11-08 13:01:20 1129

原创 linux 下安装并运行kettle 程序

一、创建用户groupadd kettleuseradd -r -g kettle kettle 二、下载并解压安装包unzip pdi-ce-7.1.0.0-12.zipchown kettle.kettle data-integration -Rcd data-integrationchmod 755 *.sh三、安装jdkmkdir /usr/javatar -z...

2018-11-07 15:06:15 14414 2

原创 python nmap模块扫码端口

操作系统：centos7.4官网地址： https://pypi.org/project/python-nmap/一、安装#首先安装nmap包$ yum -y install nmap#安装模块$ pip install python-nmap备注：此处安装的是 python-nmap 模块，不是 nmap 模块如果安装了 nmap 模块，在实例化对象 [“nmap.Por...

2018-11-07 12:22:59 3014

原创 Docker Swarm集群

一、介绍Swarm是一套较为简单的工具，用以管理Docker集群，使得Docker集群暴露给用户时相当于一个虚拟的整体。Swarm使用标准的Docker API接口作为其前端访问入口，换言之，各种形式的Docker Client(dockerclient in go, docker_py, docker等)均可以直接与Swarm通信。Swarm几乎全部用Go语言来完成开发，并且还处于一个Alp...

2018-11-06 13:33:47 471

翻译 Nginx配置跨域访问

由于浏览器同源策略的存在使得一个源中加载来自其它源中资源的行为受到了限制。即会出现跨域请求禁止。通俗一点说就是如果存在协议、域名、端口或者子域名不同服务端，或一者为IP地址，一者为域名地址（在跨域问题上，域仅仅是通过"url的首部"来识别而不会去尝试判断相同的IP地址对应着两个域或者两个域是否同属同一个IP），之中任意服务端旗下的客户端发起请求其它服务端资源的访问行动都是跨域的，而浏览器为了安全...

2018-11-01 12:46:04 15915

转载跨域资源共享 CORS 详解

CORS是一个W3C标准，全称是"跨域资源共享"（Cross-origin resource sharing）。它允许浏览器向跨源服务器，发出XMLHttpRequest请求，从而克服了AJAX只能同源使用的限制。一、简介CORS需要浏览器和服务器同时支持。目前，所有浏览器都支持该功能，IE浏览器不能低于IE10。整个CORS通信过程，都是浏览器自动完成，不需要用户参与。对于开发者来说，C...

2018-11-01 11:41:03 739