- 博客(9)
- 资源 (1)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 使用docker部署基于selenium和chrome-headless的爬虫
无论是测试还是爬虫的一些工作，有时候都会用到selenium去对chrome执行自动化操作，这里介绍一下如何使用docker快捷方便的部署相关应用。1. selenium+chrome镜像通过docker search selenium我们发现，有一个docker镜像叫做selenium/standalone-chrome。看名字应该是包含了selenium和chrome，按照之前的方式我们...
2018-12-19 00:15:17
23349
14
原创 访问Neo4j验证失败（The client is unauthorized due to authentication failure.）
使用Neo4j的过程中，可以打开页面，但是无法连通数据库。在查看日志发现有下面的报错：2018-12-18 05:30:34.693+0000 ERROR Unexpected error detected in bolt session '286ed4fffe88ed75-00016e40-00000001-8318869067983891-a1fb2d6d'. The client is ...
2018-12-18 16:12:46
40017
22
原创 基于docker swarm搭建ELK集群
阿里云docker安装教程以及镜像下载加速1 Swarm介绍Swarm是Docker官方提供的一款集群管理工具，其主要作用是把若干台Docker主机抽象为一个整体，并且通过一个入口统一管理这些Docker主机上的各种Docker资源。Swarm和Kubernetes比较类似，但是更加轻，具有的功能也较kubernetes更少一些。总而言之使用swarm搭建集群是非常方便的，先看一下doc...
2018-12-16 13:19:53
4067
1
原创 编写Dockerfile和docker-compose.yaml文件案例
本文使用flask基于redis构建一个web接口，教你使用Dockerfile来构建镜像和使用docker-compose来启动这一系列服务。1. Flask服务from flask import Flaskfrom redis import Redisapp = Flask(__name__)redis = Redis(host="redis",port=6379)@app.r...
2018-12-14 23:03:22
10439
3
原创 反爬虫的一些心得
转载请注明来源本帖持续更新1. 为什么会弹出验证码访问频率太高，网站会针对性的弹出验证码限制你的访问，一般有这几种情况：记录了你的IP访问频率，针对IP弹出验证码记录了你的cookies访问频率，针对此账号弹出验证码双管齐下，同时限制你的IP和账号的访问2. 比较好的验证码设计2.1 第一种这种好像是谷歌的验证码生成库生成的中文验证码。抛开大量样本的深度学习不说，这种...
2018-12-12 23:44:42
2447
原创 如何使用Python调用dll动态链接库？
1. 需求最近有这样一个需求：网络上下载了大佬的深度学习图像识别模型，想要集成到自己的后端作为服务调用。模型是.dll文件，而我这边使用的是Python。2. 思路.dll是使用C或者C++编译的动态链接库，一般留有函数入口可以进行调用。首先我们通过阅读原项目的源码，找到入口的函数名称、传参规则和类型、返回值类型。然后使用Python ctype库加载dll库，并且调用函数，得到返回值...
2018-12-08 00:11:15
13750
原创 理解TensorFlow的Graph和Session
当我们import tensorflow的时候，就已经创建了一个默认的图了。import tensorflow as tfprint(tf.get_default_graph())$ result:<tensorflow.python.framework.ops.Graph object at 0x7fe0ae6b2208>有新的操作，默认添加到默认图中impor...
2018-12-06 19:06:21
916
原创 使用python批量导入数据到neo4j
说到neo4j的批量导入数据，我想你一定会想到如下几点：import toolsload fileneo4j driver for python/java…前两种必须要数据文件存在文件系统才可以执行。但是如果你的数据是以流数据的形式持续获取的呢？这时候会选择python或者java来进行实时的数据节点的导入。也许你使用过python的py2neo，然后发现导入节点的速度特别慢。...
2018-12-04 16:21:11
14135
3
原创 JavaScript格式化输出并展示Json对象
效果就是下面这样子，开始还以为代码很复杂，实际上一句JSON.stringify(data, null, "\t")就解决了。具体代码如下：<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>Title
2018-12-04 15:30:37
16517
4
如何建立自己的代理IP池，并持续维护？
2017-10-16
TA创建的收藏夹 TA关注的收藏夹
TA关注的人