weixin_42912498的博客

5、将浏览器控制台关掉，不要刷新页面，可以使用python调用了。4、打好断点，页面内局部刷新跳到断点位置，注入方法。3、在浏览器控制台注入环境，连接通信。1、打开浏览器，进入要爬取的页面。2、打开本地jsrpc服务。

4、搭建 flaresolverr 服务。1、使用 cloudscraper 库。2、使用 curl_cffi 库。3、使用第三方api。

getpixel 用来获取图像中某一点的像素的RGB颜色值resize 对图像进行缩放Image.new 可以新建一张空图paste 将一张图片覆盖到另一张图片的指定位置去

1）安装依赖sudo apt-get install libcurl4 openssl2）下载源码wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-ubuntu1604-4.2.8.tgz3）解压并且移动tar -zxvf mongodb-linux-x86_64-ubuntu1604-4.2.8.tgzmv mongodb-linux-x86_64-ubuntu1604-4.2.8 /usr/local/mon

使用国外的安装速度慢，换成豆瓣源安装：pip install -i http://pypi.douban.com/simple opencv-python --trusted-host pypi.douban.com安装完毕后导入：import cv2

一、安装 环境：Ubuntu18.04 1）安装docker 2）下拉splash镜像sudo docker pull scrapinghub/splash 3) 启动sudo docker run -p 8050:8050 scrapinghub/splash 4)访问http://服务器ip:8050/验证二、基本使用import requestsdef splash_render...

如图所示：解决，按照提示gpg2 --keyserver hkp://pool.sks-keyservers.net --recv-keys 409B6B1796C275462A1703113804BB82D39DC0E3 7D2BAF1CF37B13E2069D6956105BD0E739499BDB如果失败，继续执行command curl -sSL https://rvm.io/mpapis.asc | gpg2 --import -command curl -sSL h..

一、生成docker镜像1、生成requirements文件pip3 freeze > requirements2、编写DockerFile文件FROM python:3.6MAINTAINER Jerry "xxx@qq.com"ENV PATH /usr/local/bin:$PATHADD . /codeWORKDIR /codeRUN pip3 install -r requirementsCMD python3 main.py3、在当前目录下打包镜像

进入docker命令行的方法:docker exec -i -t 容器id /bin/bash自动安装依赖：打包的文件中包含requirements.txt遇到问题：1）能够访问登录页面，使用初始密码登录时却报错解决办法：1、确保crawlab是最新版本2、修改docker-compose.yml文件，就用官网上的配置就行2）运行后报错找不到文件：解决办法：在打包爬虫代码时直接打包文件，不要连文件夹一起打包。打包好后上传。...

部署在服务器上面的项目运行正常，第二天早上起来发现除了静态页面，凡是调用数据库操作的页面均无法访问，提示500错误，初步判断为数据库连接出现问题。 SQLALCHEMY_TRACK_MODIFICATIONS = False SQLALCHEMY_RECORD_QUERIES = True SQLALCHEMY_POOL_SIZE = 1024 SQLALCHEMY_POOL_TIMEOUT = 90 SQLALCHEMY_POOL_RECYCLE = 3

解决办法：在终端输入：vncconfig -nowin&注意：不要在通过xshell或者putty远程连接的终端输入，直接在vnc远程桌面上打开的终端输入。

linux 配置 redis 数据库1）查看配置信息。sudo vi /etc/redis/redis.conf2）绑定ip和端口,最好不要bind 0.0.0.0，port也改成其它的，防止被他人利用redis的漏洞恶意攻击或者植入病毒。bind 127.0.0.1port 63793）如果以守护进程运行，则不会在命令行阻塞，类似于服务；如果以非守护进程运行，则当前终端...

server { listen 80; server_name localhost; location / { root /var/www/html/static; index index.html index.htm; } }

原因：使用的是域名访问SVN服务端，然而本地没有做域名解析，导致访问失败。解决办法：使用ip访问服务端，或者在本机的hosts文件中添加相应的域名解析。

淘宝购物车截取一部分信息如下，可通过unicode解码成汉字：\"id\":\"1317026845822269866\",\"operations\":[{\"style\":\"t5\",\"text\":\"\u8FD8\u52692\u592912\u65F6\",\"type\":\"operation\"},{\"id\":\"confirmGood\",\"style\":\"t3\",进行正则匹配时，使用 \\\\ 可以匹配反斜杠 \...

from sklearn.model_selection import cross_val_scorefrom sklearn.neighbors import KNeighborsClassifierfrom sklearn import datasetsfrom matplotlib import pyplot as pltiris = datasets.load_iris() # 导入数据x = iris.data # 特征y = iris.target # 标签.

正规化(标准化)数据可以提升机器学习的成效。from sklearn.datasets import make_classificationfrom sklearn.model_selection import train_test_splitfrom sklearn import preprocessingfrom sklearn.svm import SVC# 生成数据x, y = make_classification(n_samples=300, n_features=2, n_r

from sklearn import datasetsfrom sklearn.linear_model import LinearRegressionfrom sklearn.model_selection import train_test_splitload_data = datasets.load_boston() # 波士顿房价数据集data_x = load_data.data # 特征data_y = load_data.target # 标签train.

百度百科：在特征空间中，如果一个样本附近的k个最近(即特征空间中最邻近)样本的大多数属于某一个类别，则该样本也属于这个类别。比如我们要预测中心点的颜色，以k=3为半径画一个圆（图中实线圆），此时红点多于蓝点，那么我们推测中心点为红色,以k=5为半径画一个圆（图中虚线圆），此时蓝点多于红点，那么我们推测中心点为蓝色。 代码如下：from sklearn import datasetsfrom s...

选择SVM的核函数kernel 1）linear：线性核，解决线性问题 2）poly：多项式核，解决偏线性问题 3）sigmoid：双曲正切核，解决非线性问题 4）rbf：径向基核，解决偏非线性问题...