- 博客(94)
- 收藏
- 关注
RSS订阅原创 jsRPC的流程
5、将浏览器控制台关掉，不要刷新页面，可以使用python调用了。4、打好断点，页面内局部刷新跳到断点位置，注入方法。3、在浏览器控制台注入环境，连接通信。1、打开浏览器，进入要爬取的页面。2、打开本地jsrpc服务。
2024-09-19 11:35:43
190
原创 绕过 Cloudflare 5秒盾的方法
4、搭建 flaresolverr 服务。1、使用 cloudscraper 库。2、使用 curl_cffi 库。3、使用第三方api。
2024-03-21 16:21:45
1561
原创 python使用PIL库的一些方法
getpixel 用来获取图像中某一点的像素的RGB颜色值resize 对图像进行缩放Image.new 可以新建一张空图paste 将一张图片覆盖到另一张图片的指定位置去
2022-04-15 10:27:59
2567
原创 Ubuntu18.04安装mongodb
1）安装依赖sudo apt-get install libcurl4 openssl2）下载源码wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-ubuntu1604-4.2.8.tgz3）解压并且移动tar -zxvf mongodb-linux-x86_64-ubuntu1604-4.2.8.tgzmv mongodb-linux-x86_64-ubuntu1604-4.2.8 /usr/local/mon
2021-12-29 18:11:35
706
原创 python安装opencv
使用国外的安装速度慢，换成豆瓣源安装：pip install -i http://pypi.douban.com/simple opencv-python --trusted-host pypi.douban.com安装完毕后导入：import cv2
2021-11-02 16:54:25
2264
原创 Splash抓取动态页面
一、安装 环境：Ubuntu18.04 1）安装docker 2）下拉splash镜像sudo docker pull scrapinghub/splash 3) 启动sudo docker run -p 8050:8050 scrapinghub/splash 4)访问http://服务器ip:8050/验证二、基本使用import requestsdef splash_render...
2021-10-22 14:13:04
264
原创 安装rvm报错解决 gpg: Can‘t check signature: No public key
如图所示：解决，按照提示gpg2 --keyserver hkp://pool.sks-keyservers.net --recv-keys 409B6B1796C275462A1703113804BB82D39DC0E3 7D2BAF1CF37B13E2069D6956105BD0E739499BDB如果失败，继续执行command curl -sSL https://rvm.io/mpapis.asc | gpg2 --import -command curl -sSL h..
2021-06-22 15:49:09
1344
原创 docker打包镜像，上传到远程仓库，下载
一、生成docker镜像1、生成requirements文件pip3 freeze > requirements2、编写DockerFile文件FROM python:3.6MAINTAINER Jerry "xxx@qq.com"ENV PATH /usr/local/bin:$PATHADD . /codeWORKDIR /codeRUN pip3 install -r requirementsCMD python3 main.py3、在当前目录下打包镜像
2021-06-01 15:11:08
609
原创 安装crawlab后遇到的一些问题
进入docker命令行的方法:docker exec -i -t 容器id /bin/bash自动安装依赖：打包的文件中包含requirements.txt遇到问题：1）能够访问登录页面，使用初始密码登录时却报错解决办法：1、确保crawlab是最新版本2、修改docker-compose.yml文件，就用官网上的配置就行2）运行后报错找不到文件：解决办法：在打包爬虫代码时直接打包文件，不要连文件夹一起打包。打包好后上传。...
2021-06-01 11:01:40
1709
原创 通过nginx访问服务器静态文件
server { listen 80; server_name localhost; location / { root /var/www/html/static; index index.html index.htm; } }
2020-12-11 16:08:41
614
原创 SVN客户端：不知道这样的主机
原因：使用的是域名访问SVN服务端，然而本地没有做域名解析，导致访问失败。解决办法：使用ip访问服务端，或者在本机的hosts文件中添加相应的域名解析。
2020-12-07 12:32:01
2550
原创 正则匹配反斜杠
淘宝购物车截取一部分信息如下，可通过unicode解码成汉字：\"id\":\"1317026845822269866\",\"operations\":[{\"style\":\"t5\",\"text\":\"\u8FD8\u52692\u592912\u65F6\",\"type\":\"operation\"},{\"id\":\"confirmGood\",\"style\":\"t3\",进行正则匹配时，使用 \\\\ 可以匹配反斜杠 \...
2020-10-21 22:06:32
682
原创 sklearn学习 -- 交叉验证 cross_val_score
from sklearn.model_selection import cross_val_scorefrom sklearn.neighbors import KNeighborsClassifierfrom sklearn import datasetsfrom matplotlib import pyplot as pltiris = datasets.load_iris() # 导入数据x = iris.data # 特征y = iris.target # 标签.
2020-09-16 15:34:52
2281
原创 sklearn学习 -- 标准化数据 preprocessing
正规化(标准化)数据可以提升机器学习的成效。from sklearn.datasets import make_classificationfrom sklearn.model_selection import train_test_splitfrom sklearn import preprocessingfrom sklearn.svm import SVC# 生成数据x, y = make_classification(n_samples=300, n_features=2, n_r
2020-09-15 17:40:39
347
原创 sklearn学习 -- 线性回归 LinearRegression
from sklearn import datasetsfrom sklearn.linear_model import LinearRegressionfrom sklearn.model_selection import train_test_splitload_data = datasets.load_boston() # 波士顿房价数据集data_x = load_data.data # 特征data_y = load_data.target # 标签train.
2020-09-15 15:14:15
534
原创 sklearn学习 -- k近邻
百度百科：在特征空间中，如果一个样本附近的k个最近(即特征空间中最邻近)样本的大多数属于某一个类别，则该样本也属于这个类别。比如我们要预测中心点的颜色，以k=3为半径画一个圆（图中实线圆），此时红点多于蓝点，那么我们推测中心点为红色,以k=5为半径画一个圆（图中虚线圆），此时蓝点多于红点，那么我们推测中心点为蓝色。 代码如下：from sklearn import datasetsfrom s...
2020-09-15 10:00:47
190
原创 sklearn学习 -- 支持向量机核函数kernel
选择SVM的核函数kernel 1）linear：线性核，解决线性问题 2）poly：多项式核，解决偏线性问题 3）sigmoid：双曲正切核，解决非线性问题 4）rbf：径向基核，解决偏非线性问题...
2020-09-11 16:00:20
631
原创 机器学习的现实应用
如今机器学习的现实应用已经相当广泛，包括1）图像识别 是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术。2）推荐系统 推荐系统是利用电子商务网站向客户提供商品信息和建议，帮助用户决定应该购买什么产品，模拟销售人员帮助客户完成 购买过程。个性化推荐是根据用户的兴趣特点和购买行为，向用户推荐用户感兴趣的信息和商品。3）欺诈检测4）搜索引擎...
2020-09-09 15:22:56
937
原创 linux安装库时报错error: command ‘x86_64-linux-gnu-gcc‘ failed with exit status 1
在Ubuntu18.04上安装nameko时报错：error: command 'x86_64-linux-gnu-gcc' failed with exit status 1如图所示：解决办法：安装依赖库python2：sudo apt-get install build-essential python-dev libssl-dev libffi-dev libxml2 libxml2-dev libxslt1-dev zlib1g-devpython3：s..
2020-09-07 11:00:40
16833
原创 在Ubuntu中安装docker
自动安装命令：curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun
2020-09-05 11:13:54
164
原创 sklearn学习 -- 随机森林分类
随机森林是非常具有代表性的装袋集成算法，装袋集成算法是对基评估器的预测结果进行平均或用多数表决原则来决定集成评估器的结果。它的所有基评估器都是决策树，分类树组成的森林就叫做随机森林分类器，使用方法如下。from sklearn.model_selection import cross_val_scorefrom sklearn.ensemble import RandomForestClassifierdef trainModel(data, label): """ ...
2020-09-04 14:40:37
1018
原创 sklearn学习 (1) -- 机器学习分类
1）监督学习：有数据和标签2）非监督学习：只有数据，没有标签3）半监督学习：结合了监督学习和非监督学习4）强化学习：从经验中总结提升5）遗传算法：适者生存，不适者淘汰
2020-09-03 16:37:50
195
原创 阿里云 /usr/sbin/sshd 被篡改
问题：ssh服务无法启动，无法远程连接解决：直接从后台登录，发现sshd文件大小与正常服务器的区别很大将sshd替换成正常的，直接启动时有出现以下问题：sshd re-exec requires execution with an absolute path可以使用命令 service sshd restart 进行启动...
2020-08-24 18:28:35
3410
原创 flask连接不同数据库同名表时报错：Table ‘xxx‘ is already defined for this MetaData instance.
使用flask-sqlalchemy连接两个不同的数据库，这两个数据库中存在表名相同的表。启动时报错：sqlalchemy.exc.InvalidRequestError: Table 'xxxx' is already defined for this MetaData instance.解决办法：第二个表使用一个新的metadatafrom sqlalchemy import MetaDataclass AmazonAsinHijack(db.Model): __table
2020-08-18 17:15:51
879
原创 从后端向前端echats的x轴传入字符串列表时不显示
原因：flask 参数到 js时，一直把单引号双引号，转换为 & # 39 ; & # 34;，导致数据一直不能用。解决办法：可以通过js的tojson解决data: {{ data.time_list|tojson }}
2020-08-18 09:32:58
383
原创 在docker中安装Ubuntu,并在该Ubuntu中安装python与pip
1）下载ubuntu镜像docker pull ubuntu2）查看镜像docker images3）运行容器docker run -itd --name ubuntu-test ubuntu4）进入容器sudo docker exec -it ubuntu-test /bin/bash5）更新源apt-get update6）安装命令，可以用ifconfig查看ipapt install net-tools7）安装pythonapt-get
2020-08-14 16:35:59
915
原创 微信小程序 -- 真机调试时没问题，上线后无法访问服务器
问题：在微信开发者工具上真机调试时没有问题，可以正常访问远程服务器上的接口，但上线后却无法访问，没有返回数据。原因：在开发者工具上使用的是http协议并且勾选了不校验合法域名，但上线需使用https协议。如果使用非腾讯云的服务器需要在小程序管理后台设置白名单。...
2020-08-12 16:57:41
6203
3
原创 python使用commands模块时报错 sh: 1: Syntax error: “；“ unexpected
原因是需要执行的linux命令中含有特殊符号 &解决办法： def get_real_command(command): return command.replace('&', '\&')
2020-08-12 10:09:23
367
原创 微信小程序开发 -- 点击按钮实现页面跳转
1）新建页面detail.wxml<!--detail.wxml--><view class="container"> <view> <text>detail page</text> </view></view>2）在app.json中注册3） 在index.wxml中新建一个按钮 <view class="btn-area" id="buttonContainer..
2020-08-06 14:06:49
19530
3
原创 Django框架 -- 使用restful设计风格
1）RESTful设计风格的API，每种请求方法，都对应后端一种数据库操作2）views.pyfrom django.http import HttpResponse, JsonResponsefrom django.views.generic.base import Viewfrom .models import Planclass PlansAPIView(View): def get(self, request): queryset = Plan.objec
2020-07-30 18:36:49
259
原创 Django框架 -- 如何在html中导入css,js等文件
1）在项目根目录下创建static目录来保存静态文件2）在配置文件settings.py中修改静态文件的两个参数为STATIC_URL = '/static/'STATICFILES_DIRS = [ os.path.join(BASE_DIR, 'static'),]3）在总路由urls.py文件中导入from django.contrib.staticfiles.urls import staticfiles_urlpatterns在文件末尾添加urlpatte
2020-07-30 11:55:45
1902
2
原创 Django框架 -- 连接已存在的数据库
1）安装驱动程序pip install PyMySQL2）在Django的工程同名子目录的__init__.py文件中添加如下语句from pymysql import install_as_MySQLdbinstall_as_MySQLdb()3）在配置文件settings.py修改DATABASES = { 'default': { 'ENGINE': 'django.db.backends.mysql', 'HOST': '127.
2020-07-29 15:45:49
682
原创 Django框架 -- 前端html模板的使用方法
1）在项目根目录中创建模板目录templates。2）在settings.py配置文件中修改TEMPLATES配置项的DIRS值。TEMPLATES = [ { 'BACKEND': 'django.template.backends.django.DjangoTemplates', 'DIRS': [os.path.join(BASE_DIR, 'templates')], 'APP_DIRS': True, 'OPTI
2020-07-29 14:56:44
1262
原创 将数据库复制到另一台电脑上
1）先将原数据库导出，在当前目录生成sql文件。mysqldump -u root -p test_db > test_db.sql2）将sql文件拷贝到新的服务器3）在新服务器上创建一个新数据库4）进入新创建的数据库，导入sql文件source /root/Desktop/test_db.sql...
2020-07-24 10:16:19
3561
原创 将腾讯云的默认用户ubuntu切换为root用户
供应商：腾讯云系统：Ubuntu18.04购买后，发现和阿里云、华为云的默认用户是root不同，腾讯云的默认用户是ubuntu，如果想要切换成root用户，可以按以下操作进行：1）首先使用默认用户登陆腾讯云，修改root用户的密码sudo passwd root2）修改ssh配置，sudo vi /etc/ssh/sshd_config，取消掉PermitRootLogin前的#号，并将后面的值改成yes。3）重启ssh服务sudo service ssh restart
2020-07-21 09:27:20
3408
原创 给Ubuntu安装桌面并且用VNC远程连接
1）更新软件库sudo apt-get update2）升级sudo apt-get upgrade3）安装xfcesudo apt-get install xfce44）安装VNCServersudo apt-get install vnc4server5）启动并且设置密码vncserver :16）修改配置文件: vi~/.vnc/xstartup#!/bin/sh unset SESSION_MANAGER unset DBUS_SESSI.
2020-07-17 15:00:41
458
1
原创 python GUI Tkinter实现一个简易计算器
Tkinter 是 Python 的标准 GUI 库。Python 使用 Tkinter 可以快速的创建 GUI 应用程序。
2020-07-17 09:39:23
4048
原创 python编写执行linux命令的脚本
from commands import getstatusoutput as getsodef excuteShell(cmd): print("excute shell command: ", cmd) status, result = getso(cmd) if status == 0: print("cmd[%s] done:[%s]" % (cmd, result)) else: print("cmd[%s] failed:[.
2020-07-10 14:12:48
1051
原创 爬虫碰到谷歌验证码的一些解决思路
最近在写一个国外某电商网站的刷单脚本，在注册账号这一步时碰到了谷歌验证码。一、避开谷歌验证码尽可能的使部署环境稳定，同时做好伪装。比如使用PPTP拨号换ip，可以通过访问whoer.net来查看ip是否伪装成功。二、人工通过谷歌验证码后再用selenium接管在第一次注册时人工验证，然后再交给selenium接管，之后通过该浏览器窗口再次注册不会出现验证码，但缺点是不能关闭浏览器也不能更换ip。三、进行语音验证谷歌验证码可以通过图片验证或者语音验证，目前没找到通过图片验证的方法，可以
2020-07-08 11:14:13
2544
原创 VNC桌面无法打开终端：Failed to execute default Terminal Emulator. Input/output error.
系统：Ubuntu18.04通过VNC远程连接图形桌面，发现无法打开终端，并且报错：Failed to execute default Terminal Emulator. Input/output error.解决办法：1）依次打开Applications--Settings--Settings Manager.2）点击Preferred Applications3）点击Utilities选项，选择Xfce Terminal。此时可以打开终端了。...
2020-07-06 17:11:34
4331
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人