- 博客(895)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 【linux vim离线安装】10分钟教你离线安装vim
把上面两个.so文件，拷贝到新机器，同时需要将该库文件路径添加到系统库路径中。下载以上四个文件，然后在新电脑上新建文件夹，vim_rpm ，cd vim_rpm 进入文件夹。显示缺少libgpm.so.2文件，在有网的机器上把这个文件拷贝过来。
2023-05-22 13:59:39
3955
3
原创 【docker 容器】docker 容器内安装vim
docker 进入容器后，一般是没有vim,那么如何操作呢？首先我们需要用root 用户进入容器，再次跟新安装vim,就可以了。
2022-10-26 11:24:27
340
原创 【docker 容器化部署】docker教程-基础操作1
linux centos 系列安装docker。windows10 安装docker。docker 常用命令。
2022-09-20 14:30:22
290
原创 【fake_useragent 错误】fake_useragent.errors.FakeUserAgentError: Maximum amount of retries reached
报错信息如下：for item in get_browsers(verify_ssl=verify_ssl): File "/usr/local/python3/lib/python3.6/site-packages/fake_useragent/utils.py", line 97, in get_browsers html = get(settings.BROWSERS_STATS_PAGE, verify_ssl=verify_ssl) File "/usr/local/python
2022-05-18 18:18:49
352
原创 【PyScript HTML】PyScript：让Python在HTML中运行
根据官方介绍，这个名为 PyScript 的框架，其核心目标是为开发者提供在标准HTML中嵌入Python代码的能力，使用 Python调用JavaScript函数库，并以此实现利用Python创建Web应用的功能。<html> <head> <link rel="stylesheet" href="https://pyscript.net/alpha/pyscript.css" /> <script defer src="https://p.
2022-05-14 21:23:00
588
原创 【大数据kafka集群运维】一起来了解EFAK - Kafka可视化管理工具
EFAK（Eagle For Apache Kafka，以前称为 Kafka Eagle）EFAK是开源可视化和管理软件。可以查询、可视化、监控kafka集群，是将 kafka 的集群数据转换为图形可视化的工具。Kafka-Eagle 是一款完全开源的对 Kafka 集群及应用做全面监控的系统，其核心由以下几个部分组成：数据采集：核心数据来源 JMX 和 API 获取；数据存储：支持 MySQL 和 Sqlite 存储；数据展示：消费者应用、图表趋势监控（包括集群状态、消费生产速率、消费积压等）、开
2022-05-13 21:06:52
2434
原创 【cudart64_110.dll】Could not load dynamic library cudart64_110.dll
错误描述：Could not load dynamic library 'cudart64_110.dll'; dlerror: cudart64_110.dll not found解决办法：下载cudart64_110.dll 文件，官方下载地址：https://www.dll-files.com/cudart64_110.dll.html点击第一个download 下载即可解压会出现如下文件：cudart64_110.dll把cudart64_110.dll复制粘贴到C:\Window
2022-05-07 11:55:57
9695
5
原创 【python 数据合并】1招教你csv文件合并成一个大文件
需求分析：将同一个文件夹下所有csv 合并成一个大文件，并计算各列最大值，最小值，标准偏差。解决方案：# -*- coding: utf-8 -*-import pandas as pdimport ossave_path='D:/Programs/数据项目/csv文件合并/合并前/'save_merge_path='D:/Programs/数据项目/csv文件合并/合并后/'df1 = pd.DataFrame()for parent, dirnames, filenames in
2022-04-04 19:08:48
2287
原创 【编码与加密】开发中经常用到的编码与加密算法应用
1、base64 编码base64 是基于64个字符而设计的编码系统。一般最后面还有等于==的编码一般想到是的base64编码。Base64编码是从二进制到字符的过程，可用于在HTTP环境下传递较长的标识信息。采用Base64编码具有不可读性，需要解码后才能阅读。在编码过程中，如果字符位数少于24位，就会进行特殊的处理，在编码的结果末尾用=符号填充。如下面的例子：# -*- coding: utf-8 -*-from base64 import b64encode,b64decodestr
2022-04-03 21:35:03
669
原创 【linux python 进程】一招教你杀死所有的python进程
目标：在linux 在将所有python 所有中的进程杀掉。linux 下杀死所有python 进程ps aux|grep python|grep -v grep|cut -c 9-15|xargs kill -15
2022-04-03 10:40:44
3608
原创 【MobaXterm 远程连接工具】Windows下有没有xshell的更好的替代品？
每次间隔一段时间，xshell 总是提醒需要更新，很烦，点更新又没有用。xshell 官方下载地址：https://xshell.en.softonic.com/本文要隆重推出一款集万千于一身的全能型终端神器——MobaXterm！这款神器是我师傅介绍给我的，在我第一次使用它的时候，就深深爱上它了，真的是相见恨晚，从此一发不不可收拾，自己电脑，公司电脑全部都安上了这款神器。先说说这款神器的优点：功能十分强大，支持SSH，FTP，串口，VNC，X server等功能；支持标签，切换也十分方便；.
2022-03-31 15:40:11
384
原创 【selenium 模拟拼图】滑动拼图验证码10分钟教程
【滑动验证码 selenium】滑动验证码模拟滑动上文中得滑动验证码，滑动距离是固定的。下面我们介绍随机滑动距离的破解方法。滑动拼图验证码中，目标位置是随机的,要将指定的缺块滑到缺口处，才能通过验证。大概思路是从css 属性left 获取滑块和滑轨的长度，动态计算滑动距离。from selenium import webdriverbrowser = webdriver.Chrome()# 驱动Chrome浏览器打开滑动验证码示例页面browser.get('http://www.porte
2022-03-29 10:59:27
2698
原创 【python 相关性分析】Python绘制相关性热力图
在数据分析时，经常会针对两个变量进行相关性分析。在Python中主要用到的方法是pandas中的corr()方法。corr()：如果由数据框调用corr函数，那么将会计算每个列两两之间的相似度，返回DataFrame# -*- coding: utf-8 -*-# 导入包import pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport seaborn as snsplt.rcParams['font.sans
2022-03-26 09:49:50
12831
2
原创 【异常点检测 孤立森林算法】10分钟带你了解下孤立森林算法
孤立森林(isolation Forest)算法，2008年由刘飞、周志华等提出，算法不借助类似距离、密度等指标去描述样本与其他样本的差异，而是直接去刻画所谓的疏离程度(isolation)，因此该算法简单、高效，在工业界应用较多。用一个例子来说明孤立森林的思想：假设现在有一组一维数据（如下图），我们要对这组数据进行切分，目的是把点A和 B单独切分出来，先在最大，值和最小值之间随机选择一个值 X，然后按照 <X 和 >=X 可以把数据分成左右两组，在这两组数据中分别重复这个步骤，直到数据
2022-03-23 23:31:29
756
原创 【控制算法 数据处理】一阶滤波算法
简单介绍：一阶滤波算法是比较常用的滤波算法，它的滤波结果=a*本次采样值+（1-a）*上次滤波结果，其中，a为0~1之间的数。一阶滤波相当于是将新的采样值与上次的滤波结果计算一个加权平均值。a的取值决定了算法的灵敏度，a越大，新采集的值占的权重越大，算法越灵敏，但平顺性差；相反，a越小，新采集的值占的权重越小，灵敏度差，但平顺性好。优点是对周期干扰有良好的抑制作用，适用于波动频率比较高的场合，它不用记录历史数据。缺点是：滞后、灵敏度低。python 实现# -*- coding: utf-8 -*-
2022-03-23 23:17:23
1734
原创 【webdriver 识别】webdriver 识别绕过原理与实战
目标网站：http://www.porters.vip/features/webdriver.html获取 点击查看详情里面的内容我们先用selinum 试试，直接定位按钮，渲染出来。# -*- coding: utf-8 -*-from selenium import webdriverfrom selenium.webdriver.chrome.options import Optionsimport timeChrome_path='D:/Programs/Python/Pytho
2022-03-06 22:18:36
496
原创 【pyppeteer 截图神器】发起异步请求并截图转换成PDF
pyppeteer 很强大。这里介绍两个简单又实用的功能，第一可以对网页url 内容截图，第二可以转换成PDF文件。例子：# -*- coding: utf-8 -*-import asynciofrom pyppeteer import launchimport ossave_path='D:/Programs/爬虫项目/pyppeteer学习/temp/'if not os.path.exists(save_path): os.makedirs(save_path)a
2022-03-06 20:26:34
519
原创 【字体反爬虫】woff字体反爬虫实战
目标：http://www.porters.vip/confusion/movie.html目标是抓取用户评分，评分人数，累计票房，三个字段。简单一看很简单是不是，我们查看源代码，发现不是那么容易。跟我们看到的并非如此啊。这是什么操作，仔细分析网络请求，我们发现这是使用了字体反爬虫的技术，那么我们如何破解呢？首先我们得用网络请求这个字体文件，然后下载下来。woff_url = 'http://www.porters.vip/confusion/font/movie.woff'woff = r
2022-03-05 22:31:07
509
原创 【爬虫渲染神器】selenium 和pyppeteer 的动态渲染ajax反爬虫
许多网页是动态加载的网页，其中不乏使用了ajax异步技术，那么我们有没有一种渲染工具，直接省略分析过程，模拟浏览器渲染的操作呢，获取到我们想要的内容。当然有，下面我们介绍两种渲染工具的实战使用。目标网站：http://www.porters.vip/verify/sign/点击参看详情页的里面内容。前一篇文章，我们介绍了，js逆向分析两种方法，也是能获取详情页，今天我们依然介绍两种渲染神器，也能获取详情页的内容。神器一：selenum# -*- coding: utf-8 -*-from s
2022-02-27 23:27:21
712
原创 【爬虫神器 pyppeteer】比 selenium 更高效的爬虫利器--pyppeteer
Puppeteer 是 Google 基于 Node.js 开发的工具，调用 Chrome 的 API，通过 JavaScript 代码来操纵 Chrome 完成一些操作，用于网络爬虫、Web 程序自动测试等。pyppeteer 使用了 Python 异步协程库 asyncio，可整合 Scrapy 进行分布式爬虫。要注意的是它执行python3.6+以后版本使用，下面我们一起来了解下如何使用。安装：pip install pyppeteer说明：当你第一次运行 pyppeteer 时，它会下载
2022-02-27 10:33:20
1556
原创 【JS逆向--签名验证反爬虫】sign签名验证破解实现方式
目标：爬取http://www.porters.vip/verify/sign/ 详情公告点击network ，分析网络请求，发现一个http://www.porters.vip/verify/sign/fet?actions=34416&tim=1645886772&randstr=LSUBB&sign=bdbe0235918f5a6b54351915a8edf741这个链接有我们想要的内容这个url 是一个get请求，包含4个参数。其中action 看起来是5个
2022-02-26 22:55:53
1460
原创 【node.js 环境配置】爬虫必备-10分钟教你配置node.js环境
Node.js® 是基于Chrome 的 V8 JavaScript 引擎构建的 JavaScript 运行时。下面我们一起来安装。下载地址：https://nodejs.org/zh-cn/download/windows 安装，点击下载下来的node-v16.14.0-x64.msi 文件，进入安装界面。这里改成D盘。点击next勾选，点击next，最后进入安装。再次打开cmd ，命令：安装成功！...
2022-02-26 22:32:24
7787
原创 【算法 2022】高效有用的机器学习算法和 Python 库
2022年已经到来，在此祝大家虎年大吉！2022年，下面几种机器学习算法和 Python 库将在未来更受欢迎！让我们花个几分钟一起来了解下：一、CatBoostCatBoost 可能是最新的算法，因为它随着越来越流行而不断更新。这个机器学习算法对于处理分类数据的数据科学家特别有用。您可以考虑 Random Forest 和 XGBoost 算法的优点，CatBoost 具有它们的大部分优点，同时还具有更多其它的优点。无需担心参数调整——默认值通常会胜出，通常不值得手动调整，除非您想通过手动更改值来
2022-02-22 16:09:37
792
原创 【马蜂窝 加速乐cookie】一次坑爹的获取html源代码不到之路
本次想爬取马蜂窝一篇游记的内容，页面地址：http://www.mafengwo.cn/i/21870682.html网页看起来很简单，暂时没毛病。我们发起requests请求，去获取源代码，进行解析，带上伪装的浏览器请求头，发送get请求，获取html源码# -*- coding: utf-8 -*-import requestsfrom fake_useragent import UserAgent# 随机获取User-Agentdef get_random_ua(): ua
2022-02-19 11:45:51
407
原创 【ja3 指纹算法】JS逆向之ja3指纹算法
ja3 官方：https://ja3er.com访问这个网站：https://ja3er.com/json你会看到类似如下的返回json字段结果，这就是著名的ja3算法加密后的结果。那么这个ja3究竟是何方神圣，有什么神秘之处呢？{"ja3_hash":"b32309a26951912be7dba376398abc3b", "ja3": "771,4865-4866-4867-49195-49199-49196-49200-52393-52392-49171-49172-156-157-47-53,
2022-01-22 11:55:25
1825
1
原创 【js 逆向分析】JS爬虫逆向之汽车之家
今天主要是研究汽车之家在登录时的password加密方法，并通过python调用js的方式运行出加密结果。汽车之家的登陆验证url，通过分析network 是一个网页请求如下的post请求https://account.autohome.com.cn/Login/ValidIndexFormFata 表单如下：loginfrom: poploginname: xxxxxpwd: e10adc3949ba59abbe56e057f20f883eisauto: truefPosition: 0
2021-12-22 15:00:05
746
原创 【python 反爬虫JS】反爬虫JS分析
有道翻译是以异步方式实现数据加载的，要实现对此类网站的数据抓取，其过程相对繁琐，涉及到JS表单加密。分析post请求表单数据如下：并发现以下了规律：salt、sign、lts 总是变化的，而 bv 等其他参数是不变化的。其中 lts 代表毫秒时间戳，salt 和 lts 之间存在着某种关联，因为两者只有最后一个数字是不同的；而 sign 对应的值是一个加密后的字符串。搜索salt 找到了fanyi.min.js 这个js文件影藏了大密码如果想要实现实时地抓取翻译结果，就需要将 salt 和 si
2021-12-13 23:54:41
810
原创 【python 项目打包】对python程序打包成exe文件
python打包成exe文件的方法方法1：常规骚操作，pyinstaller 打包，前提需要安装pyinstaller，进入项目路径进行打包操作（命令方式）pip install pyinstallerpyinstaller.exe --onefile --windowed main.py （单文件，单窗口）pyinstaller.exe --noconsole --onedir --windowed main.py （多文件，多窗口）Pyinstaller -F -i xx.ico
2021-12-06 11:05:49
4695
原创 【python mat文件】python中如何读写mat文件
目标：python读写matlab .mat 矩阵文件。读操作需要导入scipy.io模块中的loadmat：核心： x1=loadmat(file_path+'%s'%file_name)写操作需要导入 scipy.io 模块中的 io：核心： io.savemat(save_mat_path+'%s'%file_name, {'name': x2})完整例子：# -*- coding: utf-8 -*-from scipy.io import loadmatimport sc
2021-12-06 10:54:46
437
原创 【python 爬虫乱码】request请求返回json乱码如何解决
请求网页返回json 往往出现乱码，那么如何解决呢，举个例子，# -*- coding: utf-8 -*-import requestsimport jsonurl="https://www.phei.com.cn/module/goods/zxsj.jsp?cache=true&cacheKey=wssd_Rec_New_%E8%AE%A1%E7%AE%97%E6%9C%BA&shownum=8&type=%E8%AE%A1%E7%AE%97%E6%9C%BA"con
2021-12-02 10:19:43
2298
原创 【python 油价爬虫】杭州油价爬虫出现byte乱码问题解决
使用request.get() 发起请求，返回结果竟然是byte 开头的 乱码，该如何解决呢？乱码转换关键：typeEncode = sys.getfilesystemencoding()infoencode = chardet.detect(content).get('encoding', 'utf-8')html = content.decode(infoencode, 'ignore').encode(typeEncode)res=html.decode('ascii',errors='ig
2021-12-01 10:10:30
597
原创 【linux crontab】shell 和crontab 环境变量配置关系
问题分析：1、定义了一个shell脚本，进入路径单独执行没问题，crontab 调度有问题。解决办法：1、在shell 文件 写成绝对路径以及在即将执行的Shell脚本缺省的#!/bin/sh开头换行后的第一行写上。#!/bin/sh. /etc/profile. ~/.bashrc如例:1：vim ai_restart.sh#! /bin/bash. ~/.bashrccmd3=`ps -ef |grep fcao_predict |grep -v grep | awk '{pri
2021-11-25 09:33:09
298
原创 【深度学习 走进tensorflow2.0】Num GPUs Available: 0问题解决
检测是否开启GPUimport tensorflow as tfprint("Num GPUs Available: ", len(tf.config.experimental.list_physical_devices('GPU')))运行结果：Num GPUs Available: 0现状：之前安装好了tensorflow_gpu ，也安装了tensorflow ，显卡驱动，cuda,cudnn 等之类的所有具备条件。其实不需要tensorflow ，这是CPU版本安装的，不知道什么
2021-11-22 10:56:41
5880
原创 【python 错误】next run at: 2021-11-04 14:24:30 CST)“ skipped: maximum number of running instances reach
当我们使用from apscheduler.schedulers.blocking import BlockingSchedulerBlockingScheduler调度任务时，出现如下错误：next run at: 2021-11-04 14:24:30 CST)" skipped: maximum number of running instances reached (1)如何解决：将max_instances设置大一点。sched.add_job(run_job, 'cron', min
2021-11-19 21:14:59
1774
原创 【pycharm 乱码问题】解决pycharm打开.log中文乱码的问题
如上图，我们看到log文件，是乱码的。如何修改过来呢，不然看着乱码真是不爽。pycharm 进入setting，找到File Encodings将编码全部设置gbkapply 点ok ，中文出现了
2021-11-02 10:22:39
1444
1
原创 【linux 下C语言环境搭建】GCC安装和make安装
Linux下使用最广泛的C/C++编译器是GCC，大多数的Linux发行版本都默认安装，不管是开发人员还是初学者，一般都将GCC作为Linux下首选的编译工具。本教程毫不犹豫地使用GCC来编译C程序。首先检查系统是否安装GCC 以及makegcc -vmake -v运行结果如下：(base) [root@laishui-ai sinoma]# gcc -v-bash: gcc: command not found(base) [root@laishui-ai sinoma]# make -v
2021-10-26 09:48:41
3967
原创 【CLion CMake错误】CMake Error: Generator: execution of make failed.
一、错误信息如下：-- The C compiler identification is GNU 6.3.0-- Detecting C compiler ABI infoCMake Error: Generator: execution of make failed. Make command was: C:/MinGW/bin/mingw32-make.exea -f Makefile cmTC_15406/fast && -- Detecting C compiler ABI
2021-10-25 15:30:31
10182
6
原创 【windows10 GCC】GCC环境搭建以及配置CLion
一、官网下载MinGWhttps://sourceforge.net/projects/mingw/files/点击下载 mingw-get-setup.exe二、安装Mingw安装完成后，点击continue，进入到界面。选择以下几项。在左上角看到installation，点击它，选择Update Catalogue。关闭close三、修改环境变量修改系统环境变量path ,加入 C:\MinGW\bincmd 运行 mingw-get install gcc 安装g
2021-10-25 12:17:34
1549
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人