weixin_41586246的博客

原创 01 - 计算机组成原理与体系结构

数字签名是用私钥签名，公钥验证，一般是对信息摘要进行签名数字签名是非对称加密算法的一种方法来保证信息不会被篡改解决假冒和否认，发送方用私钥加密，接收方用发送方的公钥解密，此过程私钥只有发送方有，所以无法否认及假冒发送。

原创 RPC-sekiro，浏览器环境配置sekiro，python调用

浏览器环境配置sekiro，python调用

原创 每天一个秃头小技巧-github 上找项目

in:name: xxxxx :和xxxx之间要有空格。fork代表分支，分支越多说明喜欢你的项目并在上面开发。注意：start:>在>号后不能有空格。in name :按照名字。pushde:最新更新时间。language:过滤语言。

原创 Nacos笔记-基于pigcloud发布的Spring Cloud Alibaba 系列教程

nacos

原创 MySQL给查询结果再添加一个合计

with rollup函数：通常跟在group by函数后面讲分类的数据进行汇总统计，即在group by函数的基础上对数据进行汇总统计；加入with roullup函数后会出现一行ministry为null。IFNULL(ministry, 'Total') 用于将部门名称转换为字符串类型，如果部门名称为 NULL，则显示为 'Total'

原创 Linux中安装Redis5.X

1）直接运行bin/redis-server以前端模式启动。a,修改配置文件【daemonize ，IP】如果想所有人连：bind 0.0.0.0。运行redis.benchmark 命令。c,开放防火墙端口6379。b,启动时指定配置文件。

原创 scrapyd上传js文件，并在程序中调用

ps:不太建议使用scrapyd上传js文件这种方式，如果js中有引用的模块，要写绝对路径，不太方便。新建一个js文件夹，放在下面图片红框目录的下面。

原创 Linux下Node.js引用模块报错Error: Cannot find module

这个命令用于初始化一个新的 Node.js 项目的命令。它会创建一个 package.json 文件。，查看全局安装的 Node.js 模块所在的路径。这个虽然能解决，但是没有逼格，所以请出方法二。1，首先cd到文件所在的位置，执行命令。2, 将引用模块的路径改为绝对路径。

原创 某游戏登录密码加密,webpack

从上面图片可以看到，他的密码是加密了，但是使用xhr断点又没断掉，所以使用事件监听器。滑到这一页的最顶上，把这一段复制下来，然后修改一下，这是webpacket 的分发器。这里需要改一个地方，改为下面那个的函数名，你自己起的什么名字，就改为什么名字。放到浏览器去执行一下，可以看到没有问题，注：我放到Chrome浏览器，它会报。把这部分函数的内容复制下来，复制到我们刚刚的分发器，并改个名字为。补上这些环境，注意这里不写window = {}，写了会报。鼠标移到登录位置，可以看到，然后点进去。

原创 解决requests.exceptions.SSLError: HTTPSConnectionPool(host=xxxxx‘, port=443): Max retries exceeded

使用scrapy框架时报错SSL，于是另起一个文件，使用requests，报错requests.exceptions.SSLError: HTTPSConnectionPool(host='xxx', port=443): Max retries exceeded with url: xxxxx (Caused by SSLError(SSLError(1, '[SSL: BAD_ECPOINT] bad ecpoint (_ssl.c:997)')))基本找到的都试了一下，都不行==于是按照网上的方法，

原创 引用 JSEncrypt 模块提示ReferenceError: window is not defined jsencrypt.js 里 window 未定义

引用 JSEncrypt 模块提示ReferenceError: window is not defined

原创 Auto-GPT中对Google-api添加代理

Auto-GPT中对Google-api添加代理

原创 某省公共资源交易公共服务平台数据解密，headers中的portal-sign加密

可以看到这里new了一个md5，使用crypto-js，自己修改这部分代码，可以调试和本地测试对比，看一下结果是否一样。完整python代码。

原创 scrapy下载图片到本地，再上传到远程服务器指定位置

scrapy下载图片到本地，再上传到远程服务器指定位置

原创 scrapy通过后端接口上传图片至远程服务器

使用scrapy框架，如有图片则调用后端接口上传图片

原创 使用ssh隧道连接远程服务器本地浏览器上网

参数表示本地端口转发，用于将本地的一个端口作为 SOCKS5 代理端口，在远程服务器上建立一个隧道。通过 SOCKS5 代理端口，可以将本地的网络流量通过远程服务器转发出去，从而实现在本地使用远程服务器的网络连接。1，终端输入命令 ssh -N -D 127.0.0.1:8080 remote_server_name@remote_server_ip_address。参数表示只建立 SSH 连接，而不启动远程 shell。通常用于只想建立端口转发或隧道的情况下，以避免不必要的远程 shell 进程的开销。

原创 scrapyd远程服务器部署

scrapyd远程服务器部署

原创 pip install spiderkeeper 报错cannot import name ‘Feature‘ from ‘setuptools‘

看了网上，解决方案：pip install --upgrade setuptools。安装pip install spiderkeeper 时安装不了，报错。

原创 Spring Boot 报错 Invalid bound statement (not found)

基于mybatis-plus自动生成模板，使用updateById 方法修改数据库时报错。

原创 Scrapy使用GitHub上的ProxyPool代理池

Scrapy爬虫使用代理池

原创 数据库连接时报错unknow database mysql_native_password

数据库

原创 Python 爬虫 如何取script里面的数据

Python 爬虫 如何取script里面的数据

原创 Python爬虫重定向问题scrapy.downloadermiddlewares.redirect] DEBUG: Redirecting (302)

爬虫重定向问题

原创 Scrapy + selenium + 超级鹰验证码识别爬取网站

使用scrapy+ selenium + 超级鹰

原创 Mybatis基本步骤

搭建mybatis的基本步骤导入jar包配置mybatis-config.xml写开发工具类写实体类，属性最好与数据库一一对应接口接口实现类写mapper文件夹下接口和xmlxml注意关联映射补充另一种导jar包方法mybatis另一种写法mapper下.xml的命名空间可以自己命名，selectList（命名空间的名字，参数）不用写mapper下接口文件...

原创 Mybatis基本结构

原创 爬取豆瓣电影top250储存在数据库中

from pyquery import PyQuery as pqimport pymysqldef get_all(): for num in range(11): doc = pq(url='https://movie.douban.com/top250?start=%d&filter=' % (num*25)) ol = doc.fi...

原创 安装MySQL步骤 文字版~不会写图片版，因为懒~

下载zip文件 使用管理者身份进入C:\WINDOWS\system32>cd C:\Program Files (x86)\mysql-5.7.22-winx64\bin目录下 执行mysqld --initialize --user=mysql --console 记录随机密码： A temporary password is generated for root@localh...

原创 爬取豆瓣电影top100 使用pyquery

练手 from pyquery import PyQuery as pqimport jsonfor num in range(11): doc = pq(url='https://movie.douban.com/top250?start=%d&filter=' % (num*25)) ol = doc.find('ol') a = ol.find('li')...

原创 python Beatifulsoup 思维导图

原创 python 3.6.4 安装 Scrapy

第一步：打开网址 https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted下载python相对应的版本的Twisted.whl文件打开命令行，pip install C:\Users\user2\AppData\Local\Programs\Python\Python36\Lib\Twisted-17.9.0-cp36-cp36m-win_amd64....

原创 TypeError: __new__() missing 5 required positional arguments:'ID', 'UserName', 'Password', 'Age',...

错误内容：1.TypeError: __new__() missing 5 required positional arguments: 'ID', 'UserName', 'Password', 'Age', and 'Country'2.使用列表输出时，每隔一个打印一个空列表《Python爬虫开发与项目实战》132页第五章数据储存 5.1.2存储为CSV   例子书上使用的是python2，小...

原创 爬虫怎么去除抓取数据中的'\xa0\xa0\xa0\xa'

字符串去空格问题起因：爬58同城网时，抓取一组数据时，出现'1室1厅1卫                    \xa0\xa0\xa0\xa038㎡'尝试用.stripped_strings#不能去掉尝试用strip（）#不能去掉尝试用replace（）#不能去掉....解决方法：>>> s ='1室1厅1卫                    \xa0\xa0\xa0\xa...

原创 爬虫解析出来的网页中文部分都是乱码（运用的模块requests, BeautifulSoup）

编码问题起因：解析出来的网页中文部分都是乱码（运用的模块requests, BeautifulSoup）原因：requests出现编码问题（可能）解决办法：html = requests.get(url, headers = header).text改为html = requests.get(url, headers = header).content...

原创 Python出现UnicodeEncodeError: 'gbk' codec can't encode character '\u22ef' in position 17: ........错误

编码问题Python出现UnicodeEncodeError: 'gbk' codec can't encode character '\u22ef' in position 17: illegal multibyte sequence的错误起因：在Python3.6.4中能够运行，Python3.5.1 中出现该错误（也有可能是不同电脑问题）解决办法：加encoding = 'utf-8'原代码...

原创 python正则表达式re模块

嗯~看看就好 小白可能会坑人 有错误的话麻烦指出来谢谢~~~#2018年3月15日13:54:11#re 模块 函数与方法的区别#http://funhacks.net/2016/12/27/regular_expression/"""如果是一个函数，用类名去调用，如果是一个方法，用对象去调用 """#1.compile函数 （编）print( "\n1" + "*****"*10...

原创 python 中(unicode error)'unicodeescape' codec can't decode bytes in position 102-103:truncated\UXXXXX

转义符问题python 中出现(unicode error)'unicodeescape' codec can't decode bytes in position 102-103:truncated\UXXXXX escape错误起因：注释部分有\解决办法：1.再加 \，                 2.再注释"""之前加r原代码：#2018年3月15日08:29:10#功能：使用sys模...

原创 笨办法学python习题43

python版本：3      若有错误，敬请指出 模块名称：测试.py首先这个是错的，PDF后面一段没有....后找到补了上去，然而我的版本是3.5，还有些错误，解决不了，先挂着#习题43import randomfrom urllib.request import urlopenimport sysWORO_URL = "http://learncodetheh...

原创 笨办法学python习题40

python版本：3      若有错误，敬请指出 模块名称：测试.py#习题40class TheThing(object): def __init__(self): self.number = 0 def some_function(self): print("I got ...

原创 笨办法学python加分习题39

python版本：3      若有错误，敬请指出 模块名称：测试.py#加分习题39class Song(): def __init__(self,lyrics,name): self.lyrics = lyrics self.name = name def sing_me...