- 博客(21)
- 收藏
- 关注
RSS订阅原创 scrapy-redis raise DontCloseSpider这个错误是为什么爬虫就一直运行？
scrapy-redis raise DontCloseSpider这个错误是为什么爬虫就一直运行？代码位置 scrapy_redis/spiders.pyspider_idle这个函数是 当spider进入空闲(idle)状态时该信号被发送。空闲意味着 具体的https://scrapy-chs.readthedocs.io/zh_CN/0.24/topics/signals.html ，关于scrapy中的信号可以自行搜索，具体的参照scrapy/utils/signal.py中的代码具体流程
2021-07-19 18:18:21
295
原创 xposed下载出错 http://dl.xposed.info/repo
主要原因是Xposed资源库请求http都改为了https所以就下载失败了包括下载 framework.json、xposed-sdk都是同样的道理解决办法：设置安卓虚拟机代理前提是先把需要的包都下载下来，使用charles抓一下包这三个url的http都加上s，手动再浏览器中将资源下载下来，通过charles进行url映射我是在本地做了一个资源服务，将xposed需要的下载资源都映射到本地的url，后面下载成功就正常了参考链接：https://twkya.blogspot.co.
2021-06-15 15:02:57
7559
5
原创 某宝sign参数逆向分析
说明 淘宝ajax获取数据的方式为jsonp请求，所以在chrome中使用xhr拦截请求中加密参数的方式拦截不到解决办法 目前我使用的方法是 添加DOM断点的方法去监听页面元素的变化，同时使用charles去监听页面发送的请求，后面就是一步一步去调试，具体走到哪一步发送的请求，再进一步去调试，最终找到具体的加密位置调试步骤DOM元素打上断点鼠标移动到 发送请求的DOM元素位置，通过charles请求加上过滤条件，发现现在还没有监听到页面发送的jsonp请求，所以按F10继续往下走，同时继续
2021-01-22 11:47:10
955
原创 某麦数据analysis参数逆向分析 最新
某麦数据analysis参数逆向分析**说明：**获取数据的url为 https://api.qimai.cn/rank/release?analysis=dQ59QSxacUR9ZHlEdTByQSlwfxZ8ZHVJfGR1QCldeR15dVFIfVkASH1kdVZubxxHb1MEDXATH0JRVg8YSgFYUwBDVXATCQIFDlEFCVUCBFBwEwE%3D&is_preorder=all&date=2020-12-11&sdate=2020-12-11&a
2020-12-11 21:10:33
452
原创 jquery的ajax请求
$.ajax({ 'method' : 'post', 'url':'/user/single/', 'data':{ 'appid':APPID }, beforeSend:function(){ }, success:function (data) { console.log(data)...
2019-09-03 16:14:25
88
原创 hadoop伪分布式安装配置（亲测）
环境ubuntu安装java环境下载java安装包 我下载的版本为 jdk-8u201-linux-x64.tar.gz下载hadoop安装包 hadoop-2.6.5.tar.gz将这两个文件上传至ubuntu新建java的安装目录 mkdir -p /usr/java/jdk 将jdk解压到该目录tar -zxvf jdk-8u201-linux-x64.tar.gz /usr...
2019-04-10 17:06:43
298
原创 MySQL主从复制（详细配置）（亲测）
MySQL安装sudo apt-get install mysql-client mysql-server在安装过程中会让设置root密码 设置root密码主从服务器都安装MySQL设置主服务器配置首先更改MySQL配置 让所有用户都可以连接一般MySQL配置文件存放位置为/etc/mysql/mysql.conf.d/mysqld.cnf修改这个文件sudo vi /etc/my...
2019-04-09 11:52:05
224
原创 Unable to create the django_migrations table ((1064, "You have an error in your SQL syntax; check th
Django执行迁移时候报错raise MigrationSchemaMissing("Unable to create the django_migrations table (%s)" % exc)django.db.migrations.exceptions.MigrationSchemaMissing: Unable to create the django_migrations ta...
2019-04-01 17:10:08
2311
1
原创 python ftp文件上传
# -*- coding: utf-8 -*-from ftplib import FTPdef ftp_upload(): ftp_server = 'ip' # 公网ip username = 'mine' password = '111111' ftp = FTP() ftp.set_debuglevel(2) # 打开调试级别2，显示详细信...
2019-01-16 16:47:36
156
转载 MySQLdb raises “execute() first” error even though I execute before calling fetchall
你cursor多次调用，这会创建多个游标。您在第一个游标上执行查询，然后从第二个游标获取。由于您没有在第二个上执行任何操作，因此会出现此错误。仅使用一个光标。...
2018-12-25 17:25:59
1883
转载 解决python将字典转为json数据中文乱码问题 \u8fd9\u662f\u6d4b\u8bd5
json.dump(jsonData,ensure_ascii=False)
2018-11-23 18:16:23
7195
转载 Celery ValueError: not enough values to unpack (expected 3, got 0)的解决方案
场景还原本地环境如下：Windows 10Python 3.5.2Celery 4.1.0我是跟着这个前人翻译的中文文档敲的Demo。代码tasks.py：from celery import Celeryapp = Celery('tasks', broker='redis://:xxxx@xxx.xxx.xxx.xx:6379/0')@app.taskdef add(x...
2018-11-23 09:28:02
1551
1
原创 使用Celery时候报错AttributeError: 'float' object has no attribute 'items'
[2018-11-15 12:02:53,607: CRITICAL/MainProcess] Unrecoverable error: AttributeError("'float' object has no attribute 'items'",)Traceback (most recent call last):File "/user/lib/python3.6/site-packag...
2018-11-23 09:23:05
6089
3
原创 ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: YES)MySQL出现这个错误可以这样解决
首先进入到mysql的配置文件vim /etc/mysql/mysql.conf.d/mysqld.cnf找到[mysqld]，然后在下面添加skip-grant-tables然后保存退出然后刷新flush privileges;这样直接输入mysql就可以直接进入到mysql修改mysql库中的user表，最后记得刷新，从新启动mysql service mysql re...
2018-11-15 17:13:28
141
原创 远程MySQL连接（windows服务器）
Windows服务下首先确保防火墙的状态，确保其他电脑可以访问本机的mysql具体设置如下打开的控制面板中的Windows防火墙打开高级设置点击入站规则，选中新建规则选择端口下面一直下一步就可以了在可视化工具中更改mysql库中的user表的用户，允许所有用户连接重启mysql服务最后在mysql中刷新最后可以在电脑上连接测试...
2018-11-15 16:26:44
3726
原创 nginx uwsgi django项目上线
nginx配置nginx下载sudo apt-get install nginxnginx使用 service nginx stop service nginx start service nginx restart 添加虚拟主机，实现nginx访问，在/etc/nginx/sites-available下创建虚拟主机配置文件 vim photoserver添加如下内...
2018-11-06 14:54:20
180
原创 在py2中使用logging时候报TypeError:not all arguments converted during string formatting
在py2中使用logging时候报TypeError:not all arguments converted during string formatting File "C:\Python27\Lib\logging\__init__.py", line 859, in emit msg = self.format(record) File "C:\Python27\Lib\lo...
2018-10-18 09:55:21
2404
2
转载 使用nginx做反代时遇到413 Request Entity Too Large的解决方法
在使用nginx做反向代理的时候，被反代的系统在上传文件的时候遇到413 错误 :Request Entity Too Large原因是nginx限制了上传文件的大小，在nginx中可以配置最大允许的文件大小： 打开nginx主配置文件nginx.conf，找到http{}，添加client_max_body_size 50m;这里设置成了最大50m，你可以根据自己系统的需求自己来...
2018-10-08 16:02:49
535
原创 uWSGI、nginx、Flask项目上线
xshell进行项目文件上传使用 ctrl+alt+f 打开ftp文件上传工具，若是没有就返回下载页进行下载创建虚拟环境- 虚拟环境安装 pip install virtualenv apt install virtualenvwrapper- 虚拟环境配置 在家目录下使用 ll 查看隐藏文件，找到 .bashrc 文件 vim .bashrc ...
2018-10-08 11:56:39
264
原创 ubuntu下虚拟环境创建
- 虚拟环境安装 pip install virtualenv apt install virtualenvwrapper- 虚拟环境配置 在家目录下使用 ll 查看隐藏文件，找到 .bashrc 文件 vim .bashrc 在此文件下添加以下内容 # virtualenv export WORKON_HOME=/root/...
2018-10-08 11:50:46
162
原创 Django，MTV走通流程
一、新建新建django文件1、workon进入python3虚拟环境2、创建django项目 django-admin startproject XXX3、进入刚创建的文件中创建自己的app应用 python manage.py startapp Xxx二、pycharm操作走通1、在pycharm打开创建的文件2、如发现在py文件中有红的错误，说明用的是py2.x的需更改为3.x ...
2018-06-13 16:46:25
291
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人