Qycccccc的博客

原创 Django自定义用户模型类

django.core.management.base.SystemCheckError: SystemCheckError: System check identified some issues:ERRORS:auth.User.groups: (fields.E304) Reverse accessor for ‘auth.User.groups’ clashes with reverse accessor for ‘users.User.groups’.HINT: Add or change

原创 scrapy可能遇到的302问题

原创 appium多任务

设备抓取抖音数据：一、adb devices 不显示设备的时候：（建议先启动adb server，后启动设备）1、通过任务管理器查找noxvmhandle frontend的PID，通过PID 查找端口站控情况2、netstat -ano | findstr "PID" 3、 第一个模拟器是62001，第二个是62025 第三个是62025+1 ...二、appium客户端设置udidpython代码里面的设备参数添加udid三、appium服务端设置bootstrapPort

原创 爬虫请求头模板

爬虫请求头模板（PC端）UA_List = [“Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50”,“Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari

转载 Redis常用命令（转载自用）

一、redis启动：本地启动：redis-cli远程启动：redis-cli -h host -p port -a passwordRedis 连接命令1 AUTH password验证密码是否正确2 ECHO message打印字符串3 PING查看服务是否运行4 QUIT关闭当前连接5 SELECT index切换到指定的数据库二、redis keys命令1、DEL keyDUMP key序列化给定的key并返回序列化的值2、EXISTS

原创 爬虫—有道翻译案例（史上最详细分析教程）

爬虫—有道翻译案例分析最近也是刚开始学爬虫，就做这个比较简单的案例，把学习和分析的思路记录一下~一、分析思路有道翻译url：https://fanyi.youdao.com/这里使用的是谷歌浏览器（无痕）右键检查，输入需要翻译的单词或句子抓包请求头的话这里就不重点说了，User-Agent、cookies、Referer三个字段最好都能加上我们可以看到请求方式为post，那么就要重点分析提交的表单数据；表单参数一般为固定写死的和动态变化的，固定的可以直接写上

原创 常见的反爬手段和解决思路

常见的反爬手段和解决思路1 明确反反爬的主要思路反反爬的主要思路就是：尽可能的去模拟浏览器，浏览器在如何操作，代码中就如何去实现。例如：浏览器先请求了地址url1，保留了cookie在本地，之后请求地址url2，带上了之前的cookie，代码中也可以这样去实现。2 通过headers字段来反爬headers中有很多字段，这些字段都有可能会被对方服务器拿过来进行判断是否为爬虫2.1 通过headers中的User-Agent字段来反爬反爬原理：爬虫默认情况下没有User-Agent解决方法：请

原创 python迭代器和生成器

python迭代器和生成器1、迭代器这里用字典示例while True 属于无限循环，因字典元素有限，所以用try做异常处理dict1 = { 'name':'laowang', 'age':18, 'high':180}iterator = dict1.__iter__()while True: try: res = iterator.__next__() except: break else:

原创 爬虫使用bs4数据解析

bs4解析数据bs4解析原理实例化一个BeautifulSoup的对象，且将带解析的页面源码数据加载到该对象中；调用BeautifulSoup对象中相关方法或者属性进行标签定位和文本数据的提取；环境安装：pip install lxml #解析器pip install bs4BeautifulSoup对象的实例化：BeautifulSoup（fp，‘lxml’）：用来将本地存储的html文件中的数据进行解析；BeautifulSoup（page_text，‘lxml’）：用

原创 Scrapy持久化存储

Scrapy持久化存储：1、基于终端指令的之持久化存储只能将parse方法中的返回值存储到本地指定后缀的文本文件中。scrapy crawl xx -o filename.csv2、基于管道持久化存储(重要)在爬虫文件中进行数据解析在item.py中定义相关属性在爬虫文件中将解析到的数据存储封装到Item类型的对象中将Item类型的对象提交给管道在管道文件（piplines.py）中，接受爬虫文件提交过来的Item类型对象，且对其进行任意形式的持久化存储操作在配置文件中开启管道机制

转载 Mysql常用操作

MySQL数据库的常用操作　　学习python少不了和数据库打交道，常见的数据库有：MySQL、SQLite、MongoDB、Redis等，这里主要介绍一下MySQL数据库的基本操作。数据库听起来感觉好高大上，当你接触之后有种恍然大悟的感觉，不就是把我们的数据存到一个表格中吗。可以简单的这么理解，大家都知道表格都是由表名、表头、数据等几部分组成的，数据库跟这类似，只不过叫法不一样，这里叫数据库名、表名和字段。数据库就简单介绍这么多，说的不一定完全正确，下面就说一下怎么操作数据库。一、MySQL字段类型

原创 Scrapy中间件

Scrapy中间件作用：批量拦截请求响应爬虫中间件（有重复请求，不常使用）下载中间件（推荐使用）1、拦截请求：- 篡改请求url- 伪装请求头信息（UA Cookie）- 设置请求代理（重要）2、拦截响应- 篡改响应数据3、代理操作必须使用中间件才可以实现- process_exception- request.meta[‘proxy’] = ‘http://ip:port’...