- 博客(12)
- 收藏
- 关注
原创 Django自定义用户模型类
django.core.management.base.SystemCheckError: SystemCheckError: System check identified some issues:ERRORS:auth.User.groups: (fields.E304) Reverse accessor for ‘auth.User.groups’ clashes with reverse accessor for ‘users.User.groups’.HINT: Add or change
2021-10-14 11:06:57
1167
原创 appium多任务
设备抓取抖音数据:一、adb devices 不显示设备的时候:(建议先启动adb server,后启动设备)1、通过任务管理器查找noxvmhandle frontend的PID,通过PID 查找端口站控情况2、netstat -ano | findstr "PID" 3、 第一个模拟器是62001,第二个是62025 第三个是62025+1 ...二、appium客户端设置udidpython代码里面的设备参数添加udid三、appium服务端设置bootstrapPort
2021-09-10 17:32:06
241
原创 爬虫请求头模板
爬虫请求头模板(PC端)UA_List = [“Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50”,“Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari
2021-09-04 18:32:34
481
转载 Redis常用命令(转载自用)
一、redis启动:本地启动:redis-cli远程启动:redis-cli -h host -p port -a passwordRedis 连接命令1 AUTH password验证密码是否正确2 ECHO message打印字符串3 PING查看服务是否运行4 QUIT关闭当前连接5 SELECT index切换到指定的数据库二、redis keys命令1、DEL keyDUMP key序列化给定的key并返回序列化的值2、EXISTS
2021-09-03 18:39:04
139
原创 爬虫—有道翻译案例(史上最详细分析教程)
爬虫—有道翻译案例分析最近也是刚开始学爬虫,就做这个比较简单的案例,把学习和分析的思路记录一下~一、分析思路有道翻译url:https://fanyi.youdao.com/这里使用的是谷歌浏览器(无痕)右键检查,输入需要翻译的单词或句子抓包请求头的话这里就不重点说了,User-Agent、cookies、Referer三个字段最好都能加上我们可以看到请求方式为post,那么就要重点分析提交的表单数据;表单参数一般为固定写死的和动态变化的,固定的可以直接写上
2021-09-02 18:45:45
1696
2
原创 常见的反爬手段和解决思路
常见的反爬手段和解决思路1 明确反反爬的主要思路反反爬的主要思路就是:尽可能的去模拟浏览器,浏览器在如何操作,代码中就如何去实现。例如:浏览器先请求了地址url1,保留了cookie在本地,之后请求地址url2,带上了之前的cookie,代码中也可以这样去实现。2 通过headers字段来反爬headers中有很多字段,这些字段都有可能会被对方服务器拿过来进行判断是否为爬虫2.1 通过headers中的User-Agent字段来反爬反爬原理:爬虫默认情况下没有User-Agent解决方法:请
2021-09-01 13:42:16
496
原创 python迭代器和生成器
python迭代器和生成器1、迭代器这里用字典示例while True 属于无限循环,因字典元素有限,所以用try做异常处理dict1 = { 'name':'laowang', 'age':18, 'high':180}iterator = dict1.__iter__()while True: try: res = iterator.__next__() except: break else:
2021-08-30 00:15:24
120
原创 爬虫使用bs4数据解析
bs4解析数据bs4解析原理实例化一个BeautifulSoup的对象,且将带解析的页面源码数据加载到该对象中;调用BeautifulSoup对象中相关方法或者属性进行标签定位和文本数据的提取;环境安装:pip install lxml #解析器pip install bs4BeautifulSoup对象的实例化:BeautifulSoup(fp,‘lxml’):用来将本地存储的html文件中的数据进行解析;BeautifulSoup(page_text,‘lxml’):用
2021-08-27 15:04:33
399
原创 Scrapy持久化存储
Scrapy持久化存储:1、基于终端指令的之持久化存储只能将parse方法中的返回值存储到本地指定后缀的文本文件中。scrapy crawl xx -o filename.csv2、基于管道持久化存储(重要)在爬虫文件中进行数据解析在item.py中定义相关属性在爬虫文件中将解析到的数据存储封装到Item类型的对象中将Item类型的对象提交给管道在管道文件(piplines.py)中,接受爬虫文件提交过来的Item类型对象,且对其进行任意形式的持久化存储操作在配置文件中开启管道机制
2021-08-26 01:06:10
188
转载 Mysql常用操作
MySQL数据库的常用操作 学习python少不了和数据库打交道,常见的数据库有:MySQL、SQLite、MongoDB、Redis等,这里主要介绍一下MySQL数据库的基本操作。数据库听起来感觉好高大上,当你接触之后有种恍然大悟的感觉,不就是把我们的数据存到一个表格中吗。可以简单的这么理解,大家都知道表格都是由表名、表头、数据等几部分组成的,数据库跟这类似,只不过叫法不一样,这里叫数据库名、表名和字段。数据库就简单介绍这么多,说的不一定完全正确,下面就说一下怎么操作数据库。一、MySQL字段类型
2021-08-25 22:03:15
211
原创 Scrapy中间件
Scrapy中间件作用:批量拦截请求响应爬虫中间件(有重复请求,不常使用)下载中间件(推荐使用)1、拦截请求:- 篡改请求url- 伪装请求头信息(UA Cookie)- 设置请求代理(重要)2、拦截响应- 篡改响应数据3、代理操作必须使用中间件才可以实现- process_exception- request.meta[‘proxy’] = ‘http://ip:port’...
2021-08-25 17:38:14
64
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人