python
文章平均质量分 70
王嘟嘟_
这个作者很懒,什么都没留下…
展开
-
python实用手册
python命令行执行https://blog.csdn.net/qq_36869808/article/details/87935350python开多线程https://blog.csdn.net/qq_36869808/article/details/88114543python爬虫随机head头https://blog.csdn.net/qq_36869808/article/d...原创 2019-03-25 15:16:59 · 39294 阅读 · 1 评论 -
python 获取指定目录所有文件 根据后缀过滤
因为懒,所以记录在这里,以后可以在线使用。原创 2023-03-03 11:09:14 · 827 阅读 · 0 评论 -
Python 快速按照元素个数进行区分
很久没写博客了,水一下,在看源码,看到其中有一个东西写的很好,先记录一下。原创 2022-09-06 22:34:29 · 1581 阅读 · 0 评论 -
使用python解析Java类
0x00 前言遇到这样一个基础需求:需要提取Java中的所有方法需要过滤所有访问权限为public的方法。0x01 提取Java中的方法语言:python库:javalang直接使用pip install 安装即可。直接提供解决方案,中间夹杂了很多测试过程,这里不进行记录。使用parse模块直接读取,会读取到一个方法,这个方法中的types会存有所有类信息的列表。tree = javalang.parse.parse(f.read())如果是直解析一个类则可以直接选择type原创 2021-10-08 16:46:46 · 3246 阅读 · 3 评论 -
python3 和python2 区别(自己遇到的)
0x00 前言这里记录一下python3和python2的区别,当然只记录自己遇到的,已经转换方式。0x01 printpython3print()python2pritn ""0x02 StringIO,cStringIO去除了StringIO和cStringIO模块,取而代之的是io.StringIO或者io.BytesIOpython3 改python2我遇到的是直接...原创 2019-12-18 19:04:47 · 404 阅读 · 1 评论 -
python 最简单的办法diy一个命令行界面
0x00 前言好久没有更新博客了,正好最近在写一个简单的poc命令执行汇总的工具,利用到了这个,正好做一个总结。源码会放在github上,正好也整理一下github。在此感谢远在珠海,马上就要回来了的好老婆的陪伴。0x01 简要说明这里使用的模块是prompt_toolkit。参考:https://python-prompt-toolkit.readthedocs.io.1. 完成之后的...原创 2019-12-15 12:27:30 · 1902 阅读 · 0 评论 -
python开多线程
笔记1.导包from multiprocessing.dummy import Pool2. 创建线程池pool=Pool(3)3.写入函数result=pool.map()原创 2019-03-04 14:09:14 · 785 阅读 · 0 评论 -
爬虫反爬与反爬破解总结
前言这里将自己收集的,遇到的反爬机制进行简单的记录和简单的分析,如果有大佬路过,看到理解不正确的地方,希望可以指出来,学习进步,在此感激不尽。正文最基础的记录一下标题1.header反爬抓包copy一份,header字典赋值,requests传入,简单破解。2.浏览器绑定防之前爬一个免费ip代理的网站的时候,很好玩,感觉是把一个浏览器的所有http请求头数据进行处理,然后形成了一个...原创 2019-02-19 16:12:17 · 4656 阅读 · 0 评论 -
python3爬虫开发 读写csv文件
笔记1.读写步骤1.导入模块import csv2.读with open('xxx.csv',encoding="utf-8") as f: reader=csv.DictReader(f) for raw in reader: print(row)3.写with open("xxx.sxv","w",encoding="utf-8&a原创 2019-02-24 22:08:49 · 544 阅读 · 0 评论 -
python3爬虫开发 Scrapy的使用基本知识
笔记1.安装这个可以搜索自行安装。2.scrapy基础使用1.创建工程scrapy startproject baidu2.切换目录cd baidu3.创建爬虫scrapy genspider example baidu.com4.运行爬虫scrapy crawl example3.设置scrapy不遵守robots协议在文件里有一个settings.py的文件将rob...原创 2019-02-24 21:59:51 · 520 阅读 · 0 评论 -
python3爬虫开发 Scrapy+MongoDB
笔记首先来看 https://blog.csdn.net/qq_36869808/article/details/869286961.设置items2.设置pipelines然后再设置process_item3.设置settings4.打开注释5.获取6.注意记得MongoDB打开,否则会报错。7.结果...原创 2019-02-28 16:19:52 · 453 阅读 · 0 评论 -
Python3爬虫开发 笔记 第六章Redis
笔记1.Redisredis是一个基于内存的数据库,速度比MongoDB快,比MongoDB简单。2.列表Redis的列表是一个可读科协的双向队列,数据从左侧或者右侧插入到队列中,也可以从左侧或者右侧读出数据,还可以查看列表的长度。2.1 lpop和lpushl=leftlpush代表存储数据lpop代表从左侧读取数据2.2 rpop和rpush这里是right相对应的push...原创 2019-02-13 14:58:18 · 324 阅读 · 0 评论 -
Python3爬虫开发 笔记 第六章 MongoDB
笔记1.MongoDBMongoDB用来保存大量数据,MongoDB是一款基于C++开发的原文档数据库,数据在MongoDB中以Key-Value的形式存储,就像是python中的字典一样,使用MongoDB管理软件RoboMongo。由于MongoDB被收购,被称作Robo 3T。2.RedisRedis用来缓存和队列保存临时数据...原创 2019-02-10 20:30:38 · 588 阅读 · 0 评论 -
Python3爬虫开发 笔记 第五章
笔记1.XPathXPath 这里的X代表的是XML,是一种查询语言。它可以在XML和HTML的树状结构中寻找结点。2.XPath语句格式写XPath就是写地址。2.1 获取文本//标签1[@属性1=“属性值1”]/标签2[@属性2=“属性值2”]/…/text()2.2 获取属性值//标签1[@属性1=“属性值1”]/标签2[@属性2=“属性值2”]/…/@属性n其中@属性1=...原创 2019-02-07 17:58:31 · 235 阅读 · 0 评论 -
爬虫实战——爬取小说《从你的全世界路过》
前言最近在看一本讲爬虫的书,这里尝试着做一个实战。现在的境界相当于,是已经迈过门槛,走到门口,学会了小手枪的使用,愉悦,并且到处瞄准尝试,三天一线。以后的路可能就是从广度和深度来扩展了吧。除了这种射击模式,还有其他的射击模式需要学习,不止手中的这把枪,还有其他枪需要了解和使用。思路先抓大,再抓小。然后正则过滤,多线程爬取。采用广度搜索的方法爬取。嵌套练习目标url:https://w...原创 2019-02-06 19:58:28 · 1749 阅读 · 0 评论 -
Python3爬虫开发 笔记 第四章
第四章 笔记1. request1.1 get使用get方式来获取import requests# 使用get方法获取网页html=requests.get('网址')# 使用content属性来显示betys型网页的源码html_type=html.content# 将bytes型的网页源码代码解码为字符串型的源代码html_str=html_bytes.decode()...原创 2019-02-06 18:17:51 · 364 阅读 · 0 评论 -
Python3爬虫开发 笔记 第七章 异步加载
笔记1.AJAXAJAX是异步javascript与XML。在不刷新网页的情况下更新网页数据。2.JSONJSON是一种格式化字符串。JSON是一种轻量级的数据交换格式。2.1 字典=>jsonjson.dumps()2.2 json =>字典json.loads()3.普通异步加载获取谷歌浏览器右键——检查——network3.1 get ajax获取i...原创 2019-02-14 17:41:35 · 597 阅读 · 0 评论