- 博客(41)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Python脚本 Python配合adb命令实现自动发红包
1.前言adb是个好东西,可以通过提供的坐标模拟点击手机屏幕的相应位置.像以前很火的"跳一跳"就是通过adb实现自动跳跃.在手机使用按键精灵的脚本其实原理也都大同小异,确定坐标-点击-延时这几步.ps.脚本只要不是恶意脚本,例如用于游戏中的刷材料经验,或是多次点击刷数据的行为,编写脚本,释放双手,还是挺滋润的.2.介绍今天是狗群主生日,群员要求群主发红包.但是群主手上就只剩下可怜的几十块饭...
2018-11-27 00:20:53
1146
原创 Python编程 PyMongo实现对JSON的导入和导出
JSON导入1. 打开Collectionimport jsonimport pymongoclient = pymongo.MongoClient('localhost')db = client['mydb']collection = db['images']2.打开json并写入到Collectionstr = open("e:/images.json", encoding...
2018-11-26 09:53:05
5422
1
原创 Python编程 读取多个JSON实现数据去重
现在假设有一些JSON文件,但是这些JSON中存在着某些key相同的重复数据,需要进行去重.import json# 这里读取7个json文件,并全部读取到data中data = []for i in range(1, 8): str = open("e:/{}.json".format(i), encoding="utf-8").read() data.extend(
2018-11-25 23:43:06
4343
原创 失联两天,只为Root掉我的索尼手机?记录刻苦铭心的索尼XZ1折腾之旅
自从买了这部手机之后,因为没有Root,每天都生活在水深火热之中,这几天终于下了决心要Root掉它,这篇博文就是我尝试Root的过程中去除遇到的各种障碍后写出的不走一点弯路的"Root捷径".参考###前言众所周知,索尼的手机就是一个坑.Xperia XZ1的系统和其余的各款新机一样,使用KingRoot一键Root等类似的各种假Root不行,线刷的真Root又遇到各种问题搞不定.我当时真...
2018-11-23 19:56:33
20002
5
原创 Python脚本 抓取/翻译动漫角色名字的罗马音或外文名（用于搜索图片）
在 https://danbooru.donmai.us 搜索色图的时候,因为老美的网站的缘故,不支持中文和日文输入，只能输入平假名对应罗马音来寻找人物.像我虽然日语N1了,但是遇到人名有时依然会念错.所以需要一个可以直接翻译角色名的API.不过找了一圈，什么有道翻译，谷歌翻译（googleTranslate for py），都是坑=，=例如:宝多六花->Treasure six flow...
2018-11-23 17:37:48
4998
原创 Python模块 使用pip安装wheel文件
1.pip install wheel2.https://www.lfd.uci.edu/~gohlke/pythonlibs/ 查找需要的库.whl文件3.上面网站找不到(例如aiodns一个加速DNS的解析库),可以到https://pypi.org/project/aiodns/#files PyPI查找4.点击下载.whl5.在.whl所在文件夹内按Shift键+鼠标右键打开C...
2018-11-17 20:40:05
21058
原创 Python调试 安装库时出现MicrosoftVisual C++ 14.0 is requied的解决方法
使用pip install xxx偶尔会遇到无法安装或者出错的情形,这时候其实可以考虑不去解决这些麻烦问题,而是使用已经打包好的wheel文件进行安装.将所需库的wheel文件下载到本地,然后pip install xxx.whl即可.1.没有安装wheel的首先安装,命令:pip install wheel2.到 https://www.lfd.uci.edu/~gohlke/python...
2018-11-17 20:26:37
1097
原创 Python调试 在配置好系统Path依然出现'xxxxx' executable needs to be in PATH的解决方法
在安装chromedriver时出现了明明已经将chromedriver所在的目录加入到系统PATH中,并且将chromedriver放在了Python的安装目录.打开CMD,输入chromedriver,也能进入,理论上来说Path已经生效,没问题.但是在IDE(Pycharm中)运行时,from selenium import webdriverdriver=webdriver.Chro...
2018-11-17 19:17:27
1276
原创 Python爬虫 使用Cookies模拟登录
一般我们使用Post提交表单,需要先进行表单的构造,再进行表单的提交,例如:url = 'http://bangumi.tv/FollowTheRabbit'params = { 'form_hash': '95b4e189', 'referer': 'http://bangumi.tv/', 'dreferer': 'http://bangumi.tv/', ...
2018-11-17 10:46:48
2393
原创 Python爬虫 requests模块使用post方法提交表单
使用requests库中的post(url,params)方法,先通过观察表单的网页源代码,或者是通过逆向工程的方法获取表单提交的字段,构造参数params,就能实现模拟登录操作.例如:url = 'http://xxx.com/login'captcha = input()params = { 'email': '[email protected]', 'password': '*...
2018-11-17 10:27:55
28325
1
原创 Python爬虫 获取政府网站公示数据并保存到MongoDB数据库
前言在上一篇文章 https://blog.csdn.net/xHibiki/article/details/84134554 中,我们介绍了Mongo数据库以及管理工具Studio3T和adminMongo的下载安装,这次,我们结合Python爬虫和第三方模块Pymongo,爬取政府网站:深圳市规划和国土资源委员会（市海洋局）,来学习MongoDB数据库和管理工具的的使用方法.文档型数据...
2018-11-16 16:12:19
12297
1
原创 如何优雅管理数据---MongoDB及数据库管理工具的食用教程
前言以[Python爬虫]爬虫实例:离线爬取当当网畅销书Top500的图书信息爬取到的数据为例,数据格式如图:保存时,直接将数据写入到csv文件中.虽然方便存储和利用Excel进行一定的数据分析,但是对于更加系统,复杂的查询和分析,或者是数据量越来越大时,我们还是建议将数据放到数据库比较合适.一般可以选择关系型数据库例如My SQL,Oracle SQL等.也可以选择非关系型数据库(NoSQ...
2018-11-16 12:40:24
867
原创 Python爬虫 多进程爬取--以爬取PEXELS图片为例
第二次修改的地址---->爬虫实例:爬取PEXELS图片—解决异步加载问题在前面的修改中,我们通过使用逆向工程成功解决了异步加载的问题.但同时还有一个问题:效率问题,因为校园网网速实在不行,所以在使用这个单进程爬虫时,先加载完一张图片,再爬取下一张,这样串行下载的爬取效率实在低,需要改进为多进程爬虫.Python的多线程和多进程大家可能都听过一点就是:python的多线程在同一时刻只会...
2018-11-16 09:55:56
1567
1
原创 Python爬虫 解决异步加载问题--以爬取PEXELS图片为例
第一次尝试爬取—>[Python爬虫]爬虫实例:三种方式爬取PEXELS图片在爬取PEXELS时,遇到了这样问题:页面使用Ajax的异步加载技术来实现分页,所以通过request.text无法获取动态加载的内容.而如果想正确获取这些数据,则需要使用名为逆向工程的过程(“抓包”).PS:如果对上面的文字感到疑惑,那么可以阅读下面的例子和说明,做基础的了解.例如:要在PEXELS上看猫片 ...
2018-11-15 23:43:58
4886
原创 Python爬虫 三种方式爬取PEXELS网站上的图片
PEXELS:Best free stock photos in one place.Pexels是一个提供免费高品质图片,并且可商用的图片网站.但是因为网站时外国的,所以连接和下载速度都略慢…这里只是为了讲解图片爬取和下载保存的流程.注意:网站的页面是动态加载的,需要模拟下滑操作,不然只会停留在基础页面上,只能获得较少图片(这里未实现相关操作)观察网站观察图片对应元素,得到图片的...
2018-11-15 16:06:11
4107
4
原创 Python爬虫 在线爬取当当网畅销书Top500的图书信息
本实例还有另外的离线爬虫实现,有兴趣可点击离线爬虫爬取当当网2018年10月畅销Top500的图书信息爬虫说明1.使用requests和Lxml库爬取,(用BS4也很简单,这里是为了练习Xpath的语法)2.爬虫分类为两种,一种是离线爬虫,即先将所爬取的网页保存到本地,再从本地网页中爬取信息;第二种是本实例使用的在线爬虫,即在网站中一边打开网页一边进行爬取.3.在线爬虫的优点是:步骤...
2018-11-14 17:51:31
7493
2
原创 Python爬虫 离线爬取当当网畅销书Top500的图书信息
爬虫说明1.使用requests和Lxml库爬取,(用BS4也很简单,这里是为了练习Xpath的语法)2.爬虫分类为两种,一种是在线爬虫,即在网站中一边打开网页一边进行爬取;第二种是本实例使用的离线爬虫,即先将所爬取的网页保存到本地,再从本地网页中爬取信息3.离线爬虫的优点是:可以方便爬虫的调试修改,且一次保存,可以多次爬取,不必担心网络资源,网络速度以及是否被网站监测.4.离线爬虫的缺点...
2018-11-14 16:37:00
2782
1
原创 Python 将文本存储的超长数字写入到CSV文件
解决方法:在需要保存的数字后+’\t’即可.在保存到csv文件然后用Excel打开时,发现图书ISBN显示为科学计数法,如图:import csv>>> writer = csv.writer(output)>>> writer.writerow((ISBN))如果不想手动设置单元格格式>分类>文本的话,只要在数字后+’\t’即可im...
2018-11-14 15:09:54
5624
1
原创 Python csv模块写入到csv文件时存在空行的解决方法
在写爬虫的时候发现写入到csv文件时,文件显示一行数据,一行空行,如下图:原始代码如下:output = open('d:/result.csv', 'w') writer = csv.writer(output) # csv writerwriter.writerow(('排名', '书名', '作者', '好评率', '购买页面', 'ISBN'))for i in range...
2018-11-14 15:03:05
763
原创 Python爬虫 爬取酷狗TOP500的数据
根据书籍《从零开始学Python网络爬虫》P41，综合案例2—爬取酷狗TOP500的数据修改而来.使用模块requests和模块BeautifukSoup进行爬取.不得不说，酷狗拿来跑爬虫真是好，不ban不限制IP~要爬取的页面信息酷狗TOP500需要爬取的信息很少：1.排名 2.标题(歌名-歌手) 3.时长每页22条信息,需要爬取500/22≈23页虽然没有手动翻页下一步浏览...
2018-11-13 15:58:05
4754
原创 Python模块 随机数random模块的速查与使用
模块介绍Random模块提供各种用于生成伪随机数的函数,以及根据不同的实数分布来随机生成值的函数.虽然这些函数生成的数字好像是完全随机的,但是它们背后的系统是可预测的.如果要求真正随机数用于加密安全等相关功能,应左转模块os中的函数urandom本模块的函数来源于Python3.7.11.种子,初始化相关用于控制基础随机数生成器的状态.函数描述getstate()...
2018-11-12 22:11:23
365
原创 'gbk' codec can't encode character xxx in position的错误解决及对编/解码的探究
错误出现使用request模块爬取网页,将页面源文件res.text保存到文件get.html时,import requestres = requests.get('http://weibo.com')with open(r'd:\get.html', 'w') as f: f.write(res.text)发生了如下错误:Traceback (most recent cal...
2018-11-11 16:32:37
10138
原创 五分钟快速理解字符集与字符编码的区别
字符集字符集,也称作字符编码方案,是为字符集合中每一个字符分配一个唯一ID的编码字符集.包括了Unicode,ASCII,ANSI等字符集。Unicode字符集 — 所有字符组成的字符集国际组织制定的可以容纳世界上所有文字和符号的字符编码方案。如果全世界每一个符号都给予一个独一无二的编码，那么乱码问题就会消失。这就是Unicode，就像它的名字都表示的，这是一种所有符号的编码。ASCII字...
2018-11-10 23:17:48
1077
2
原创 Python模块 正则表达式 re模块的使用与实例
很喜欢Python教材中的这句格言:有些人面临问题时会想:“我知道, 我将使用正则表达式来解决这个问题.”这让他们面临的问题变成了两个. ---------Jamie Zawinski正则表达式的确好用,但是复杂的模式难以阅读和维护,与其把花在研究用正则表达式处理复杂的问题上,还不如把时间花在如何写一套清晰,易维护的逻辑.上(但是为什么要用,还是因为爽啊)关于正则表达式的语法,可以参阅...
2018-11-09 12:33:43
790
原创 正则表达式语法与使用速查
常用正则表达式元字符使用描述与例子\转义字符,换行: \n 回车: \r 换页: \f 反斜杠: \\ 左括号 \(()标记子表达式的开始和结束位置, (ab) 与 (a)(b) 等价^匹配行首, ^ab 匹配 abcde 中的ab$匹配行尾, de$ 匹配 abcde 中的de*匹配前面子表达式零次或多次, a(bb)* 匹配 abbba ...
2018-11-08 23:14:06
174
原创 Python编程 综合性实验: Java源代码高亮 实现将Java代码转换为html
前言这个是大三下学期的Java课程设计,目前重构完成了代码转换并输出的部分.暂时还没有打算完成可视化界面.代码不长,加起来也就100行左右(再次感受到Python的精简),实现了对注释,关键字,字符串,一些运算符的高亮.代码实现import reclass JavaSyntaxHighlighter: def __init__(self): self.x ...
2018-11-08 15:17:27
560
原创 Python编程 综合性实验: Java源代码分析程序 (统计文件,行数,关键字)
又重新对做过的课设用新的语言实现了一次,学到了很多知识…[Java]综合性实验 Java源代码分析程序分为三个部分1.统计指定目录中文件的个数和总的大小2.统计目录下Java源文件的关键字出现次数3.统计Java源文件代码行数,注释行数,空白行数实验的要求如下:一、题目：综合性实验 Java源代码分析程序二、类型：综合型、探索型三、目的：初步掌握运用面向对象方法编写应用程序...
2018-11-06 19:02:29
1419
原创 Python编程 统计Java源文件代码行数,注释行数,空白行数
每次学习新的语言,就想重新实现一遍做过的课设=,=这里实现的是"综合性实验 Java源代码分析程序"的第三部分第二部分见:[Python编程]统计目录下Java源文件的关键字出现次数原来的Java实现在这:[Java]统计Java源文件代码行数,注释行数,空白行数1.说明在Java源程序中的行共有3种：(1)代码行，可运行的Java源代码。例如：int n = 10;(2)...
2018-11-06 16:42:41
927
原创 Python编程 统计目录下Java源文件的关键字出现次数
每次学习新的语言,就想重新实现一遍做过的课设=,=这里实现的是"综合性实验 Java源代码分析程序"的第二部分第一部分见:[Python基础]统计指定目录中文件的个数和总的大小原来的Java实现在这:[Java]统计目录下Java源文件的关键字出现次数题目统计文件正文中某些字符串出现的次数1.保存关键字Java中关键字共有50个,存入字典,用**keywords[‘class’...
2018-11-06 15:47:41
904
原创 Python编程 统计指定目录中文件的个数和总的大小
每次学习新的语言,就想重新实现一遍做过的课设=,=这里实现的是"综合性实验 Java源代码分析程序"的第一部分原来的Java实现在这:[Java]统计指定目录中文件的个数和总的大小题目给定一个指定的目录,例如"E:\音乐",求出该目录下文件的总数,以及所有文件加起来的大小.–os模块的使用–递归算法查找文件代码实现导入模块from os import listdirfro...
2018-11-06 00:30:51
2074
原创 Python之禅--揭秘this模块
“Python就是一条蟒蛇,不过是没穿衣服的蟒蛇. —笔者”今天让我们来揭秘Python之禅到底有什么?第一件事就是要查看源码(脱衣服):>>> import this>>> print(this.__file__)C:\Users\Administrator\AppData\Local\Programs\Python\Python37\lib\t.
2018-11-05 23:29:10
7402
1
原创 Python3输出时使用print函数的一个小技巧
在编写代码的时候,总是烦着print()没以前版本的好用了,例如:str="Hello World!">>>print str 如果想输出字符串str,旧版中只要先输入print,然后空格+变量名即可在py3以后,则需要:>>>print(str)1.先写print(),然后在参数中填写变量2.先写变量,然
2018-11-05 22:31:48
952
原创 Python模块 time与datetime模块的函数说明及使用实例
time模块模块time包含用于获取当前时间,操作时间和日期.从字符串中读取日期,将日期格式化为字符串的函数.日期可表示为实数,也可表示为包含9个整数的元组例如tuple(2018,12,24,12,2,56,-1,-1,-1)------------------------------------------------------索引 字段 值0-----年--...
2018-11-05 12:48:57
4367
原创 Python编程 常用进制转换的代码实现
二进制转十进制def bin_to_dec(bin_str): bin = [int(n) for n in bin_str ] dec = [bin[-i - 1] * math.pow(2, i) for i in range(len(bin))] return int(sum(dec))十进制转二进制def dec_to_bin(dec): bin =...
2018-11-04 13:44:14
5088
原创 Python编程 判断和输出素数的多种方法
1.for循环输出100以内的素数def get_prime_scope(scope=100): numlist = [] i = 2 for i in range(2, scope + 1): j = 2 for j in range(2, int(math.sqrt(i))): if (i % j == 0):...
2018-11-04 02:13:11
8245
2
原创 Python笔记 隐藏与私有属性的修改访问-以自定义类为实例
以下是Python基础教程(第三版)P122原文7.2.4 再谈隐藏默认情况下,可从外部访问对象的属性.再来看一下前面讨论封装时使用的示例.>>>c.name‘SirLancelot’>>&am
2018-11-04 01:17:59
1008
原创 PyCharm的一些常用功能
1.多行注释选定需要注释的代码块,选择菜单栏Code->Comment with Line Comment默认热键: Ctrl+/2.代码格式化菜单栏code->Reformat Code默认热键: Ctrl+Alt+L3.代码全局替换在记事本和Word等软件中是Ctrl+H,但是这里的Ctrl+H是"Hierarchy: Class Cup"用于显示类的分层结构这里应...
2018-11-04 00:26:59
449
原创 Python函数命名-PEP8编码规范的说明及IDE提示的忽略
对IDE提示的好奇在使用Python编程时,某函数setMainFrameColor()出现了黄色下划线并有以下信息Function name should be lowercase less… (Ctrl+F1)Inspection info: This inspection checks the PEP8 naming conventions.翻译过来就是:函数名需要小写检视信...
2018-11-04 00:04:28
10726
1
原创 Python笔记 函数中关键字参数,收集参数与分配参数的使用实例
Stock类class Stock: def __init__(self): self.itemList = [] def addItem(self, name, price): # 创建商品 return {'name': name, 'price': price} def saveOneItem(self, item): # 保...
2018-11-03 15:42:07
666
原创 Python笔记 enumerate与zip使用的例子
#enumerate是内置函数,用于迭代索引-值对#zip用于并行两个序列的同时迭代时将两个序列"缝合",返回一个由元组组成的序列str=['a','b','c']index=[]string=[]for i,s in enumerate(str): index.append(i) string.append(s)en=zip(index,string) #使用list...
2018-11-02 23:46:57
321
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人