响-Hibiki的博客

Hibiki的Python进阶之旅

[Python模块]matplotlib功能与使用方法大全

目录 一.简介 二.文档 三.食用方法 1.基础折线图绘制 2.xxxx 3.yyyy 一. 简介 二.文档 三.食用方法

2018-12-07 15:11:45

阅读数:39

评论数:0

[Python编程]Python配合adb命令实现自动发红包

1.前言 adb是个好东西,可以通过提供的坐标模拟点击手机屏幕的相应位置.像以前很火的"跳一跳"就是通过adb实现自动跳跃.在手机使用按键精灵的脚本其实原理也都大同小异,确定坐标-点击-延时这几步. ps.脚本只要不是恶意脚本,例如用于游戏中...

2018-11-27 00:20:53

阅读数:35

评论数:0

[Python编程]PyMongo实现对JSON的导入和导出

JSON导入 1. 打开Collection import json import pymongo client = pymongo.MongoClient('localhost') db = client['mydb'] collection = db['images'] ...

2018-11-26 09:53:05

阅读数:21

评论数:0

[Python编程]读取多个JSON实现数据去重

现在假设有一些JSON文件,但是这些JSON中存在着某些key相同的重复数据,需要进行去重. import json # 这里读取7个json文件,并全部读取到data中 data = [] for i in range(1, 8): str = open(&am...

2018-11-25 23:43:06

阅读数:30

评论数:0

[学以致冲]失联两天,只为Root掉我的索尼手机?记录刻苦铭心的索尼XZ1折腾之旅

自从买了这部手机之后,因为没有Root,每天都生活在水深火热之中,这几天终于下了决心要Root掉它,这篇博文就是我尝试Root的过程中去除遇到的各种障碍后写出的不走一点弯路的"Root捷径". 参考 ###前言 众所周知...

2018-11-23 19:56:33

阅读数:323

评论数:0

[学以致冲]Python抓取/翻译动漫角色名字的罗马音或外文名(用于搜索图片)

在 https://danbooru.donmai.us 搜索色图的时候,因为老美的网站的缘故,不支持中文和日文输入,只能输入平假名对应罗马音来寻找人物.像我虽然日语N1了,但是遇到人名有时依然会念错.所以需要一个可以直接翻译角色名的API.不过找了一圈,什么有道翻译,谷歌翻译(googleTra...

2018-11-23 17:37:48

阅读数:57

评论数:0

[Python模块]使用pip安装wheel文件

1.pip install wheel 2.https://www.lfd.uci.edu/~gohlke/pythonlibs/ 查找需要的库.whl文件 3.上面网站找不到(例如aiodns一个加速DNS的解析库),可以到 https://pypi.org/project/aiodns/#fi...

2018-11-17 20:40:05

阅读数:77

评论数:0

[Python调试]安装库时出现MicrosoftVisual C++ 14.0 is requied的解决方法

使用pip install xxx偶尔会遇到无法安装或者出错的情形,这时候其实可以考虑不去解决这些麻烦问题,而是使用已经打包好的wheel文件进行安装.将所需库的wheel文件下载到本地,然后pip install xxx.whl即可. 1.没有安装wheel的首先安装,命令:pip ins...

2018-11-17 20:26:37

阅读数:65

评论数:0

[Python调试]在配置好系统Path依然出现'xxxxx' executable needs to be in PATH的解决方法

在安装chromedriver时出现了明明已经将chromedriver所在的目录加入到系统PATH中,并且将chromedriver放在了Python的安装目录.打开CMD,输入chromedriver,也能进入,理论上来说Path已经生效,没问题. 但是在IDE(Pycharm中)运行时, ...

2018-11-17 19:17:27

阅读数:47

评论数:0

[Python爬虫]使用Cookies模拟登录的例子

一般我们使用Post提交表单,需要先进行表单的构造,再进行表单的提交,例如: url = 'http://bangumi.tv/FollowTheRabbit' params = { 'form_hash': '95b4e189', 'referer': 'http://bangu...

2018-11-17 10:46:48

阅读数:68

评论数:0

[Python爬虫]requests模块使用post方法提交表单

使用requests库中的post(url,params)方法,先通过观察表单的网页源代码,或者是通过逆向工程的方法获取表单提交的字段,构造参数params,就能实现模拟登录操作. 例如: url = 'http://xxx.com/login' captcha = input() params...

2018-11-17 10:27:55

阅读数:73

评论数:0

[Python爬虫] 爬虫实例:获取政府网站公示数据并保存到MongoDB数据库

前言 在上一篇文章 https://blog.csdn.net/xHibiki/article/details/84134554 中,我们介绍了Mongo数据库以及管理工具Studio3T和adminMongo的下载安装,这次,我们结合Python爬虫和第三方模块Pymongo,爬取政府网站...

2018-11-16 16:12:19

阅读数:180

评论数:0

[学习笔记]优雅地保存和管理数据---MongoDB数据库及管理工具的安装和使用

前言 以[Python爬虫]爬虫实例:离线爬取当当网畅销书Top500的图书信息爬取到的数据为例,数据格式如图: 保存时,直接将数据写入到csv文件中.虽然方便存储和利用Excel进行一定的数据分析,但是对于更加系统,复杂的查询和分析,或者是数据量越来越大时,我们还是建议将数据放到数据库比...

2018-11-16 12:40:24

阅读数:38

评论数:0

[Python爬虫]爬虫实例:爬取PEXELS图片---修改为多进程爬虫

第二次修改的地址---->爬虫实例:爬取PEXELS图片—解决异步加载问题 在前面的修改中,我们通过使用逆向工程成功解决了异步加载的问题.但同时还有一个问题:效率问题,因为校园网网速实在不行,所以在使用这个单进程爬虫时,先加载完一张图片,再爬取下一张,这样串行下载的...

2018-11-16 09:55:56

阅读数:21

评论数:0

[Python爬虫]爬虫实例:爬取PEXELS图片---解决异步加载问题

第一次尝试爬取—>[Python爬虫]爬虫实例:三种方式爬取PEXELS图片 在爬取PEXELS时,遇到了这样问题: 页面使用Ajax的异步加载技术来实现分页,所以通过request.text无法获取动态加载的内容.而如果想正确获取这些数据,则需要使用名为逆向工程...

2018-11-15 23:43:58

阅读数:27

评论数:0

[Python爬虫]爬虫实例:三种方式爬取PEXELS图片

PEXELS:Best free stock photos in one place. Pexels是一个提供免费高品质图片,并且可商用的图片网站.但是因为网站时外国的,所以连接和下载速度都略慢… 这里只是为了讲解图片爬取和下载保存的流程. 注意:网站的页面是动态加载的,需要模拟下滑操作...

2018-11-15 16:06:11

阅读数:29

评论数:0

[Python爬虫]爬虫实例:在线爬取当当网畅销书Top500的图书信息

本实例还有另外的离线爬虫实现,有兴趣可点击离线爬虫爬取当当网2018年10月畅销Top500的图书信息 爬虫说明 1.使用requests和Lxml库爬取,(用BS4也很简单,这里是为了练习Xpath的语法) 2.爬虫分类为两种,一种是离线爬虫,即先将所爬取的网页保存到本地,再从...

2018-11-14 17:51:31

阅读数:115

评论数:0

[Python爬虫]爬虫实例:离线爬取当当网畅销书Top500的图书信息

爬虫说明 1.使用requests和Lxml库爬取,(用BS4也很简单,这里是为了练习Xpath的语法) 2.爬虫分类为两种,一种是在线爬虫,即在网站中一边打开网页一边进行爬取;第二种是本实例使用的离线爬虫,即先将所爬取的网页保存到本地,再从本地网页中爬取信息 3.离线爬虫的优点是:可以方便...

2018-11-14 16:37:00

阅读数:136

评论数:0

[Python调试]Python写入到csv文件以文本存储长数字

解决方法:在需要保存的数字后+’\t’即可. 在保存到csv文件然后用Excel打开时,发现图书ISBN显示为科学计数法,如图: import csv >>> writer = csv.writer(output) &amp...

2018-11-14 15:09:54

阅读数:121

评论数:0

[Python调试]Python写入到csv文件存在空行的解决方法

在写爬虫的时候发现写入到csv文件时,文件显示一行数据,一行空行,如下图: 原始代码如下: output = open('d:/result.csv', 'w') writer = csv.writer(output) # csv writer writer.writerow(('排名',...

2018-11-14 15:03:05

阅读数:13

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭