2018年01月_MTbaby

10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 python爬虫实践——零基础快速入门（六）解决动态页面爬取问题

python爬虫实践——零基础快速入门（六）解决动态页面爬取问题前面我们已经学过爬取豆瓣电影、豆瓣图书TOP250，小猪租房等信息。相信你现在都能轻易上手爬取其他网站了。通过前面的例子我，我们知道，爬取大量数据的重点在于通过循环翻页提取重要的信息。但是你会遇到，爬取其他网页的时候，有时候没有翻译这个按钮，这TM就尴尬了。比如我们之前爬过的豆瓣电影，去到那个分类页面，发现下面只有“加载跟多”，并没

2018-01-31 14:22:10 3015

原创 python爬虫实践——零基础快速入门（五）将爬取的数据存到本地

前面我们已经爬取了豆瓣电影，豆瓣读书，小猪租房的数据，那有人就有疑问了，我爬取那么多数据，怎么把他们保存在本地呢？今天我们就来讲讲如何把爬取的数据信息存储到本地。一、pyhton open() 方法写文件时，我们主要用到with open() 的方法。with open(name,mode,encoding) as file: file.write() #注意这里有缩进哦name : 包含

2018-01-30 18:08:24 4673 2

原创 python爬虫实践——零基础快速入门（四）爬取小猪租房信息

上篇文章我们讲到python爬虫实践——零基础快速入门（三）爬取豆瓣电影接下来我们爬取小猪短租租房信息。进入主页后选择深圳地区的位置。地址如下： http://sz.xiaozhu.com/一，标题爬取按照惯例，我们先复制标题的xpath信息，多复制几个进行对比：//*[@id=&quot;page_list&quot;]/ul/li[1]/div[2]/div/a/span//*[@id

2018-01-29 16:42:54 7731 23

原创 python爬虫实践——零基础快速入门（二）爬取豆瓣电影

爬虫又称为网页蜘蛛，是一种程序或脚本。但重点在于，它能够按照一定的规则，自动获取网页信息。爬虫的基本原理——通用框架1.挑选种子URL； 2.讲这些URL放入带抓取的URL列队； 3.取出带抓取的URL，下载并存储进已下载网页库中。此外，讲这些URL放入带抓取URL列队，进入下一循环。 4.分析已抓取列队中的URL，并且将URL放入带抓取URL列队，从而进去下一循环。...

2018-01-26 16:27:59 9964 37

原创 python爬虫实践——零基础快速入门（一）

一、环境配置1.下载安装python3为什么使用pyhton3，理由如下：python2以上只维护到2020年，我猜，感觉快要过气了。没有恶心的编码问题，并且更多工具选择pyhton3，新的工具才是生产力。本文都用python3来写。如果你是pyhton2，尝试一下pyhton3，相信你会有不一样的体验。注意选择适合自己电脑的版本。2.安装requests和

2018-01-25 18:49:51 10810 1

打开和关闭文件现在，您已经可以向标准输入和输出进行读写。现在，来看看怎么读写实际的数据文件。Python 提供了必要的函数和方法进行默认情况下的文件基本操作。你可以用 file 对象做大部分的文件操作。open 函数你必须先用Python内置的open()函数打开一个文件，创建一个file对象，相关的方法才可以调用它进行读写。语法：#-*- coding:utf-8 -*-file object =

2018-01-23 18:06:34 738

转载 python 日志模块总结

1.简单的将日志打印到屏幕#-*- coding:utf-8 -*-import logginglogging.debug('This is debug message')logging.info('This is info message')logging.warning('This is warning message')屏幕上打印:WARNING:root:This is warning

2018-01-23 14:25:54 835

转载关于反爬虫，看这一篇就够了

关于反爬虫，看这一篇就够了编者：本文来自携程酒店研发部研发经理崔广宇在第三期【携程技术微分享】上的分享，以下为整理的内容概要。墙裂建议点击视频回放，“现场”围观段子手攻城狮大崔，如何高智商&高情商地完美碾压爬虫。。。关注携程技术中心微信公号ctriptech，可第一时间获知微分享信息~ 你被爬虫侵扰过么？当你看到“爬虫”两个字的时候，是不是已经有点血脉贲张的感觉了？千万要忍耐，稍稍做点什么，

2018-01-22 12:16:46 1376 1

原创 Appium for Windows 说明

启动界面序号按钮名称说明 1 Android Settings(机器人) 显示Android设置 2 General Settings(齿轮) 显示一般设置 3 Developer Settings(头像) 显示开发人员设置 4 About(问号) 显示Appium的版本信息 5 Inspector(放大镜) 启动Appiu

2018-01-20 14:08:25 923

转载 python小练习10

题目一：二分查找二分查找简介：二分查找又叫折半查找，二分查找应该属于减治技术的成功应用。所谓减治法，就是将原问题分解成若干个子问题后，利用了规模为n的原问题的解与较小规模（通常是n/2）的子问题的解之间的关系。二分查找利用了记录按关键码有序的特点，其基本思想为：在有序表中，取中间记录作为比较对象，若给定值与中间记录的关键码相等，则查找成功；若给定值小于中间记录的关键码，则在中间记录的左

2018-01-13 16:14:28 1036

转载微信跳一跳游戏Android实现刷分

原文地址https://github.com/wangshub/wechat_jump_game# coding:utf-8'''# === 思路 ===# 核心：每次落稳之后截图，根据截图算出棋子的坐标和下一个块顶面的中点坐标，# 根据两个点的距离乘以一个时间系数获得长按的时间# 识别棋子：靠棋子的颜色来识别位置，通过截图发现最下面一行大概是一条直线，就从上往下一行一行遍历，

2018-01-08 10:46:05 2917

原创 Python面试题总结

1、下面这段代码的输出结果是什么？请解释。def extendList(val,list=[]): list.append(val) return listlist1 = extendList(10)list2 = extendList(123,[])list3 = extendList('a')print"list1 = %s" % list1print"lis

2018-01-05 12:01:22 2166

原创 python web开发——Django模板语言

模板简介Django模版语言的设计致力于在性能和简单上取得平衡。它的设计使习惯于使用HTML的人也能够自如应对。如果您有过使用其他模版语言的经验，像是 Smarty 或者 Jinja2, 那么您将对Django的模版语言感到一见如故。理念如果您有过编程背景，或者您使用过一些在HTML中直接混入程序代码的语言，那么现在您需要记住，Django的模版系统并不是简单的将Python嵌入到HTML中。设

2018-01-04 16:12:38 952

原创 python web开发——Django基于类的视图

简介视图是一个可调用对象，可以接收一个请求然后返回一个响应。这个可调用对象不仅仅限于函数，Django 同时提供一些可以用作视图的类。它们允许你结构化你的视图并且利用继承和混合重用代码。后面我们将介绍一些用于简单任务的通用视图，但你可能想要设计自己的可重用视图的结构以适合你的使用场景Django 提供基本的视图类，它们适用于绝大多数的应用。所有的视图类继承自 View 类，它负责将视图连接到URL、

2018-01-03 11:54:57 1815

原创 python web开发——Django HttpRequest和HttpResponse

概述Django 使用Request 对象和Response 对象在系统间传递状态。当请求一个页面时，Django会建立一个包含请求元数据的 HttpRequest 对象。当Django 加载对应的视图时，HttpRequest 对象将作为视图函数的第一个参数。每个视图会返回一个HttpResponse 对象。本文档对HttpRequest 和HttpResponse 对象的API 进行说明，这些

2018-01-03 11:03:54 9288

原创 python web开发——Django URL路由

路由原理当用户发出一个请求时（例如：在浏览器中输入一个url地址），Django会到系统中的urlpatterns列表中查找匹配的url，如果找到了，执行该url对应的视图，视图一般是一个函数，函数中带一个请求参数HTTPRequest。每个模块都有自己的一个urlpatterns，Django只会查找项目下中的urls.py中查找，所以需要将各个模块中的urls.py包含到其中。urlpatter

2018-01-02 19:17:37 1976

原创 python web开发——Django执行查询

执行查询一旦你建立好数据模型，Django 会自动为你生成一套数据库抽象的API，可以让你创建、检索、更新和删除对象.在整个文档（以及参考）中，我们将引用下面的模型，它构成一个博客应用：#-*- coding:utf-8-*-from django.db import modelsclass Blog(models.Model): name = models.CharField(max_

2018-01-02 17:57:11 1275

原创 python web开发——Django模型元选项

模型元选项你可以在你模型的Meta类中设置模型元选项，例如:#-*- coding:utf-8-*-from django.db import modelsclass Ox(models.Model): horn_length = models.ImageField() class Meta: ordering = ['horn_length']

2018-01-02 14:32:30 452