tomatoues-CSDN博客

原创 scrapy爬虫的使用步骤

scrapy目录spiders：源文件夹，所有的爬虫类都写在这个目录下items.py：结构化数据的实体类的模块middlewares.py: 所有中间层类的模块pipelines.py: 结构化后的数据，持久化操作的模块settings.py: 项目的配置文件scrapy项目的实现步骤：1、在 cmd 窗口中执行： scrapy startprojec...

2019-02-17 11:50:55 321

原创 3种selenium的延时方式

绝对延时等待规定时间后，直接执行后面的代码time.sleep(1)隐性延时最长是30秒，如果30秒内，资源全部加载完成，那么执行后续的代码，30秒内没有加载完成，也会继续执行后续代码driver.implicitly_wait(30)显性等待等待时长20秒，间隔0.5秒去查询一次目标元素是否加载完成20秒内加载完成后，执行后续的代码，最长等待20秒，没有加载也会继续执行f...

2019-02-17 11:10:24 4152

原创在python中设置代理

使用requests的情况下import requestsproxy = '10.10.1.10:3128'proxies = { 'http': 'http://' + proxy, 'https': 'https://' + proxy,}try: response = requests.get('http://httpbin.org/get', proxi...

2019-02-17 10:18:17 689

原创 Python的几个常见的排序算法

1.冒泡排序俩俩（两个相邻的元素i ,i+1）进行比较，根据条件，交换位置，每一次都会选出一个最大（最小）的元素如果排序从小到大：每一次都会找到最大如果排序从大到小：每一次都会找到最小思路：(1） n=len(li)(2) 内循环 j j+1 比较 if li[j]>li[j+1] 交换位置(3) 外循环 range(n-1)def sortbuble(li): ...

2019-01-26 20:10:33 200

原创 Python的几个常用的数据结构

数据结构的定义：相互之间存在一种或者多种特定关系的数据元素组合。常用的数据结构：顺序线性表、线性链表、堆栈、队列、树、哈希表1. 顺序线性表用一组地址连续的存储单元，依次存储线性表的元素访问表元素的方法：通过起始地址+偏移量访问每一个元素访问每一个元素所花费的时间复杂度都是一致的。顺序线性表的随机访问性特别好，但是添加或者删除数据的时候比较麻烦。2. 线性链表线性链表不是连续的。...

2019-01-19 21:21:07 597

原创用python编写九九乘法表和圣诞树

输出九九乘法表for i in range(1,10): for j in range(1,i+1): print("{}*{}={}".format(j,i,i*j),end="\t") print()输出圣诞树for i in range(1,11): for j in range(1,11-i): print(" ",end="...

2019-01-16 17:54:37 249

原创 python的一些常用时间模块详解

import timeUTC：世界标准时间，本初子午线上时间1. timezone: 返回与UTC时间相差的秒数print(time.timezone)2.time.time()返回从新纪元到当前时间走过的秒数，小数是微秒新纪元：unix产生时间1970-1-1print(time.time())3.time.localtime([s])返回从新纪元走过的s秒之后的时间，返回的是时间...

2019-01-10 15:32:24 171

原创用pycharm连接mongodb数据库的方法

在命令窗口先打开mongo，创建一个库，比如use.tomatoues并创建集合tomatoues.createcollection(tudou)下面是代码：import pymongoif __name__ == ‘__main__’:# 往 tomatoues数据库的 lagou 集合写入一条任意记录#和mongodb数据库进行连接client = pymongo.Mong...

2019-01-07 20:20:19 3343

原创给大家上一个简单的用python程序发送邮件的代码，高效好用

from email.header import Headerfrom email.mime.text import MIMETextfrom email.utils import parseaddr, formataddrimport smtplibdef _format_addr(s):name, addr = parseaddr(s)return formataddr((Head...

2019-01-06 21:55:22 462

weixin_43320017的博客