2017年09月_Gavinsun

原创 Python自动化（八）使用Scrapy shell提取网页信息

使用Scrapy shell提取网页信息使用Scrapy shell提取网页信息说明使用scrapy shell获得网页内容关于request和response关于responsebody提取responsebody中指定的数据说明本文假设您已经成功安装Scrapy。使用scrapy shell获得网页内容在终端中执行如下命令： scrapy shell -s USER_AGENT="M

2017-09-25 16:16:28 1554 1

原创 Python自动化（七）使用MySQLdb操作MySQL数据库

#coding:utf-8import MySQLdb# 1.连接数据库db = MySQLdb.connect('localhost','root','','students',charset='utf8')cur = db.cursor()# 2.执行SQL语句sql = "INSERT INTO USER (NAME, qq) VALUES ('左湃', '888');"cur

2017-09-21 18:07:57 764

原创 Python自动化（六）使用xlwt操作Excel

# coding:utf-8import xlwtstudents = [ {'name': "孙淑悦", 'qq': "8882222"}, {'name': "吕婉源", 'qq': "8882222"}, {'name': "孔德源", 'qq': "8882222"}]f = xlwt.Workbook(encoding='utf-8')sheet = f.a

2017-09-21 11:09:18 1175

原创 Python自动化（五）多线程

#coding:utf-8import Queueimport randomimport requestsimport timeimport threadingurls =[ 'http://www.baidu.com/', 'http://www.sogou.com/', 'http://www.so.com/']que = Queue.Queue()s

2017-09-20 17:41:37 1692 1

原创 Python自动化（四）插入排序

插入排序#coding:utf-8from selenium import webdriverdef insert_sort(lists): """ 对一个数字列表进行升序排序。 :param lists:一个数字列表 :return: 返回一个按升序排序的列表 """ count = len(lists) for index in r

2017-09-19 10:20:40 563

原创 Python自动化（三）使用xlrt读取Excel数据

在”C:/data/python.xlsx“文件中的Sheet1中，有这样几行数据：姓名 QQ 天佑 555555555 小白 666666666如果使用Python中的xlrt该如何读取数据呢？参考如下：#coding:utf-8import xlrdfilename=u"C:/data/python.xlsx"workbook = xlrd.open_workbo

2017-09-14 17:45:41 1175

原创 Python自动化（二）使用Beautifu Soup爬取电影下载链接

#coding:utf-8from bs4 import BeautifulSoupimport requestsimport codecshost = "http://www.poxiao.com"url = "http://www.poxiao.com/mtype5.html"html_doc = requests.get(url).content.decode("GBK")wit

2017-09-13 17:49:02 597

原创 Python自动化（一）使用Selenium+PhantomJS爬取电影下载链接

#coding:utf-8from selenium import webdriverimport codecsdriver = webdriver.PhantomJS()driver.get("http://www.poxiao.com/mtype5.html")movies = driver.find_elements_by_xpath('//*/li/h3/a')cur_window

2017-09-12 17:32:40 2166

原创 Python简明教程（二）函数

Python简明教程（二）函数Python中的函数关于返回值return函数参数参数的传递默认参数Python接收任意多个参数Python接收任意多对参数匿名函数与普通函数的区别高阶函数map和reducePython中的函数如果你学过C、Java等其它编程语言，那么Python中的函数就不用多说了，因为你太熟悉了，

2017-09-11 09:23:25 1126 1

原创 Python简明教程（一）数据类型、逻辑控制、函数

数据类型类型特点数字 int,float,double…. str 有长度的,一串字符，不可变的，有编号的，编号是从0开始的。列表list 有长度的,可变的，有编号的，编号从0开始 tuple 有长度的,不可变的，有编号的，编号是从0开始的。字典dict 有长度的,没有顺序的，一对一对的,是可变的逻辑控制条件控制（if) if 密码

2017-09-08 20:11:38 581

gavinsun的专栏