- 博客(12)
- 收藏
- 关注
RSS订阅原创 scrapy 基本用法
安装文件 lxml、PyOpenssl、Twisted、Pywin32执行 scrapy 创建一个项目： scrapy startproject hello 创建一个爬虫： cd hello scrapy genspider baidu www.baidu.com 执行爬虫： scrapy crawl baidu文件夹里有.cfg文件，是scrapy相关部署信息 items 保存数
2017-08-11 14:39:14
302
原创 pyspider
报错1： Could not create web server listening on port 25555 解决方法： netstat -atunlp
2017-08-10 15:03:17
378
原创 xpath 百度爬虫
百度搜索关键词 输入搜索的词，输入页数 返回标题、页数、url。import requestsfrom lxml import etreedef gethtml(url): text=requests.get(url).text text=text.replace('<em>','') html=etree.HTML(text) return htmldef
2017-07-05 22:45:57
439
原创 xpath 爬取图片
爬去图片import requestsimport refrom lxml import etreefrom urllib3 import request# 页数def page(url,totalpage): changepage=[] for i in range(1,totalpage+1): page_number=re.sub
2017-06-28 22:06:39
1375
原创 爬取糗事百科
自己写的爬取代码，还需进一步优化，仅供参考import requestsimport reimport pandas as pdclass spider(): def numbers(link): number=('正在爬取：'+link+'\n\n') return(number) def page(url,totalpage):
2017-06-27 19:31:43
284
原创 爬取地名
写的比较简单，还需要近一步优化，比如采用模块的调用。import requestsimport reimport sysimport iourl=('http://www.tcmap.com.cn/yunnan/') html=requests.get(url)html.encoding='gbk'txt=html.text#昆明shi=re.findall('<strong><
2017-06-27 19:14:15
1404
原创 urllib
#获取源代码response = request.urlopen('http://www.baidu.com') page = response.read()page = page.decode('utf-8')print(page)urlopen返回对象提供方法：read() , readline() ,readlines() , fileno() , close() ：对HTTPRes
2017-06-27 19:11:33
207
原创 矩阵，ndarray
Numpy库中的矩阵模块为ndarray对象import pandas as pdfrom random import shuffle#随机函数shuffledatafile='E:/python/data/chapter6/try/model.xls'data=pd.read_excel(datafile)data=data.as_matrix()#将表格转化为矩阵shuffle(data
2017-06-23 12:47:44
185
原创 turtle画图
画圆import turtler=0while r<360: turtle.forward(1) turtle.right(1) r=r+1多边形import turtlesides=int(input('enter the number of sides:'))angle=360.0/sideslength=400.0/
2017-05-08 12:46:49
945
原创 turtle图形函数画图
lengthangleturtle.forward()turtle.right()turtle.left()turtle.fillcolor("颜色")
2017-05-06 16:57:52
730
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人