- 博客(4)
- 收藏
- 关注
RSS订阅原创 scrapy简单爬虫
在cmd里面输入在ide里面修改books.py文件# -*- coding: utf-8 -*-import scrapyclass BooksSpider(scrapy.Spider): #爬虫唯一标识 name = 'books' #入口点 start_urls = ['http://books.toscrape.com/'] #解析页面，1.提取页面中的数据，2、提取页面中的链接 #页...
2018-06-08 17:04:59
336
原创 淘宝价格比价
import requestsimport redef getHTMLText(url): try: r = requests.get(url,timeout=30) r.raise_for_status() r.encoding = r.apparent_encoding return r.text except: return ""def parsePage(ilt,html): t...
2018-06-06 20:52:52
1490
原创 大学排名爬虫
import requestsimport reimport bs4from bs4 import BeautifulSoup#提交URL获得html页面def getHTMLText(url): try: r = requests.get(url,timeout = 30) r.raise_for_status() r.encoding = r.apparent_encoding ret...
2018-06-06 10:41:04
181
原创 通过互联网采集数据
from urllib.request import urlopenfrom urllib.parse import urlparsefrom bs4 import BeautifulSoupimport reimport datetimeimport randompages = set()random.seed(datetime.datetime.now())#获取页面所有内链的列表def ge...
2018-06-04 16:41:25
1024
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人