![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
Sexy cat
这个作者很懒,什么都没留下…
展开
-
利用scrapy框架获取全国的房价数据
利用scrapy框架获取全国的房价数据 1.首先这里我是利用scrapy框架来进行爬取的。scrapy框架的使用可谓是既简单效率又高,下面来一起爬取。 2.直接上代码: class Fang2Spider(scrapy.Spider): name = 'fang2' allowed_domains = ['fang.com/'] start_urls = ['https://www.fang.com/SoufunFamily.htm'] # 当前页数 page_now原创 2020-07-18 14:30:56 · 321 阅读 · 0 评论 -
scrapy数据入库(MySQL)
scrapy数据入库(MySQL) 采集的内容在管道中插入到MySQL中: class BookPipeline: def __init__(self): # connection database self.connect = pymysql.connect(host='127.0.0.1', user='root', passwd='123456', db='books') # 后面三原创 2020-05-25 13:36:40 · 310 阅读 · 0 评论 -
python爬取的图片保存到本地
python爬取的图片保存到本地 # -*- coding: utf-8 -*- import urllib import requests import os import codecs url = 'http://724.169pp.net/bizhi/2017/039/1.jpg' bytes = urllib.request.urlopen(url) f = codecs.open(r'C:\\Users\\ME\\Desktop\\Python project\\pachong\\scrapy\\原创 2020-05-22 12:56:49 · 895 阅读 · 0 评论 -
python批量爬取校花网图片
python批量爬取校花网图片 简单爬取下图片,直接上代码! import urllib.request from lxml import etree headers = { "User-Agent": "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1", } #获取单个对象的数据 def get_one(url,headers,page=[1]):原创 2020-05-21 21:58:01 · 325 阅读 · 0 评论