爬虫
echo6120
这个作者很懒,什么都没留下…
展开
-
Python 爬虫(一)scrapy框架
前几周学习了简单的Python爬虫,准备分两个部分进行总结;第一部分:使用scrapy框架进行简单的爬虫。首先,讲一下啥叫scrapy?百度百科:Scrapy,Python开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。Scrapy吸引人的地方在于它是一个框架,任何人都可以根据需求方便的修改。...原创 2018-05-22 13:17:33 · 1059 阅读 · 0 评论 -
Python 爬虫(二)爬虫基本入门
在公司做了一次分享,顺便发个博客一.什么是爬虫1.定义是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本.爬虫是一个模拟浏览器进行HTTP 请求的过程。2.目的从网上抓取出来大量你想获取类型的数据,然后用来分析大量数据的类似点或者其他信息来对你所进行的工作提供帮助3.为什么选取Python做爬虫1)抓取网页本身的接口相比与其他静态编程语言,如java,c#,C++,python抓取网页文档的...原创 2018-06-16 23:11:17 · 472 阅读 · 0 评论 -
【python】爬取优信二手车首页的图片被下载到文件夹中
#coding='utf-8' import requests import re from bs4 import BeautifulSoup import urllib import time from lxml import etree heads={ 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537....原创 2018-07-15 00:44:10 · 360 阅读 · 0 评论