![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python 爬虫
HPRISSOBAD
Python—Java
展开
-
PythonSpider_豆瓣网站-(其他 “源代码案例” 请点开我的博客即可)
"""实例:爬取豆瓣内容 并且将“专属内容”保存至“专属文件”当中"""import requestsimport jsonclass DouBanSpider: # 定义属性,基础 def __init__(self): # 设置url地址 (字典形式,保存多个不同地址!) # self.url = "https://m...原创 2018-07-17 22:39:55 · 412 阅读 · 0 评论 -
PythonSpider_百度新闻-(其他 “源代码案例” 请点开我的博客即可)
"""采用正则表达式: (该例子改为:爬取百度新闻)"""import requestsimport reclass NeiHan: # 定义属性,基础 def __init__(self): # 设置url地址 # self.url = "https://movie.douban.com/tv/#!type=tv&...原创 2018-07-17 22:42:15 · 285 阅读 · 0 评论 -
PythonSpider_糗事百科(多线程方式)-(其他 “源代码案例” 请点开我的博客即可)
"""多线程爬虫: 将爬虫改为“多线程爬虫”, 使速度大大提升将“糗事百科”的爬取方式改为 “多线程” 1. 将每一个步骤都放入单独的队列 2. 当调用队列时,每一个队列都开启一个单独的线程""""""爬取糗事百科: 使用xpath时,response响应的页面内容 必须可以是使用xpath进行信息查询# !!!记住:“.”这个...原创 2018-07-17 22:46:30 · 414 阅读 · 0 评论 -
PythonScrapy_Tencent-(其他 “源代码案例” 请点开我的博客即可)
spider数据# -*- coding: utf-8 -*-import scrapyclass TencentspiderSpider(scrapy.Spider): name = 'tencentSpider' allowed_domains = ['tencent.com'] # start_urls = ['http://tencent.com/'...原创 2018-07-17 23:19:27 · 259 阅读 · 0 评论 -
PythonScrapy_ScrapyLightGovernment-(其他 “源代码案例” 请点开我的博客即可)
spider数据# -*- coding: utf-8 -*-import scrapyfrom Scrapy_LightGovernment.items import ScrapyLightgovernmentItemclass LightgoverspiderSpider(scrapy.Spider): name = 'lightGoverSpider' all...原创 2018-07-17 23:35:12 · 273 阅读 · 0 评论