Ptyhon爬虫实战(七):爬取汽车公告网上的批次排量等信息

原创 2017年09月08日 12:48:43

网址:http://www.cn357.com/notice/


直接上代码。


#coding=utf-8
import re
import requests

def getHtml(url):
    try:
        page = requests.get(url)
        html = page.text
        return html
    except:
        print ("网页访问异常")
        return ""

def getInfo(html):
    reg = re.compile(r".*?公告批次:(.*?),生产企业:.*?识别代号:(.*?),轴数:.*?发动机排量:(.*?),发动机功率:",re.S)
    items = re.findall(reg,html)
    for item in items:
        print("\t".join(list(map(str.strip,item))))


if __name__=='__main__':
    for i in range(1,61):
        url = "http://www.cn357.com/cvi.php?m=cvinotice&search=n&brand=%B1%F0%BF%CB&page=" + str(i)
        html = getHtml(url)
        getInfo(html)


python 爬虫爬取所有上市公司公告信息(二)

。,。设计公告信息爬虫面临的主要问题在上一篇文章已经叙述过了,现在我们开始按照这个思路设计框架,开始编写程序。 首先选择爬取的数据源,这里笔者经过多方比较,最终选择了东方财富网作为公告爬虫的数据源。 ...
  • a980135330
  • a980135330
  • 2017年10月05日 11:40
  • 508

python 爬虫爬取所有上市公司公告信息(五)

。,。现在我们进过for循环,已经获取到了每一个股票代码在2015年至今所有的公告内容连接和公告日期,且是以(日期,公告内容url)元组的形式加入到了爬取队列中, 在最内层循环结束后,我们编写程序实...
  • a980135330
  • a980135330
  • 2017年10月05日 15:00
  • 434

python 爬虫爬取所有上市公司公告信息(一)

。,。前面我们已经了解了python中多线程,selenium,requests等爬虫基本操作的知识,现在我们准备编写一个规模较大的爬虫,目的是爬取所有上市公司2015年至今的公告信息。 相较于前面...
  • a980135330
  • a980135330
  • 2017年10月05日 11:07
  • 1019

Python网络爬虫与信息提取-Day14-(实例)股票数据定向爬虫

Python网络爬虫与信息提取 (实例)股票数据定向爬虫
  • chenxiang001
  • chenxiang001
  • 2017年09月29日 16:11
  • 324

Java爬虫爬取网易汽车车型库

本文地址:http://blog.csdn.net/shanglianlm/article/details/70188385最近由于工作需要,写了一个小的爬虫,主要用于爬取网易汽车车型库(http:/...
  • shanglianlm
  • shanglianlm
  • 2017年04月15日 23:21
  • 809

爬虫之理财网站招标产品(Python篇)

记录爬虫爬取网站思路和分析方法,并解决生活中实际问题而不是作为玩具代码...
  • zhyj9493352669
  • zhyj9493352669
  • 2017年09月28日 17:55
  • 417

python 爬虫爬取所有上市公司公告信息(四)

。,。前一篇文章我们编写好了爬取的类,现在我们开始
  • a980135330
  • a980135330
  • 2017年10月05日 14:13
  • 397

2.7 汽车之家口碑爬虫

2.7 汽车之家口碑爬虫 7 汽车之家口碑爬虫 需求分析 前端js反爬虫措施分析 1问题描述 2解决方法 爬虫框架 1 获取所有车型的id 2本爬虫采用scrapy框架分析所需要的评论信息为...
  • u012052268
  • u012052268
  • 2017年05月30日 15:19
  • 4625

第一个完整爬虫:爬取应届生网所有职位的详细信息

在前面几篇博文里其实已经介绍了和Python爬虫相关的很多基础知识,包括基本的抓取网页信息,ip池的建立和使用,多进程在ip验证中的使用,今天我们就把这些内容整合到一起,完成一个真正的爬虫。 我们先...
  • sinat_22594309
  • sinat_22594309
  • 2017年01月01日 12:37
  • 2114

汽车之家口啤数据爬虫

之前一直用采集工具爬取数据,然而最近发现汽车之家的口啤数据爬下来的好多html标签,文本数据也是断断续续的,(在浏览器中用选择元素是可以看到content的,说明断掉的文字只是藏起来了,并不是图片,这...
  • u010976347
  • u010976347
  • 2017年05月29日 10:02
  • 1619
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Ptyhon爬虫实战(七):爬取汽车公告网上的批次排量等信息
举报原因:
原因补充:

(最多只允许输入30个字)