#表示删不去这一行,这个代码框框啊 啊啊啊啊啊
一、做python爬虫,在爬取数据前,一般需要对网页进行简单分析。这里推荐用火狐的HttpFox,简单实用。
如下图,巨潮信息网的,通过查询显示想要的数据,然后抓取下来。
二、爬取查询数据,查询类型的,说明是要post相关数据过去才能get到想要的数据。
通过HttpFox分析,要得到相关的数据,post过去的数据相当复杂。从HttpFox的POST Data 项看到下面这一大串信息:
stock=&searchkey=&plate=sz%3Bszmb%3Bszzx%3Bszcy%3Bshmb%3B&category=category_sjdbg_szsh%3Bcategory_ndbg_szsh
%3Bcategory_bndbg_szsh%3Bcategory_yjdbg_szsh%3B&trade=&column=szse&columnTitle=%E5%8E%86%E5%8F%B2%E5%85
%AC%E5%91%8A%E6%9F%A5%E8%AF%A2&pageNum=1&pageSize=30&tabName=fulltext&sortName=&sortType=&limit=&showTitle
category_sjdbg_szsh%2Fcategory%2F%E4%B8%89%E5%AD%A3%E5%BA%A6%E6%8A%A5%E5%91%8A%3Bcategory_ndbg_szsh
%2Fcategory%2F%E5%B9%B4%E5%BA%A6%E6%8A%A5%E5%91%8A%3Bcategory_bndbg_szsh%2Fcategory%2F%E5%8D%8A%
E5%B9%B4%E5%BA%A6%E6%8A%A5%E5%91%8A%3Bcategory_yjdbg_szsh%2Fcategory%2F%E4%B8%80%E5%AD%A3%E5
%BA%A6%E6%8A%A5%E5%91%8A%3Bsz%2Fplate%2F%E6%B7%B1%E5%B8%82%E5%85%AC%E5%8F%B8%3Bszmb%2Fplate
%2F%E6%B7%B1%E5%B8%82%E4%B8%BB%E6%9D%BF%3Bszzx%2Fplate%2F%E4%B8%AD%E5%B0%8F%E6%9D%BF%3Bszcy
%2Fplate%2F%E5%88%9B%E4%B8%9A%E6%9D%BF%3Bshmb%2Fplate%2F%E6%B2%AA%E5%B8%82%E4%B8%BB%E6%9D%B
F&seDate=2016-10-13
想要重点抓取一季度、半年、三季度、年度的年报。看类别选择:
category=category_sjdbg_szsh%3Bcategory_ndbg_szsh%3Bcategory_bndbg_szsh
%3Bcategory_yjdbg_szsh%3B
这么复杂的post数据,根本不知道怎么构建自己的post数据项。特别是某个某个post变量是取多个值时。注意到:%3B 是URL编码值代表分号“;”。这样一个变量多个值的问题解决。
#-*- coding: utf8 -*- import urllib2 import urllib import re import time,datetime import os import shutil def getstock(page,strdate): values = { 'stock':'', 'searchkey':'', 'plate':'sz;szmb;szzx;szcy;shmb', #%category_bndbg_szsh半年报告;category_sjdbg_szsh三季度;category_ndbg_szsh年度;category_yjdbg_szsh一季度 'category':'category_bndbg_szsh;category_sjdbg_szsh;category_ndbg_szsh;category_yjdbg_szsh', 'trade':'', 'column':'szse', 'columnTitle':'%E5%8E%86%E5%8F%B2%E5%85%AC%E5%91%8A%E6%9F%A5%E8%AF%A2', 'pageNum':page, 'pageSize':'50', 'tabName':'fulltext', 'sortName':'', 'sortType':'', 'limit':'', 'seDate':strdate} data = urllib.urlencode(values) url = "http://www.cninfo.com.cn/cninfo-new/announcement/query" request = urllib2.Request(url,data) datime = datetime.datetime.now() response = urllib2.urlopen(request,timeout=4) re_data = response.read() re_data = re_data.decode('utf8') dict_data = eval(re_data.replace('null','None').replace('true','True').replace('false','False')) print dict_data #转成dict数据,输出看看 return dict_data try: date2 = time.strftime('%Y-%m-%d', time.localtime()) page = 1 ret = getstock(str(page),str(date2)) except Exception as error: print error
good luck!