python爬虫-初次接触

说来惭愧，学习程序这么多年，居然都没有为自己怎么编写过程序，之前一直鄙视python一类的脚本语言，想来是多么的无知呀。。

最近觉得必须为自己写写程序了，不能一辈子只为别人服务是吧。

我理解的网络爬虫，程序自动化的抓取人们关心的网页内容，还可以根据超级链接进一步的往下抓数据，这个就是爬虫。

我的第一个网络爬虫就是获取股票数据

https://gupiao.baidu.com/

获取百度股市通里面的股票的历史成交数据

打开网址 https://gupiao.baidu.com/stock/sz300369.html 可以查看到我司股票。

使用google浏览器，F12 选择Network

然后选择日线 点击拉长K线，可以在Network中看到有数据流。选择最大的数据的一个流，可以就看到请求的数据了。

这样就可以获取到产生K线图的，数据来源了，使用的GET然后对应的URL是

https://gupiao.baidu.com/api/stocks/stockdaybar?from=pc&os_ver=1&cuid=xxx&vv=100&format=json&stock_code=sz300369&step=3&start=20160308&count=160&fq_type=no&timestamp=1480252213081

到此~~就获取到数据的URL，这个获取方式比较简单就是普通的URL方式。我们只需要通过使用python来请求这个数据就好了。

然后参考这篇文章

http://python.jobbole.com/81336/

依葫芦画瓢，就得到如下的代码

    import urllib
    import urllib2
    values={}
    values['from'] ='pc'
    values['os_ver'] ='1'
    values['cuid'] ='xxx'
    values['vv'] ='100'
    values['format'] ='json'
    values['stock_code'] ='sz300369'
    values['step'] ='3'
    values['start'] =start
    values['count'] ='320'
    values['fq_type'] ='no'
    values['timestamp'] ='1480063069006'


    data = urllib.urlencode(values)
    url = "https://gupiao.baidu.com/api/stocks/stockdaybar"
    geturl = url + "?"+data
    print(geturl)
    request = urllib2.Request(geturl)
	response = urllib2.urlopen(request)

完成获取所有股票数据的代码如下

从文件123.txt读出所有股票的代码。仅限上证

__author__ = 'bestboyxie'


import urllib
import urllib2
import cookielib
import codecs
import json
import re
import thread
import time
#https://gupiao.baidu.com/api/stocks/stockdaybar?from=pc&os_ver=1&cuid=xxx&vv=100&format=json&stock_code=sh000001&step=3&start=20150710&count=320&fq_type=no×tamp=1480054552865
#https://gupiao.baidu.com/api/stocks/stockdaybar?from=pc&os_ver=1&cuid=xxx&vv=100&format=json&stock_code=sz300369&step=3&start=20150706&count=320&fq_type=no×tamp=1480055288950
def getdata(start,stock_code):
    values={}
    values['from'] ='pc'
    values['os_ver'] ='1'
    values['cuid'] ='xxx'
    values['vv'] ='100'
    values['format'] ='json'
    values['stock_code'] =stock_code
    values['step'] ='3'
    values['start'] =start
    values['count'] ='320'
    values['fq_type'] ='no'
    values['timestamp'] ='1480063069006'


    data = urllib.urlencode(values)
    url = "https://gupiao.baidu.com/api/stocks/stockdaybar"
    geturl = url + "?"+data
    print(geturl)
    request = urllib2.Request(geturl)


    cookie = cookielib.CookieJar()
    handler=urllib2.HTTPCookieProcessor(cookie)
    opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))

    response = opener.open(request)

    #print response.read()
    output= codecs.open(stock_code+"_stockdaybar.txt", "a+", "utf-8")
    response_str=response.read()
    mindate = int(values['start'])
    jsona = json.loads(response_str,'utf-8')
    if 'mashData' in jsona:
        mashDatas = jsona['mashData']
        output.write(json.dumps(jsona['mashData']))
        for mashData in mashDatas:
            date = int(mashData['date'])
            if mindate - date >0:
                mindate = date
        print(mindate)
    output.close()
    return mindate
def filetoarray(filename):
    IDXfile = open(filename, 'r')
    fileread=IDXfile.read()
    IDXfile.close()
    p = re.compile(r"\d+")
    l = p.findall(fileread)
    return l
def down2file(threadName, stock):
    date = 20161125
    name =""
    if stock > 600000 and  stock < 604000 :
        name ='sh'+str(stock)
    else :
        return
    last_data = 0
    while last_data!= date:
        last_data = date
        date = getdata(last_data,name)
stock_all = filetoarray("123.txt")
for stock in stock_all:
    thread.start_new_thread(down2file,(str(stock),int(stock)))
    time.sleep(1)
#print response.read()

其中123.txt的格式如下

浦发银行(600000)邯郸钢铁(600001)ST东北高(600003)白云机场(600004)武钢股份(600005)东风汽车(600006)中国国贸(600007)首创股份(600008)上海机场(600009)包钢股份(600010)华能国际(600011)皖通高速(600012)华夏银行(600015)民生银行(600016)日照港(600017)上港集团(600018)宝钢股份(600019)中原高速(600020)上海电力(600021)山东钢铁(600022)浙能电力(600023)中海发展(600026)华电国际(600027)中国石化(600028)南方航空(600029)中信证券(600030)三一重工(600031)福建高速(600033)楚天高速(600035)招商银行(600036)歌华有线(600037)中直股份(600038)四川路桥(600039)保利地产(600048)中国联通(600050)宁波联合(600051)浙江广厦(600052)九鼎投资(600053)黄山旅游(600054)万东医疗(600055)中国医药(600056)象屿股份(600057)五矿发展(600058)古越龙山(600059)海信电器(600060)国投安信(600061)华润双鹤(600062)皖维高新(600063)南京高科(600064)宇通客车(600066)冠城大通(600067) 葛洲坝(600068) 银鸽投资(600069)

参考

http://python.jobbole.com/81359/