【python】研究与实践 python线程池爬取某网的接口视频资源入库

研究与实践 python线程池爬取某网的接口视频资源入库

Python（派森），它是一个简单的、解释型的、交互式的、可移植的、面向对象的超高级语言。这就是对Python语言的最简单的描述。
python 是一种解释性脚本语言，不像c++/java那样的高级语言，需要编译成字节码之后才能运行，python可以边运行边解释。
python主要应用于以下几个领域：
web开发，基于python产生了许多优秀的web框架，许许多多伟大的开源社区的程序员为它们贡献了诸多的开源库，

使得开发起来十分便捷。爬虫开发，实际上这个只是一个小小的应用，基于python的http库有很多， 
比如常见的httplib，urllib2，requests等，都很好的封装了http协议中的post,get等方法，也很方便的能够模拟浏览
器去实现自己想要的功能，并且，对网页的解析也有诸多工具可以使用，如beautifulsoup等。科学计算，不得不提是
python在科学计算领域也应用越来越广，如物理学领域，各种的实验数据的处理以及相关实验模拟等，机器学习领域
也产生了诸多的开源库，如sklearn，里面集成了机器学习领域常见的算法，接口良好，文档丰富，也有最近十分火热
的Deep Learning的开源库，如theano。高性能服务器后端，高性能不是说python执行有多快，其实python还是比
较慢的，但是在开发高并发，高吞吐率的服务器的时候，还是具有自己独特的优势。还有一切边边角角的应用，

比如开发界面程序，QT也提供了python的支持，因为python的开源库中包括了对c/c++ lib库的调用。

# -*-coding:utf8-*-

from lxml import etree
from multiprocessing.dummy import Pool as ThreadPool
import requests
import time
import sys
import re
import json
import MySQLdb

reload(sys)

sys.setdefaultencoding('utf-8')

urls = []

head = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.2357.130 Safari/537.36'
}

time1 = time.time()


for i in range(1,10000):
    url = 'https://domain.com/video/' + str(i)
    urls.append(url)

def spider(url):
    html = requests.get(url, headers=head)
    json_url = url
    jsoncontent = requests.get(json_url, headers=head).content
    jsDict = json.loads(jsoncontent)
    if jsDict['code'] == 0:
        jsData = jsDict['data']
        vtitle = jsData['vtitle']
        play_count = jsData['play_count']
        date_add = jsData['date_add']

        try:
            conn = MySQLdb.connect(host='localhost', user='', passwd='', 
                                   port=3306, charset='utf8')
            cur = conn.cursor()
            conn.select_db('db')
            cur.execute(
                'INSERT INTO videos( url, json, vtitle, play_count,datetime) VALUES '
                '(%s,%s,%s,%s,%s)',
                [  str(json_url), str(jsData), vtitle,play_count,date_add])
            conn.commit()
            print "Succeed: " + str(urls)
        except MySQLdb.Error, e:
            print "Mysql Error %d: %s" % (e.args[0], e.args[1])
    else:
        print "Error_Json: " + url


pool = ThreadPool(10)
# results = pool.map(spider, urls)
try:
    results = pool.map(spider, urls)
except Exception, e:
    # print 'ConnectionError'
    print e
    time.sleep(300)
    results = pool.map(spider, urls)

pool.close()
pool.join()