python
爱吃鸡的小螃蟹
人生苦短,我用python。
展开
-
scrapy入门小案例--爬取电影天堂最新电影下载地址
本文开发环境:ubuntu16.04 + scrapy1.5 + python3.5 + pycharm2017.03 scrapy学习也有段时间了,刚开始也是跟着视屏一点点学习,看着挺简单的,到了动手的时候就不知道如何下手。现在通过一个小案例来总结下如何使用,如果能帮到你那我就很欣慰了。 必备技能:python基础 推荐廖雪峰python教程网页基础 W3C...原创 2018-03-27 23:38:52 · 4785 阅读 · 1 评论 -
京东手机爬虫(仅供学习交流)
京东手机爬虫,仅供交流学习使用,不得用作商业用途。 如有违规侵权,请联系删除。效果如下: import requestsfrom lxml import etreefrom concurrent.futures import ThreadPoolExecutor, as_completedimport jsonfrom urllib.parse import quotefro...原创 2018-05-20 11:09:01 · 2360 阅读 · 0 评论 -
淘宝天猫多线程爬虫
# -*- coding:utf-8 -*-import requestsfrom queue import Queueimport threadingimport reimport pandas as pdclass Thread_crawl(threading.Thread): ''' 抓取线程类 ''' def __init__(self, ...原创 2018-05-16 16:46:17 · 867 阅读 · 0 评论