python
文章平均质量分 74
kocor
PHP研发工程师
展开
-
Python Scrapy多层爬取收集数据
最近用Scrapy做爬虫的时候碰到数据分布在多个页面,要发去多次请求才能收集到足够的信息,例如列表只有简单的几个信息,更多的信息在内页。查看官方文档没找到相关的案例或说明,这个有点坑。 最后自己查了写资料,研究后一下,终于整出来了。 yield scrapy.Request(item['url'], meta={'item': item}, callback=self.detail_parse原创 2018-01-25 12:10:20 · 16685 阅读 · 1 评论 -
Python模拟登录多种实现方式
Python模拟登录多种实现方式 基于Python 3.6 #coding:utf-8 import sys import io import urllib.request import http.cookiejar ################## 第一种登陆方式 ################## ################## 直接使用已知的cookie访问原创 2018-01-17 18:54:13 · 4637 阅读 · 0 评论 -
python爬虫,Scrapy爬取豆瓣电影《芳华》电影短评,分词生成词云图。
项目github地址:https://github.com/kocor01/scrapy_cloud Python版本为3.6 自己写的简单架构《python爬虫,爬取豆瓣电影《芳华》电影短评,分词生成词云图。》 这个是用Scrapy框架重新实现的 爬虫爬取最近比较火的电影《芳华》分词后生成词云图 使用了 jieba分词,云图用wordclou原创 2018-01-25 17:40:34 · 1474 阅读 · 0 评论 -
python爬虫,爬取豆瓣电影《芳华》电影短评,分词生成云图。
项目github地址:https://github.com/kocor01/spider_cloub/ Python版本为3.6 最近突然想玩玩云图,动手写了个简单的爬虫,搭建了简单的爬虫架构 爬虫爬取最近比较火的电影《芳华》分词后生成云图 使用了 jieba分词,云图用wordcloud生成 用了朋友的2B姿势的自拍照片简单的P了下(为了不暴露,P成全黑的),作为生成云图的底图模板原创 2018-01-25 11:52:54 · 2245 阅读 · 0 评论