Scrapy学习笔记
文章平均质量分 54
勿语星空丶
别把这个世界让给你所鄙夷的人。
展开
-
Scrapy练习第二辑爬GitHub
Scrapy练习第二辑爬GitHub上次写的第一辑是关于知乎的,这次为什么在来写GitHub是因为做项目要爬GitHub,所以这是笔记! 把遇到的问题写上来,自己以后看看,留作经验(大神勿喷)。附上代码github_spider.py:#!/usr/bin/env python# -*- coding: cp936 -*-#writer:Z0fr3y#date:2015-7-16#versi原创 2015-07-16 17:01:14 · 2128 阅读 · 1 评论 -
(究极01)Scrapy练习第三辑-贯穿GitHub
实在花了不小心思了,最近还有3件事等我去完成,这次先做到这!首先我做的是爬取GitHub上的用户信息,所以流程图如下: 贴上GitHubSpider.py:#coding:utf-8#!/usr/bin/env python#author:Z0fr3y#update:2015-10-7#version:2.4#name:GitHubSpider#运行scrapy crawl githu原创 2015-10-07 15:00:48 · 1141 阅读 · 0 评论 -
Blog
GitHub:https://github.com/Z0fr3yCSDN:http://blog.csdn.net/clownstarLofter:http://z0fr3y.lofter.com……对了,那个写了(究极01)的下集在 GitHub里面:GitHubScrapy2原创 2015-10-25 18:29:53 · 504 阅读 · 0 评论 -
用Swing写个scrapy爬虫图形界面
最近软件老师叫写个英语助手APP,所以没什么精力学其它的了,app源码已发至GitHub:App–English-Learning-Assistant 英语学习小助手……很简单的一个app半个月学了安卓,2个星期写出来的,写的不好见谅哈(估计没人会翻动:))。好了,说正文。贴上Swing写的代码:package com.swing2.x;import java.awt.BorderLayout;i原创 2015-11-19 21:17:12 · 2765 阅读 · 0 评论 -
用Swing写个scrapy爬虫图形界面 Ⅱ
因为eclipse上没有matisse form,所以不好再次修改我上次写的图形界面,所以呢,下了个Myeclipse,使用matisse form重新写了下此爬虫的GUI。主要代码 :/* * scs.java * * Created on __DATE__, __TIME__ */package cd.ccx;import java.awt.TextArea;import java.a原创 2015-12-02 22:40:38 · 2935 阅读 · 0 评论 -
Scrapy练习爬知乎第一辑
模仿网上的Scrapy程序,自己写了个爬虫。虽然是模仿,但是呢,好多都是自己去实践错了对了,整天都在苦闷之中度过,没办法,我的IQ较低,总是要学很久才能懂。。。。。。。ps:运行这个程序你要安装scrapy、Selector等等(好多好烦,若是出错了,找找版本原因,因为我上次在ubuntu上就是scrapy0.14的,运行错误。。)首先爬知乎首页,你第一得做好登录(这个woc郁闷死了,官方原创 2015-06-14 14:22:21 · 2776 阅读 · 4 评论 -
将爬取到的数据(用Python)写入PostgreSQL数据库
我想砍人。这么简单,我特么搞了整整一天。从昨天下午到今天11:40.WTF!以下是代码(目的想把爬取到的数据存入PostgreSQL):class PostgreSQLPipeline(object): def process_item(self,item, spider) #sql_desc="INSERT INTO postgresql_1(fullname, u原创 2016-03-08 12:29:37 · 12156 阅读 · 1 评论