ubuntu
我写爬虫
坑,都是坑!
展开
-
Ubuntu 13.04 解决 QQ 问题:pidgin-lwqq 亲测可用
好吧,虽然我并不喜欢 QQ,事实上,当年之所以申请一个 QQ 帐号还是因为同学们都在用他…我很希望大家都不怎么使用他,用邮箱多好,但是没办法,腾讯成功的抓住了我身边的人们,他们离不开 QQ,于是乎,我也离不开 QQ 了… 之前一直在想,怎么解决 linux 中使用 QQ 的问题,老是用 webQQ 也不是一个办法,太麻烦了,总是开着一个网页,就是觉得不爽。在 wine 中使用 QQ 就不说转载 2014-10-12 11:00:53 · 560 阅读 · 0 评论 -
ubuntu安装Scrapy
Scrapy是Python开发的一个快速,高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。 官网网站http://www.scrapy.org/ 1、安装如下软件 sudo apt-get install build-essential; sudo apt-get install py转载 2014-10-18 17:32:35 · 566 阅读 · 0 评论 -
调用火狐浏览器模拟天猫搜索并遍历一百页商品(速度较慢,但不会遇到反爬机制和验证码)
# -*- coding: utf-8 -*- from selenium import webdriver from selenium.webdriver.common.keys import Keys import hashlib import random import urllib from time import ctime,sleep class ScrapyPage原创 2015-03-04 17:27:50 · 1037 阅读 · 0 评论 -
ubuntu 12.04 hadoop 单机模式平台搭建
一,hadoop 需要java 支持,所以,java jdk 是必须要装的,因为我是ubuntu 12.04 64位,所以在http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 下载linux x64版本(164兆那个) 二,在Ubuntu下创建hadoop用户组和用户原创 2015-06-29 15:09:46 · 443 阅读 · 0 评论