useragent

[code="java"] USER_AGENTS = [ "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.432...

2016-10-04 16:01:55

阅读数 11

评论数 0

整理一个python工具类

mark一个工具类 [code="java"] from urllib.request import quote import urllib.request import sqlite3 class FileUtil: #根据...

2016-09-08 16:26:20

阅读数 93

评论数 0

scrapy抓取cnblog新闻

tutorial/items.py:项目的items文件 tutorial/pipelines.py:项目的pipelines文件,需要注册到setting.py中,会自动执行process_item方法 tutorial/settings.py:项目的设置文件 tutorial/sp...

2016-09-08 16:00:58

阅读数 64

评论数 0

scrapy抓取dmoz内容

1.新建一个项目 [code="python"] scrapy startproject dmozspider [/code] 会在当前目录创建一个dmozspider的文件夹,包含一系列文件 scrapy.cfg:项目的配置文件 tutoria...

2016-09-07 14:18:51

阅读数 17

评论数 0

安装scrapy

1.使用pip安装 [code="python"] pip install Scrapy [/code] 安装中间,失败了,提示“error: Unable to find vcvarsall.bat”,搜索的结果是VS编译的问题。。。 2.安装vis...

2016-09-07 11:03:57

阅读数 14

评论数 0

获取天气预报的接口

以前的几个天气预报的接口没法用了,新找了两个接口 一个接口启用了gzip,用代码处理的时候,需要注意下 json-handle的插件地址,可以很方便的解析json http://jsonhandle.sinaapp.com/ 代码1 [code="python&q...

2016-07-05 16:28:26

阅读数 21

评论数 0

选择一个好的驾校,用数据说话,我用python

在交管局网站上,看到每月的考试信息都有工具。 想想,可以汇总下,按照考试人数排个名(群众的选择大部分时候都是有道理的) 1.数据先抓取下来 [code="python"] #encoding=utf8 import urllib import u...

2016-07-05 11:13:32

阅读数 21

评论数 0

python版wobot

[code="java"] #-*- coding: UTF-8 -*- import pyglet import os import random import hashlib import time import urllib.request ...

2016-04-19 20:49:04

阅读数 8

评论数 0

运用百度语音识别来读文字

运用百度语音识别来读取你的本地内容 1.把本地文字传递给百度语音接口,返回语音mp3 2.将mp3保存到本地 3.用pyglet播放此语音 [code="python"] #-*- coding: UTF-8 -*- import pyglet i...

2016-04-04 22:09:02

阅读数 27

评论数 0

多线程下载cnblog新闻图片

主要处理的问题有: 1.如何防止重复下载 2.网络访问一般较慢,需要多线程协助提升下载速度 解决方案: 1.先遍历列表页,将图片地址保存到数据库中,保存时,判断是否有重复。 2.使用多线程,下载数据库中的图片 一.下载图片地址 [code="python&q...

2016-03-31 10:17:58

阅读数 13

评论数 0

使用python备份搜狐博客

博客日落西山,已经是不争的事实了,只怕哪天会停掉的。 用python把旧的内容做下备份。 [code="python"] # -*- coding:utf-8 -*- import urllib.request from urllib import...

2016-02-24 15:17:32

阅读数 17

评论数 0

使用python从360doc上抓取内容

#人生苦短,我用python 在360doc上查到一篇不错的文章,准备复制收藏的时候,提示让我登录。 我没有帐号,只好祭出python,顺利拿到数据,自动根据网页标题,保存成html页面 提示:360doc服务端,检查了header,代码里已经添加了。 [code="ja...

2016-01-27 15:32:57

阅读数 94

评论数 0

python连接telnet

[code="java"] # -*- coding: utf-8 -*- import telnetlib '''Telnet远程登录:Windows客户端连接Linux服务器''' # 配置选项 Host = '127.0.0.1' # ...

2016-01-26 10:39:51

阅读数 37

评论数 0

获取可用的代理服务器

1.找到一个可用的代理服务器源 2.验证并找出可用的代理服务器 以下用python语言编写 从http://www.xicidaili.com/nn/1抓取到代理服务器地址 这个网上说的是高匿,实际不是的,原来的ip还是会被forward过去的。 将代理信息抓取保存到proxy.tx...

2016-01-26 08:27:29

阅读数 70

评论数 0

每日自动下载bing背景图片做桌面之python

百度已经烂到没法用了,开始使用bing,发现bing的首页背景很适合当桌面。 写个代码,每日自动下载bing首页的图片,自动做我的壁纸 用到以下几个内容: 1.python基础知识 2.pyinstaller打包python成exe文件 3.使用windows自带的任务计划程序 一.下...

2016-01-08 10:17:13

阅读数 117

评论数 0

python数据抓取

经过折腾,python果然是数据抓取的利器。 火车头类的东西,以后我怕是用不上了,用python自己写,速度快而且透明。 数据抓取的大概步骤 1.抓取列表页面链接 2.根据链接,抓取内容,并保存到数据库 以下是cnblog的新闻为例,使用sqlite做数据库(python内置的,当然...

2015-12-28 16:28:12

阅读数 26

评论数 0

用python自动登录iteye

需要beautifulsoup插件,python版本3 [code="python"] # -*- coding:utf-8 -*- from bs4 import BeautifulSoup import urllib import urll...

2015-12-24 14:24:14

阅读数 11

评论数 0

提示
确定要删除当前文章?
取消 删除