JonPia-CSDN博客

原创 python 爬虫实战（三）使用pyspider爬取虎嗅新闻

#!/usr/bin/env python# -*- encoding: utf-8 -*-# Created on 2018-03-02 23:14:26# Project: huxiufrom pyspider.libs.base_handler import *class Handler(BaseHandler): crawl_config = { } ...

2018-03-12 15:29:59 1470

原创 python 爬虫实战（二）使用pyspider爬取菜谱及图片

#!/usr/bin/env python# -*- encoding: utf-8 -*-# Created on 2018-03-01 21:53:16# Project: caipufrom pyspider.libs.base_handler import *class Handler(BaseHandler): crawl_config = { } ...

2018-03-12 15:29:05 846

原创 Pyspider HTTP 599: SSL certificate problem: unable to get local issuer certificate解决方案

前几天运行pyspider的时候还好好的，今天打开突然报错，错误提示如下：[E 180222 23:25:33 base_handler:203] HTTP 599: SSL certificate problem: unable to get local issuer certificate Traceback (most recent call last): File "c...

2018-02-22 23:26:34 1480

原创 python 爬虫实战（一）爬取豆瓣图书top250

import requestsfrom lxml import etreewith open('booktop250.txt','w',encoding='utf-8') as f: for i in range(0,226,25): url = 'https://book.douban.com/top250?start={}'.format(i) d

2018-01-22 12:58:10 4952

先给大家介绍一些词云在线生成网站：国外网站Wordle（http://www.wordle.net/）WordItOut（https://worditout.com/）Tagxedo（http://www.tagxedo.com/）Tagul（https://wordart.com/）Tocloud（http://www.tocloud.com/）国内网站图悦（http://www.picdata

2018-01-17 22:43:36 1569 1

原创 LintCode python 尾部的0

题目：设计一个算法，计算出n阶乘中尾部零的个数11! = 39916800，因此应该返回 2O(logN)的时间复杂度分析：计算阶乘尾部0的个数，如果先输出结果，然后分析尾部为0的个数的话容易出现溢出，分析结果出现“0”的原因。不难找出，阶乘的过程中出现“2”和“5”或者“5”的倍数的时候，结果为不就会出现“0”，问题就转化成了寻找阶乘N中因子“5”出现的次数即可。实现：def trailingZ

2018-01-16 16:28:42 869

原创 Python 3.6之urllib的变化（1）

语法区别：python3之后就没有了urllib和urllib2之说urllib和urllib2合并后统称为urllib，其中包含urllib.request/urllib.erro/urllib.parse/urllib.robotparse以下是两个版本的使用方法对比： urllib/urllib2urlliburllib,urlenco

2017-12-16 23:59:52 624

JonPia的博客