python爬虫
SinGaln
这个作者很懒,什么都没留下…
展开
-
python抓取猫眼电影top100
这里主要运用到了正则表达式进行抓取;import jsonfrom multiprocessing import Poolimport requestsfrom requests.exceptions import RequestExceptionimport redef get_one_page(url): try: response = requests.get(原创 2017-10-29 12:38:39 · 1008 阅读 · 0 评论 -
ValueError: setting an array element with a sequence.错误处理。。。
对于这个错误,看了很多的博客资料。都说数组元素没有对齐,找到相应的列补充元素就行,看了之后心累啊。。。。 小编做自然语言处理,几个G的文本啊,怎么找啊!!!!! 所以,经过我的一番努力,终于找到了解决办法。。。。 就几行代码的事:主要是补全元素import numpy as npvec = []f = open('a.txt', encoding='utf-8')while Tr...原创 2018-08-31 12:43:27 · 36146 阅读 · 5 评论 -
python入门学习,从 Zero 到 Hero
第一个问题,什么是 Python ?根据 Python 之父 Guido van Rossum 的话,Python 是:一种高级程序语言,其核心设计哲学是代码可读性和语法,能够让程序员用很少的代码来表达自己的想法。对于我来说,学习 Python 的首要原因是,Python 是一种可以优雅编程的语言。它能够简单自然地写出代码和实现我的想法。另一个原因是我们可以将 Python 用在很多地方:数据科学、原创 2017-12-03 15:53:54 · 538 阅读 · 0 评论 -
python 抓取天堂图片网中的图片
这里注意运用了BeautifulSoup,requests和urllib的下载模块:具体代码如下:import requestsimport urllibfrom bs4 import BeautifulSoupurl = 'http://www.ivsky.com/tupian/meili_caihong_v42964/'headers = {'User-Agent':'Mozilla/5.原创 2017-10-28 13:51:19 · 1345 阅读 · 2 评论 -
python使用异常处理编写的小程序
直接上代码1:while True: f_number = input("Please input first number :") if f_number == 'q': break s_number = input("Please input second number :") if s_number == 'q': break原创 2017-11-21 20:00:14 · 663 阅读 · 0 评论 -
Python urllib的urlretrieve()函数解析Python的爬虫函数
下面我们再来看看 urllib 模块提供的 urlretrieve() 函数。urlretrieve() 方法直接将远程数据下载到本地。1>>> help(urllib.urlretrieve)2Help on function urlretrieve in module urllib:原创 2017-10-25 22:52:15 · 342 阅读 · 0 评论 -
python 爬取360看看的电影
**小编在此爬取的是360看看中的悬疑类电影,喜欢的小伙伴可以收藏。。。。。当然,也可以给小编提一些改进的意见。。。**直接上代码:#coding=utf-8import requestsfrom bs4 import BeautifulSoupurl = 'http://www.360kan.com/dianying/list.php?cat=115'headers = {'User-原创 2017-10-25 15:04:50 · 2676 阅读 · 0 评论 -
python爬取玄幻小书。。。
直接上代码:import requestsfrom bs4 import BeautifulSoupheaders = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.原创 2017-10-24 22:59:24 · 306 阅读 · 0 评论 -
python 爬虫糗事段子中的段子
小编看了不少的爬虫代码,有使用urllib的,也有使用scrap框架的,今天,我使用requests和BeautifulSoup来写了一个爬段子的爬虫小程序:原创 2017-10-23 15:11:43 · 337 阅读 · 0 评论 -
python爬虫天堂网图片的进阶版
闲话不多说,直接上代码:import requestsfrom bs4 import BeautifulSoupimport reimport urllibdef cbk(a,b,c): '''''回调函数 @a:已经下载的数据块 @b:数据块的大小 @c:远程文件的大小 ''' per=100.0*a*b/c if per>100:原创 2017-11-08 14:50:41 · 5129 阅读 · 0 评论 -
Scrapy初探,爬取猫眼网排行100的电影
1.创建scrapy项目scrapy startproject maoyanspider2.写items.py# -*- coding: utf-8 -*-# Define here the models for your scraped items## See documentation in:# https://docs.scrapy.org/en/latest/topics...原创 2019-08-25 11:57:39 · 731 阅读 · 0 评论