python简单实践作业_【Python】：简单爬虫作业

最新推荐文章于 2023-06-28 08:33:57 发布

weixin_39915700

最新推荐文章于 2023-06-28 08:33:57 发布

阅读量350

点赞数

文章标签： python简单实践作业

使用Python编写的图片爬虫作业：

#coding=utf-8

import urllib

import re

def getPage(url):

#urllib.urlopen(url[, data[, proxies]]) :

#创建一个表示远程url的类文件对象，

#然后像本地文件一样操作这个类文件对象来获取远程数据

page = urllib.urlopen(url)

return page.read()

def downloadImg(content):

#匹配任意的jpg文件连接

pattern = r'src="(.+?\.jpg)" pic_ext'

#可以把正则表达式编译成一个正则表达式对象

m = re.compile(pattern)

#可以获取字符串中所有匹配的字符串

urls = re.findall(m, content)

#遍历urls数组所有元素

for i, url in enumerate(urls):

#urllib.urlretrieve(url[, filename[, reporthook[, data]]])

#直接将远程数据下载到本地

urllib.urlretrieve(url, "%s.jpg" % (i, ))

content = getPage("http://tieba.baidu.com/p/2460150866")

downloadImg(content)

Python简单爬虫入门三

我们继续研究BeautifulSoup分类打印输出 Python简单爬虫入门一 Python简单爬虫入门二前两部主要讲述我们如何用BeautifulSoup怎去抓取网页信息以及获取相应的图片标题等信 ...

Python简单爬虫入门二

接着上一次爬虫我们继续研究BeautifulSoup Python简单爬虫入门一上一次我们爬虫我们已经成功的爬下了网页的源代码,那么这一次我们将继续来写怎么抓去具体想要的元素首先回顾以下我们Bea ...

GJM &colon; Python简单爬虫入门（二） [转载]

Python 简单爬虫案例

Python 简单爬虫案例 import requests url = "https://www.sogou.com/web" # 封装参数 wd = input('enter a ...

Python简单爬虫记录

为了避免自己忘了Python的爬虫相关知识和流程,下面简单的记录一下爬虫的基本要求和编程问题!! 简单了解了一下,爬虫的方法很多,我简单的使用了已经做好的库requests来获取网页信息和Beauti ...

Python简单爬虫

爬虫简介自动抓取互联网信息的程序从一个词条的URL访问到所有相关词条的URL,并提取出有价值的数据价值:互联网的数据为我所用简单爬虫架构实现爬虫,需要从以下几个方面考虑爬虫调度端:启动爬虫 ...

python简单爬虫一

简单的说,爬虫的意思就是根据url访问请求,然后对返回的数据进行提取,获取对自己有用的信息.然后我们可以将这些有用的信息保存到数据库或者保存到文件中.如果我们手工一个一个访问提取非常慢,所以我们需要编 ...

python 简单爬虫（beatifulsoup)

---恢复内容开始--- python爬虫学习从0开始第一次学习了python语法,迫不及待的来开始python的项目.首先接触了爬虫,是一个简单爬虫.个人感觉python非常简洁,相比起java或 ...

python 简单爬虫diy

简单爬虫直接diy, 复杂的用scrapy import urllib2 import re from bs4 import BeautifulSoap req = urllib2.Request(u ...

随机推荐

MySQL版本介绍

MySQL 的官网下载地址:http://www.mysql.com/downloads/ 在这个下载界面会有几个版本的选择. 1. MySQL Community Server 社区版本,开源免费, ...

centos7 安装mysql5&period;7&period;16

1 下载地址http://dev.mysql.com/downloads/mysql/#downloads 2. 解压 -linux-glibc2.-x86_64.tar.gz 3.移动解压出来的文件 ...

Linux 文件与目录

文件描述符在内核中,所有打开的文件都使用文件描述符(一个非负整数)标记.文件描述符的变化范围是0~OPEN_MAX – 1.早期的unix系统中,每个进程最多可以同时打开20个文件,就是说文件描述符 ...

JAVA数据结构-----枚举

枚举(Enumeration)接口虽然它本身不属于数据结构,但它在其他数据结构的范畴里应用很广. 枚举(The Enumeration)接口定义了一种从数据结构中取回连续元素的方式. 例如,枚举定义了 ...

10个可以直接拿来用的JQuery代码片段

jQuery里提供了许多创建交互式网站的方法,在开发Web项目时,开发人员应该好好利用jQuery代码,它们不仅能给网站带来各种动画.特效,还会提高网站的用户体验. 本文收集了10段非常实用的jQue ...

Ubuntu下配置smb服务器

一. samba的安装: sudo apt-get insall samba 二. 创建共享目录: mkdir /home/user/share sodu chmod 777 /home/user/s ...

Web测试与APP测试有哪些异同？

1.相同点不管是传统行业的web测试,还是新兴的手机APP测试,都离不开测试的基础知识,即是不管怎么变,测试的原理依然会融入在这两者当中. 1)设计测试用例时,依然都是依据边界值分析法.等价类划分等 ...

SpringBoot是什么，可以做什么？

SpringBoot简析 1.SpringBoot是什么? 在Spring框架这个大家族中,产生了很多衍生框架,比如 Spring.SpringMvc框架等,Spring的核心内容在于控制反转( ...

python全栈开发 &ast; 进程池,线程理论 ,threading模块 &ast; 180727

一.进程池 (同步异步返回值) 缺点: 开启进程慢几个CPU就能同时运行几个程序进程的个数不是无线开启的应用: 100个任务进程池如果必须用多个进程且是高计算型没有IO型的程序希望 ...

AtCoder Beginner Contest 045 C - たくさんの数式 / Many Formulas

Time limit : 2sec / Memory limit : 256MB Score : 300 points Problem Statement You are given a string ...