python爬虫入门实例1

最新推荐文章于 2024-06-21 08:56:27 发布

2Bangz

最新推荐文章于 2024-06-21 08:56:27 发布

阅读量92

点赞数

分类专栏： python 文章标签： python

本文链接：https://blog.csdn.net/weixin_44277130/article/details/105179546

版权

python 专栏收录该内容

25 篇文章 0 订阅

订阅专栏

urllib库
首先先引入头文件
import urllib.request
urllib.request会读取网页，是以文件的方式读取下来
在这里插入图片描述
decode(“utf-8”)
因为是文件所以要read（）读取下来

自动提取页面qq群

首先先分析页面群号
在这里插入图片描述
正则表达式要提取什么就加上一个括号（）括号里面就是你要提取的内容
完整代码：

import urllib.request
import re
data=urllib.request.urlopen("https://edu.csdn.net/huiyiCourse/detail/253").read().decode("utf-8")
pat="<p>(\d.*?)</p>"#括号代替要查找的
rst=re.compile(pat).findall(data)
print(rst)

在这里插入图片描述
取一下字节看看是否爬取成功
豆瓣出版社代码

import urllib.request
import re
data=urllib.request.urlopen("https://www.csdn.net/").read().decode("utf-8")
path='<div class="name">(.*?)</div>'
rst=re.compile(path).findall(data)
for i in range(0,len(rst)):
     print(rst[i])

urllib库urllib基础

导入模块 import urllib.request
#urlretrieve(网址，本地文件存储地址) 直接下载网页到本地

import urllib.request
urllib.request.urlretrieve("https://news.china.com/socialgd/10000169/20200331/38001794_all.html","E:/pachong/s/xinwen.html")

#urlcleanup()
清除一下缓存
#inf() 当前情况页面的响应信息响应报文
file=urllib.request.urlopen(“网页”)
print（file.info（））
#getcode（）
当前状态码
#geturl（）
当前访问哪个页面

超时设置

timeout 值
urlopen打开网页

import urllib.request
for i in range(0,100):
     try:
          file=urllib.request.urlopen("https://qd.58.com/",timeout=1)
          print(file.read().decode("utf-8"))
     except Exception as err:
          print("出现异常"+str(err))