python爬虫基础-urllib爬京东首页和糗百

最新推荐文章于 2024-09-27 10:11:28 发布

圆滚滚的程序员

最新推荐文章于 2024-09-27 10:11:28 发布

阅读量237

点赞数

文章标签： python

本文链接：https://blog.csdn.net/qq_39483957/article/details/104578915

版权

linux+pycharm+anaconda
好久没写过爬虫,忘得差不多

import re
import urllib
import urllib.request
data=urllib.request.urlopen("http://www.jd.com").read().decode('utf-8','ignore')

pat="<title>(.*?)</title>"
title=re.compile(pat,re.S).findall(data)
print(title)
#参数网址路径
urllib.request.urlretrieve("http://www.jd.com",filename="/home/liu/project/Art_int/art_day1_1223/京东.html")

#伪装浏览器
import re
import urllib
import urllib.request
url="http://www.yicommunity.com/"
header=(
'User-Agent'," Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36"
)
#创建opener对象
opener=urllib.request.build_opener()
#传入header
opener.addheaders=[header]
#安装为全局
urllib.request.install_opener(opener)
#爬数段子
data=urllib.request.urlopen(url).read().decode('utf-8','ignore')
text='''<div class="content".*?>(.*?)</div>'''
text_data=re.compile(text,re.S).findall(data)
print(text_data)