python3简单爬虫,访问百度

前几天把python基础看完,自己动手做了个小练习,写下这篇博客留作纪念。以下代码简单写了三种方式去访问百度界面并且拿到页面的数据(源码),由于页面数据太多,所以只打出了页面的长度。

# python3中用urllib.request表示python2中的urllib2
import urllib.request as urllib2
# python3中用http.cookiejar表示python2中的cookielib
import http.cookiejar as cookielib

print ("第一种方式")
# 需要访问的url
url="https://www.baidu.com"
response=urllib2.urlopen(url)
# 返回一个数值结果,200表示正常
print (response.getcode())
# print(response.read().decode('utf-8'))    打印整个页面
# 打出页面的长度
print (len(response.read()))


print('第二种方式')
#伪装成浏览器对页面进行访问
request=urllib2.Request(url)
request.add_header("user-agent","Mozilla/5.0 (Windows NT 6.1; WOW64; rv:53.0) Gecko/20100101 Firefox/53.0")
response1=urllib2.urlopen(request)
print (response1.getcode())
print (len(response1.read()))


print ("第三种方式")
#针对需要登录的网页
cj=cookielib.CookieJar()
opener=urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
urllib2.install_opener(opener)
response3=urllib2.urlopen(url)
print (response3.getcode())
print (len(response3.read()))

 如有疑问,欢迎提问,本人定当竭尽所能为您解答
  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
您好!关于百度文库的爬虫,我可以为您提供一些基本的思路和步骤。请注意,爬取网站内容需要遵守相关法律法规和网站的使用条款,确保合法使用。 首先,您需要安装Python的相关库,如requests、BeautifulSoup等。您可以使用以下命令安装它们: ``` pip install requests pip install beautifulsoup4 ``` 接下来,您可以使用requests库发送HTTP请求,获取百度文库的页面内容。可以使用以下代码片段作为示例: ```python import requests url = 'https://wenku.baidu.com/...' response = requests.get(url) content = response.text ``` 注意,`url`变量需要替换为您要爬取的具体文档的URL。 获取页面内容后,您可以使用BeautifulSoup库来解析HTML,并提取您想要的信息。例如,如果您想要获取文档中的标题和正文内容,可以使用以下代码: ```python from bs4 import BeautifulSoup soup = BeautifulSoup(content, 'html.parser') title = soup.find('h1').text content = soup.find('div', class_='doc-reader').text ``` 请注意,上述代码假设文档的标题是`h1`标签,并且正文内容位于类名为`doc-reader`的`div`标签内。您需要根据实际情况做相应的调整。 最后,您可以将提取到的信息保存到文件中或进行进一步处理,具体取决于您的需求。 需要注意的是,爬取网站内容可能涉及到反爬虫机制,为了防止被封禁或限制访问,您可以考虑合理设置请求头、使用代理IP等方式进行反反爬虫处理。 希望以上信息对您有所帮助!如果您有任何问题,请随时提问。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

white_poland

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值