1 - 第一个爬虫程序

robots协议:网站通过robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取,通用网络爬虫需要遵守robots协议(君子协议)
https://www.taobao.com/robots.txt

一. urlopen(url, 超时时间)

作用: 向网站发起请求,并获取响应内容

1. 第一个爬虫程序
'''向百度发送请求,得到响应内容'''
# from urllib import request

import urllib.request

# urlopen() :向url发请求,返回响应对象
# 地址后的 / ,必须写
# res为对象
res = urllib.request.urlopen('http://www.baidu.com/')

# 提取响应内容
# 1. html为字符串(特别长)
tes = res.read() # bytes类型
html = res.read().decode()  # string
url = res.geturl()  # 返回实际数据的url地址
code = res.getcode()  # 返回http响应码

# 打印响应内容
print(html)

2. 重构User-Agent

问题: 使用python爬虫的User-Agent会显示python信息,这样是不行的

我们需要重构User-Agent,发请求时带着User-Agent过去,但是 urlopen()方法不支持重构User-Agent

二. Request( url, 请求头)

请求头: 爬虫和反爬斗争的第一步

作用: 创建请求对象(包装请求,重构User-Agent,使程序更像正常人类请求)

User-Agent: 百度搜索(常见User-Agent大全,搜索真实的User-Agent)

1. 包装请求头 
from urllib import request

# 定义常用变量
url = "http://httpbin.org/get"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36 OPR/26.0.1656.60"}

# 1. 创建请求对象(重构User-Agent) -并未真正发送请求
req = request.Request(url=url, headers=headers)
# 2.urlopen() :发送请求获取响应对象
res = request.urlopen(req)
# 3. 提取响应内容
html = res.read().decode()  # string

print(html)

三. URL地址编码模块

作用: 给URL地址中查询参数进行编码

编码前: https://www.baidu.com/s?wd=美女

编码后: https://www.baidu.com/s?wd=%E7%BE%8E%E5%A5%B3

两种语法:  

        urllib.parse.urlencode( {dict} )

         urllib.parse.quote(string)编码

1. url 拼接参数的方法

    ①. 字符串相加

baseurl = 'http://www.baidu.com/s?'
params = 'wd=%E7XXXXX&pn=20'
url = baseurl + params

  ②. 字符串格式化(占位符)

params = 'wd=%E7XXXXX&pn=20'
url = 'http://www.baidu.com/s?%s' %params

  ③. format()方法

url = 'http://www.baidu.com/s?{}'
params = 'wd=%E7XXXXX&pn=20'
url = url.format(params)
2. urlencode()编码
from urllib import request  # 请求模块
from urllib import parse  # 编码模块


# 1. 拼接URL地址函数
def get_url(word):
    baseurl = "http://www.baidu.com/s?"
    # 编码+拼接
    params = parse.urlencode({'wd': word})
    url = baseurl + params
    return url


# 2. 请求+保存
def write_html(url, word):
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36 OPR/26.0.1656.60"}

    # 拿到响应内容
    req = request.Request(url=url, headers=headers) # 添加请求头
    res = request.urlopen(req) # 发送请求,获取响应
    html = res.read().decode()  # 读取响应

    # 保存到本地
    filename = word + '.html'
    with open(filename, 'w', encoding='utf-8') as f:
        f.write(html)


# 主程序入口
if __name__ == '__main__':
    word = input('请输入要搜索的内容:')
    url = get_url(word)
    write_html(url, word)
3. quote()编码
# 只需要修改两句即可
baseurl = "http://www.baidu.com/s?wd="
# 编码+拼接
params = parse.quote(word)

四. 总结

1. urllib.request
# 1. 添加请求头
req = request.Request(url=url,headers=headers)
# 2. 发送请求,获取响应
res = request.urlopen(req)
# 3. 读取响应内容
html = res.read().decode()
2. 响应对象res方法
res.read() # bytes
res.geturl() # url
res.getcode() # 响应码
3. urllib.parse
# 1. 编码
parse.urlencode( {} )
parse.quote('')
# 2. 解码
parse.unquote('')

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 使用 Python 编写爬虫程序需要以下几步: 1. 导入必要的库。你可以使用 `requests` 库来发送 HTTP 请求,使用 `BeautifulSoup` 库来解析 HTML/XML 文档。 2. 构建爬取的 URL。你可以使用 Python 的字符串操作来构建你要爬取的 URL。 3. 发送 HTTP 请求。使用 `requests` 库的 `get` 方法来发送 HTTP GET 请求。 4. 解析响应。将响应内容解析为 HTML/XML 文档,并使用 `BeautifulSoup` 库来提取所需的数据。 5. 保存数据。你可以使用 Python 的文件操作来保存你提取的数据。 以下是一个简单的爬虫程序的示例代码: ``` import requests from bs4 import BeautifulSoup # 构建爬取的 URL url = "https://www.example.com" # 发送 HTTP GET 请求 response = requests.get(url) # 解析响应内容 soup = BeautifulSoup(response.text, "html.parser") # 提取数据 title = soup.find("title").string # 保存数据 with open("title.txt", "w") as f: f.write(title) ``` 这个示例爬虫程序发送了一个 HTTP GET 请求到给定的 URL,并使用 BeautifulSoup 解析响应内容,最后提取网页的标题并保存到文件中。 注意:在实际应用中,你应该注意网站的爬取规则,并尽量避免给服务器造成过大的负 ### 回答2: 使用Python编写一个爬虫程序可以通过第三方库如BeautifulSoup、Scrapy等来实现。以下是一个简单的爬虫程序的编写步骤: 1. 导入所需的库:在Python中,我们需要导入一些库来实现网络爬虫,如requests库、BeautifulSoup库等。可以使用以下命令导入这些库: ```python import requests from bs4 import BeautifulSoup ``` 2. 发送HTTP请求并获取页面内容:使用requests库发送GET请求获取需要爬取的页面内容,可以使用以下代码获取页面内容: ```python url = "http://example.com" # 设定目标URL response = requests.get(url) # 发送GET请求 html_content = response.text # 获取页面内容 ``` 3. 解析页面内容:使用BeautifulSoup库对获取的页面内容进行解析,以便提取我们需要的数据。可以使用以下代码进行解析: ```python soup = BeautifulSoup(html_content, "html.parser") # 解析页面内容 ``` 4. 提取数据:通过分析页面结构,使用BeautifulSoup提供的方法,可以提取出目标数据。例如,如果我们想提取页面中的所有超链接,可以使用以下代码: ```python links = soup.find_all("a") # 获取所有超链接 for link in links: print(link.get("href")) # 输出超链接的地址 ``` 5. 保存数据:将提取的数据保存到本地文件或者数据库中,可以使用Python提供的文件操作方法或者第三方库来实现数据保存。 以上是一个简单的爬虫程序的编写步骤,根据实际需求可以进行更加复杂的操作,如处理登录、翻页、异步加载等问题。编写完爬虫程序后,可以运行程序来获取所需的数据。 ### 回答3: 爬虫程序是一种自动化获取互联网上信息的技术,使用Python编写爬虫程序是非常常见和方便的选择。下面是一个使用Python编写的简单爬虫程序的示例: 首先,我们需要安装Python的一个常用爬虫库——BeautifulSoup和一个用于发送HTTP请求的库——Requests。可以通过以下命令进行安装: ``` pip install beautifulsoup4 pip install requests ``` 接下来,我们就可以开始编写爬虫程序了。假设我们要爬取某个网站上的新闻标题和链接,可以按照以下步骤进行: 1. 导入所需库: ```python import requests from bs4 import BeautifulSoup ``` 2. 发送HTTP请求获取网页内容: ```python url = 'https://example.com' # 替换成你要爬取的网站链接 response = requests.get(url) ``` 3. 解析网页内容: ```python soup = BeautifulSoup(response.text, 'html.parser') ``` 4. 提取需要的信息: ```python news_titles = soup.find_all('a', class_='news-title') # 替换成你要提取的标签和属性 for news in news_titles: title = news.text link = news['href'] print('标题:' + title) print('链接:' + link) ``` 以上就是一个简单的使用Python编写的爬虫程序示例。根据不同的网站结构和需求,你可以进一步添加和调整代码来完成更复杂的爬取任务。但是在编写爬虫程序时,请务必遵守网站的爬虫协议和法律法规,以确保合法使用并尊重其他网站的权益。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值