day19爬虫day01

day19爬虫01

一.Spider_01
# 一、数据分析、数据挖掘
# 先分析、再挖掘 --> 前提:有数据。
# 二、数据来源:
"""
1.数据库。
2.爬虫。
3.其他平台(API)。
"""

# Spider:蜘蛛。--> 爬虫:可以在互联网的任意位置获取数据。

# 爬虫概念:
"""
爬虫,别名(网页蜘蛛、蠕虫),学名:网络数据采集。
根据程序员的自定义规则(想法)在互联网中自动的爬取数据(图片、音频、视频、文字等都叫做数据)。
"""

# 爬虫学习流程
"""
1.爬虫对谁做操作?
表面:爬虫对网页做操作。
深层次:爬虫对服务器做操作。

2.对网页操作
我们需要有HTML、CSS、JavaScript的知识,需要理解某个页面的结构。
浏览器页面F12或者FN + F12或者右键检查或者浏览器设置都可以打开开发人员工具。
网页还分为静态页面和动态页面。

3.使用三方模块:requests向目标网站的服务器发起请求,服务器根据请求返回响应结果response(对象),
对response响应结果处理完得到的是字符串(HTML页面源代码)。

4.从页面源代码中得到所需内容。
方法一:正则表达式匹配。
方法二:三方模块Beautifulsoup4对页面源码进行解析,解析完使用CSS选择器拿到所需内容。
方法三:使用三方模块lxml对页面源码解析,使用XPath语法拿到所需内容。
方法四:三方模块Selenium访问页面,拿到页面内容,可以同时结合CSS选择器或者XPath语句拿到所需内容。

5.数据持久化
将RAM中的结果存储到磁盘或者数据库中。

6.写爬虫会遇到各种反爬机制,使用指定的反反爬措施破解。
a.将爬虫伪装浏览器。
b.封禁IP地址的网站一般使用代理IP:站大爷、芝麻代理、极光代理等。
c.文字反扒。
d.AJAX异步加载。
等。。。。

7.rpa(机器人流程自动化):八爪鱼、影刀等。使用拖拉拽(实现了某些功能的模块)的形式实现流程自动化(爬虫等)。
"""
二.Spider_02
# 一:静态页面和动态页面区分。
"""
1.静态页面:
网页一旦生成,里面的内容不会自动的发生变化。
页面中包含:html(展示页面内容)、css样式(渲染html)、javascript(渲染html)

2.动态页面:
网页生成后,页面内容还会自动发生变化。页面内容和数据库进行联通,数据库中变,页面就变。
一般动态页面都会应用AJXA异步加载。
"""

# 二、HTTP和HTTPS
"""
1.HTTP协议(超文本传输协议),Web服务器和客户端之间进行数据传输都是明文形式。

2.网景公司-->谋智-->火狐浏览器。网景公司根据HTTP协议做了改进-->HTTPS。
https = http + ssl。
SSL加密协议-->将Web服务器和客户端的数据进行加密。
"""

# 三、cookie
"""
1.作用:将用户的账号密码使用某些形式保存在本地。
2.性质:有时效性。
3.在爬虫中cookie作用:将本地的请求和远程的服务器中保存的账号密码做对比。
"""

# 四、GET和POST:两种不同的和服务器对话方式。
"""
1.GET:requests利用GET请求方式向服务器发送需求(加密机制很简单甚至不加密)。
2.POST:向服务器发送内容,例如账号密码(某个网站注册登录账号密码)
三.模块安装
# 一、requests的作用:
# Python实现的简单易用的能够请求网页的三方模块

# 二、安装三方模块准备
"""
如果Terminal中显示的ps,安装三方模块会直接安装到本机主环境。
使用venv\Scripts\activate激活虚拟环境。

Set-ExecutionPolicy -ExecutionPolicy RemoteSigned -Scope CurrentUser
修改微软的powershell策略组。
"""

# 三、修改镜像源
# 镜像源:存储python三方模块的仓库,python的三方模块所有人都可以制作发布
# pip config set global.index-url https://pypi.douban.com/simple

# requests模块安装
"""
Windwos:
pip install requests
Mac、linux:
pip3 install requests
"""
# 导入requests模块
import requests
四.requests的使用
# requests:python实现的简单易用的网址请求模块。
import requests

# 1.请求网址
URL = 'http://www.baidu.com/'
# 请求百度服务器+获取百度服务器响应结果
resp = requests.get(url=URL)
# print(resp)
# 2.查看状态码:告诉我们现在服务器的状态:status_code
# 200:爬虫可用
# 403:爬虫被服务器拒绝了
# 404:资源丢失
# 500:服务器崩溃
print(resp.status_code)
# 3.查看cookie
print(resp.cookies)
# 4.如果页面源码发生了乱码,怎么办?
# 响应结果使用的编码方式默认是ISO-8859-1,它不支持中文。
resp.encoding = 'utf-8'
# 5.查看页面的源代码(字符串形式)
print(resp.text)
# 6.查看页面的源代码(二进制形式)--> 图片、音频、视频等
# b'xxxxxxx' --> 二进制
# print(resp.content)
五.爬虫伪装
import requests

URL = 'https://www.baidu.com/'
# 伪装爬虫
# User-Agent作用:将爬虫伪装成浏览器
Headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.54 Safari/537.36'
}

resp = requests.get(url=URL, headers=Headers)
if resp.status_code == 200:
    resp.encoding = 'utf-8'
    print(resp.text)
else:
    print(resp.status_code)
六.requests请求王者荣耀
import requests

URL = 'https://pvp.qq.com/web201605/herolist.shtml'
Headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.54 Safari/537.36'
}
resp = requests.get(url=URL, headers=Headers)
if resp.status_code == 200:
    resp.encoding = 'gbk'
    print(resp.text)
else:
    print(resp.status_code)


# ------------------------------------
def requests_url(href):
    Headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.54 Safari/537.36'
    }
    resp = requests.get(url=href, headers=Headers)
    if resp.status_code == 200:
        return resp
    else:
        return resp.status_code


URL = 'https://pvp.qq.com/web201605/herolist.shtml'
result1 = requests_url(URL)
result1.encoding = 'gbk'
print(result1.text)
七.天行数据
import requests
import json

# api接口中的数据是使用json进行传输的
content = input('请输入一个垃圾:')
# api接口请求地址和参数之间使用?连接,参数以key=value的形式传入,参数和参数之间使用&连接
URL = f'http://api.tianapi.com/lajifenlei/index?key=70fc43dfda9dc06c4da4aa6dcac916d3&word={content}'
# 大部分API接口没有反爬机制。
resp = requests.get(url=URL)
print(resp.text, type(resp.text))
# 序列化:loads()
data = json.loads(resp.text)
print(data, type(data))

# 获取json数据中有用信息
for i in data['newslist']:
    print(i['explain'])
八.图片读取与下载
# 图片读取
with open('1.jpg', 'rb') as f1:
    result = f1.read()
    # print(result)

# 模拟图片下载(图片二进制写入本地文件)
with open('2.jpg', 'wb') as f2:
    f2.write(result)

# 如何下载在线图片、音频、视频?
import requests

# 百度图片链接
URL = 'https://www.baidu.com/img/PCtm_d9c8750bed0b3c7d089fa7d55720d6cf.png'
resp = requests.get(url=URL)
print(resp.content)
with open('baidu.png','wb') as f3:
    f3.write(resp.content)
作业
import requests
import json
for x in range(20):
    URL = 'https://api.ixiaowai.cn/api/api.php?return=json'
    resp = requests.get(url=URL)
    resp.encoding = 'utf-8-sig'
    result = json.loads(resp.text)
    URL = result['imgurl']
    resp = requests.get(url=URL)
    with open(f'{x}.jpg', 'wb') as f:
        f.write(resp.content)
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值