python 爬虫基础笔记

于 2022-11-15 15:43:20 发布
阅读量324 收藏 2
点赞数
文章标签： 爬虫 python 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/undefineing/article/details/127867134
版权 
爬虫（spider），按照一定规则抓取万维网信息的程序或脚本

百度本质上也是爬虫，将各种信息爬取下来展示

爬虫目的：采集数据
爬虫分类：通用网络爬虫（检索引擎，百度，谷歌必须遵循robots协议），聚焦网络爬虫（针对某个站点或页面写程序爬），增量式子网络爬虫（一种方法），深层网络爬虫（暗网爬，防拦截）
**********
import urllib.request
url="https://www.sina.com.cn/"
response=urllib.request.urlopen(url)
data=response.read()
print(response)
print(data)
print(type(data))
*********
data是字节数据


fiddler 抓包
********
POST / HTTP/1.1      
Host: r3.o.lencr.org    ：网站
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:106.0) Gecko/20100101 Firefox/106.0 ： 请求头，用户代理对象
Accept: */*
Accept-Language: zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2
Accept-Encoding: gzip, deflate    ： 期望编码
Content-Type: application/ocsp-request    
Content-Length: 85
Connection: keep-alive
Pragma: no-cache
Cache-Control: no-cache

********

********
GET / HTTP/1.1
Accept-Encoding: identity #期望编码
Host: www.sina.com.cn
User-Agent: Python-urllib/3.7
Connection: close
*********

反反爬
1.请求头伪造
2.联系多次采集，不一次爬完，模拟人的行为time.sleep(random.randint(1,5))

3.IP地址代理（收费）

1请求头伪造
*******
import urllib.request
url="https://www.baidu.com/"
header={
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:106.0) Gecko/20100101 Firefox/106.0"
}
#创建请求头的对象那个
rep=urllib.request.Request(url=url,headers=header)
response=urllib.request.urlopen(rep)
data=response.read()
html=data.decode("utf-8")
with open("baidu2.html","w",encoding="utf-8") as f:
    f.write(html)
    print("爬取成功")
print(html)
*******
短时间访问过多也会被识别为爬虫

多伪造几个请求头对象，随机使用爬取，避免被反爬

*********
import urllib.request
import random
url="http://www.baidu.com/"
us=[
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:106.0) Gecko/20100101 Firefox/106.0",
    "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
    "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0",
    "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11"
]
header={
    "User-Agent": random.choice(us)
}
#创建请求头的对象那个
rep=urllib.request.Request(url=url,headers=header)
response=urllib.request.urlopen(rep)
data=response.read()
html=data.decode("utf-8")
with open("baidu3.html","w",encoding="utf-8") as f:
    f.write(html)
    print("爬取成功")
print(html)
***********

******
from urllib import request
import random
us=[
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:106.0) Gecko/20100101 Firefox/106.0",
    "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
    "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0",
    "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11"
]
headers = {
    "User-Agent":random.choice(us)
}
url = "https://www.qq.com/"
rep = request.Request(url=url,headers=headers)
response=request.urlopen(rep)
data=response.read()
html=data.decode("gb2312",errors="ignore")
print(html)
with open("qq2.html","w",encoding="gb2312") as f:
    f.write(html)
    print("爬取成功")
******
转换字符后乱码
推荐先转换二进制数据，再转换字符串

或者：
先安装chardet库
*********
from urllib import request
import random
import chardet
us=[
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:106.0) Gecko/20100101 Firefox/106.0",
    "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
    "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0",
    "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11"
]
headers = {
    "User-Agent":random.choice(us)
}
url = "https://www.qq.com/"
rep = request.Request(url=url,headers=headers)
response=request.urlopen(rep)
data=response.read()

#先判断默认编码是什么
#返回的是一个字典
res = chardet.detect(data)
# print(res)
charset=res.get("encoding")
print(res)
print(charset)
html=data.decode(charset,errors="ignore")
print(html)
with open("qq2.html","w",encoding=charset) as f:
    f.write(html)
    print("爬取成功")
********

*******
from urllib import request
import random
import chardet
us=[
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:106.0) Gecko/20100101 Firefox/106.0",
    "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
    "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0",
    "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11"
]
headers = {
    "User-Agent":random.choice(us)
}
url = "https://www.qq.com/"
rep = request.Request(url=url,headers=headers)
response=request.urlopen(rep)
data=response.read()

#先判断默认编码是什么
#返回的是一个字典
res = chardet.detect(data)
# print(res)
charset=res.get("encoding")
print(res)
print(charset)
html=data.decode(charset)
print(html)
with open("qq2.html","w",encoding=charset) as f:
    f.write(html)
    print("爬取成功")

********

get和post请求

get用于向服务器获取数据
*******
from urllib import request
from urllib import parse
import random
us=[
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:106.0) Gecko/20100101 Firefox/106.0",
    "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
    "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0",
    "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11"
]
headers = {
    "User-Agent":random.choice(us)
}
url="https://www.baidu.com/s?"
wd =input("请输入你想要查询的内容:")
params = {
    "wd":wd
}
ps = parse.urlencode(params)
print(ps)
url=url+ps
print(url)
rep=request.Request(url=url,headers=headers)
resp=request.urlopen(rep)
data=resp.read()
print(data)
with open("get2.html","wb") as f:
    f.write(data)
    print("success")
*******

post请求

找到有道翻译translate请求
有效载荷
****
{
	"i": "管理",
	"from": "AUTO",
	"to": "AUTO",
	"smartresult": "dict",
	"client": "fanyideskweb",
	"salt": "16684393659218",
	"sign": "7493112ec630b4fac9021bad4fda90b7",
	"lts": "1668439365921",
	"bv": "e2a78ed30c66e16a857c5b6486a1d326",
	"doctype": "json",
	"version": "2.1",
	"keyfrom": "fanyi.web",
	"action": "FY_BY_REALTlME"
}
*****

*****
from urllib import request
import urllib
url="https://fanyi.youdao.com/translate?"
header={
    "User-Agent" : "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:106.0) Gecko/20100101 Firefox/106.0"
}
word = input("请输入你需要翻译的词条: ")
from_data={
	"i": word,
	"from": "AUTO",
	"to": "AUTO",
	"smartresult": "dict",
	"client": "fanyideskweb",
	"salt": "16684393659218",
	"sign": "7493112ec630b4fac9021bad4fda90b7",
	"lts": "1668439365921",
	"bv": "e2a78ed30c66e16a857c5b6486a1d326",
	"doctype": "json",
	"version": "2.1",
	"keyfrom": "fanyi.web",
	"action": "FY_BY_REALTlME"
}
data=urllib.parse.urlencode(from_data)
#将str转换byte0

data = data.encode("utf-8")
req=request.Request(url=url,data=data,headers=header)
response=request.urlopen(req)
html=response.read().decode(encoding="utf-8").strip()
print(html)

请输入你需要翻译的词条: 第三发
{"type":"ZH_CN2EN","errorCode":0,"elapsedTime":5,"translateResult":[[{"src":"第三发","tgt":"A third"}]]}
******


requests库
底层是封装了urllib 库

自己试试里面方法
按住ctrl 点方法 查看

*****

*****

******
import  re
images=re.findall(r"src=\"(.*?jpg|png|gif|jepg)\"",html)
for index,item in enumerate(images):
	if not item.startswith("http"):
		real_url = "http" + item
	else
		real_url=item
	resp = requests.get(real_url)
	with open("image/"+str(index)+".jpg","wb") as f
	f.write(resp.content)
******

post请求
request.past()

请求头库
fake_useragent

from fake_ueragent import UserAgent
ua=UserAgent()
print(ua)
*****
from fake_useragent import UserAgent
ua=UserAgent()
print(ua)
print(ua.ie)
print(ua.chrome)

Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)
Mozilla/5.0 (X11; Ubuntu; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2919.83 Safari/537.36

******

随机请求头
******
from fake_useragent import UserAgent
ua=UserAgent()
print(ua.random)
******

post请求
******
from fake_useragent import UserAgent
import requests
url="https://fanyi.youdao.com/translate?"
header={
    "User-Agent" : UserAgent().random
}
word = input("请输入你需要翻译的词条: ")
from_data={
	"i": word,
	"from": "AUTO",
	"to": "AUTO",
	"smartresult": "dict",
	"client": "fanyideskweb",
	"salt": "16684393659218",
	"sign": "7493112ec630b4fac9021bad4fda90b7",
	"lts": "1668439365921",
	"bv": "e2a78ed30c66e16a857c5b6486a1d326",
	"doctype": "json",
	"version": "2.1",
	"keyfrom": "fanyi.web",
	"action": "FY_BY_REALTlME"
}
response = requests.post(url=url,data=from_data,headers=header)
print(response.text)
print(type(response.text))
print(response.next)
******

post data参数
如果加密则需要在js文件中寻找模拟

xpath
一般使用爬虫爬取数据后，需要筛选数据，使用正则，解析数据的方法xpath
xpath是xmlpath缩写，xml是路径语言

xml---可扩展标记语言

html----超文本标记语言

xpath使用规则:
nodename --- 选取该节点所有子节点
/  根节点
// 从当前节点选取子孙节点
. 选取当前节点
.. 父接单
@ 选取属性
xpath是独立操作xml语言的，任何语言中都可以使用
如果要使用xpath,需要lxml库

链接数据库
pip install mysql-connector-python   --allow-external mysql-connector-python

pip install mysql-connector python -m pip insatll -U pip mysql-connector

import mysql.connector

*****
from mysql import connector as co
conn=co.connect(user='root',password='root',database='test')
cursor=conn.cursor()
cursor.execute('create table user (id varchar(20) primary key,name varchar(20))')
cursor.execute('insert into user (id,name) values (%s,%s)',['1','Michael'])
cursor.rowcount
>1
#提交事务
cursor.commit()
cursor.close()
#获得数据库
cursor.execute('select * from user where id = %s',('1',))
values=cursor.fetchall
values
>[('1','michel)]
#关闭cursor和connection
cursor.close()
conn.close()
*****

pychram 使用数据库
pymysql ---python

****
import pymysql
pymysql.connect(
    host="localhost",
    user="root",
    password="root"
    db="test"
    charset="utf8"
    port=3306
)
#创建游标
cursor = conn.sursor()
cursor.close()
conn.close()
****
undefineing
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
python 爬虫学习笔记
03-09
python 爬虫学习笔记
Python爬虫笔记(一):爬虫基本入门
weixin_34319111的博客
10-02 149
最近在做一个项目，这个项目需要使用网络爬虫从特定网站上爬取数据，于是乎，我打算写一个爬虫系列的文章，与大家分享如何编写一个爬虫。这是这个项目的第一篇文章，这次就简单介绍一下Python爬虫，后面根据项目进展会持续更新。   一、何谓网络爬虫   网络爬虫的概念其实不难理解，大家可以将互联网理解为一张巨大无比的网（渔网吧），而网络爬虫就像一只蜘蛛（爬虫的英文叫spider，蜘蛛的意思，个人认...
Python爬虫 小白入门笔记汇总
weixin_55154866的博客
11-07 377
**这篇是纯干货分享，对python感兴趣的可以认真看起来！** 小白想要入门Python爬虫，首先得了解爬虫的基本工作原理和相关的理论基础，爬虫简介部分就不细说了，都可以百度得到。 **爬虫工作原理总结来讲就是四部曲：** **发送请求-获取页面-解析页面-保存内容**
python爬虫基础（个人笔记）
wahgy的博客
03-13 4219
1.urllib2库的基本使用 import urllib2 #获取网页 调用的是 urllib2 库里面的 urlopen 方法，传入一个 URL，这个网址是百度首页 #urlopen一般接受三个参数，urlopen(url, data, timeout) #url 即为网址，data 是访问时要传送的数据，timeout设置超时时间 # data，timeout是可以不写的，data 默认为 None，timeout 默认为 socket response = urllib2.urlopen(.
【最全笔记】基础Python爬虫入门，看完包你会写爬虫
没有人的博客
02-29 899
第一章 网络爬虫之规则 一、Requests库入门 request库:http://www.python-requests.org 安装方法：pip install requests 抓取百度 import requests r=requests.get("http://www.baidu.com") r.status_code r.encoding='utf-8' r.text re...
爬虫111
weixin_45898374的博客
04-17 217
1.概念理解 1.爬虫是通过代码、模拟浏览器上网 然后抓取数据的过程 数据解析 2.爬虫是否合法 (1)法律允许 (2)有法律风险的 3.统一规定 【法律界限】 robots.txt协议 4.爬虫的分类： (1)获取一整张页面 【通用爬虫】 (2)获取一整张页面 部分数据 【聚焦爬虫】 (3)检查页面更新、获取页面最新的更新的数据 【增量式爬虫】 5.爬虫的规则： (1)反爬策略：门户网站 通过 技术手段 防止爬虫程序对页面爬取数据 (2)反 反爬策略:爬虫程序 通过 技术手段 对页面爬取数据 6.http
python爬虫学习笔记.zip
最新发布
01-01
按部就班地学习：建议从基础的Python爬虫开发开始，逐步深入到实际应用中。通过实践，逐步掌握Python爬虫开发的各项技能。 参考项目文件和笔记：项目文件和笔记提供了丰富的背景信息和开发经验。在学习的过程中，...
Python爬虫解析笔记.md
08-27
本篇内容主要介绍了Python网络爬虫的相关知识,包括错误处理与异常捕获、会话管理、网页内容爬取等方面。文中给出了使用try-except结构处理网络错误、利用Session对象保持会话连续性的示例代码,以及通过Requests库和...
python爬虫学习笔记-scrapy框架(1)
01-29
python爬虫学习笔记-scrapy框架(1) python scrapy 爬虫 python爬虫学习笔记-scrapy框架(1) python scrapy 爬虫 python爬虫学习笔记-scrapy框架(1) python scrapy 爬虫 python爬虫学习笔记-scrapy框架(1) python ...
Python爬虫入门笔记
liux5520的博客
12-10 130
Python爬虫入门笔记 读取文件匹配格式并写入文件 import re data=open("f:/source.txt","r").read() pat="<div class=\"name\">(.*?)</div>" res=re.compile(pat).findall(data) fh=open("f:/newtxt.txt","w") for i in res...
python爬虫入门学习笔记
Evol_ve的博客
03-21 306
python爬虫入门学习笔记在B站学习python爬某瓣top250的入门笔记最终代码 在B站学习python爬某瓣top250的入门笔记 2021-03-21 从B站学习了爬虫的基础知识 并记录.本次学习爬虫用到3个包 分别是:urllib, bs4和sqlite3 urllib 用来执行对网页的请求并获取响应信息 # GET 请求 html = urllib.request.urlopen("http://www.baidu.com") print(html.read().decode("utf-8
Python爬虫入门笔记（必学、必用、必看）
weixin_49345590的博客
11-30 268
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理 以下文章来源于搜狗网 作者：python联盟 ( 想要学习Python？Python学习交流群：1039649593，满足你的需求，资料都已经上传群文件流，可以自行下载！还有海量最新2020python学习资料。 ) 代码： import urllib.request,urllib.error #指定URL,获取页面数据 #爬取指定url def askUrl(url): #请求头
Python网络爬虫学习笔记（一）
蜉蝣于天地
11-18 398
环境配置、资料罗列
爬虫笔记
To be a better man
12-04 206
import os “”" 有一个文件 UTF-8 的文本格式的文件，大小都 为 100G，计算 UTF-8 编码格式文件中的字符个数，计算机内存为 128 M “”" char_nums = 0 with open(’./test’, ‘r’, encoding=‘utf8’) as f: while True: ret = f.read(1024) # 这值可以再优化 psutil os sy...
路飞学城python爬虫笔记
07-25
关于路飞学城的Python爬虫笔记，我不确定具体指的是哪一份笔记。路飞学城是一个在线教育平台，提供了许多课程和学习材料。如果您想了解关于Python爬虫的学习资料，我可以给您一些常见的资源： 1. 官方文档：Python...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值