Python开发简单爬虫速成教程（MongoDB Navicat、requests模块、XPath基础和lxml模块、实战当当网5星图书排行榜数据抓取+数据存储到MongoDB数据库）

最新推荐文章于 2023-05-25 18:09:36 发布
最新推荐文章于 2023-05-25 18:09:36 发布
阅读量4.6k 收藏 16
点赞数 5
文章标签： python 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weiguang2020/article/details/119066318
版权

Python开发简单爬虫速成教程

b站学习视频网址

https://www.bilibili.com/video/BV1164y1m7Xb?p=1

一、简介

按照一定的规则，自动抓取网络信息的程序或者脚本，搜索引擎的重要组成。

  • 搜索引擎

  • 数据分析

  • 人工智能

  • 薅羊毛、抢车票

爬虫产品：

神箭手、八爪鱼、造数、后羿采集器

数据储备：

  • python编程基础
  • http
  • 数据库

怎么学：

  • python语法知识

  • python爬虫常用到的几个重要内置库Requests，用于请求网页

  • 学习正则表达式re、Xpath（IxmI）等网页解析工具

  • 开始一些简单的网站爬取，了解爬取数据的过程（当当网图书数据）

  • 与数据库结合，将爬取数据进行存储

安装MongoDB数据库

  • 介于关系型数据库和非关系型数据库之间的产品
  • 本质是非关系型数据库，最像关系数据库
  • 支持的数据结构非常松散，类似json的bson格式
  • 可以存储比较复杂的数据

非关系模型：

  • 列模型，一列为一个记录，分布式数据库，HBase
  • 键值对，redis
  • 文档类，类似键值对，Mongodb

效率非常高，存储在内存中，断电即失，现在也可存储到磁盘中

检查安装是否成功：

image-20210724091237530

修改设置：

/bin/mongod.cfg

image-20210724091652305

右击我的电脑，管理，服务和应用程序，服务，找到MongoDB，点击重新启动。同一个局域网的机器可以连接。

安装Navicat：支持多种数据库的连接

安装教程：Navicat安装教程

使用教程：在 Navicat for MongoDB 使用文档

使用Navicat，进行MongoDB数据库的连接：

注意主机和端口号的设置

二、request模块入门

requests库：

通过Requests库发送http请求：

image-20210724101305407

Requests模块的安装：

cmd直接安装：pip install requests

Requests模块支持的http方法：

  • Get方法：请求资源

  • Post方法：向服务端发送信息和数据，表单提交

  • Head方法：请求资源的一些信息而不是全部信息，用于确认URL的有效性以及资源更新的日期时间

  • Put方法：上传文档

  • Connection方法：客户端想要确定一个明确的连接到远程主机，便于通过Http代理服务器进行SSL加密通信时连接使用，在抓包时使用

【重点】通过requests模块发送get请求

import requests
r=requests.get('http://httpbin.org/ip') #会返回当前主机的一个外网地址
# r1=requests.get('https://www.imooc.com') 
print(r.text) # 输出请求体

cmd查看内网ip：ipconfig

百度查看ip地址：ip地址

【重点】通过requests模块发送post请求

一般出现在html的form表单里面

import requests

r2=requests.post(url='http://httpbin.org/post',data={'name':'imooc'})
print(r2.text)

通过requests模块的get请求构造url

主要用在get请求里面

image-20210724110613219

data={"key1":"value1","key2":"value2"}
response=requests.get("http://httpbin.org/get",params=data)
# 查看当前请求的url
print(response.url)

查看响应的返回头和返回体

# 查看响应的返回头
print(response.headers)
# 查看响应的返回体
print(response.text)

返回头：

image-20210724140012986

【重点】请求图片

url='https://www.imooc.com/static/img/index/logo2020.png'
r1=requests.get(url)
# 访问图片返回的是二进制数据，需要用content查看输出
print(r1.content) 

#写入图片数据
with open("imooc.png","wb") as f:
    f.write(r1.content)

图片二进制数据：

image-20210724140620310

写入图片：

image-20210724140646990

查看响应的json数据

r1=requests.get(url="http://httpbin.org/ip")
print(r1.json()) # 整个json对象 {'origin': '124.160.215.146'}

print(r1.json()["origin"]) # json中某一项 124.160.215.146

查看响应状态码

print(r1.status_code)

查看request的请求头

print(r1.request.headers)

image-20210724141149355

请求头可以修改，可以通过构造request请求头

headers={
    "user-agent":"joseph/v1"
}
r1=requests.get(url="http://httpbin.org/ip",headers=headers)
print(r1.request.headers)

image-20210724141331591

在反爬机制中可以使用，可以模拟win，ipad，手机

三、requests模块进阶

设置连接超时

当请求超时，放弃请求

# 0.0001秒之内返回网页数据
# 超时时间一般设置为2到3秒
start_time=time.time()
r1=requests.get(url="https://www.imooc.com",timeout=2)
end_time=time.time()

print(r1.text)
print(end_time-start_time)

查看响应设置的cookies

可以在headers中查看

也可以通过cookies查看

行为和字典非常的像

r1=requests.get(url="https://www.baidu.com")
print(r1.headers)
print(r1.cookies)
print(r1.cookies["BDORZ"])

image-20210724143511229

在请求中携带cookies

cookies={
    "username":"joseph"
}
r1=requests.get(url="http://httpbin.org/cookies",cookies=cookies)
print(r1.cookies) # 输出响应设置的cookies
print(r1.text) # 请求url在响应中返回请求的cookies

image-20210724144021399

证书校验，SSLError问题

request可以为HTTPS请求验证SSL证书，就像web浏览器一样

SSL验证默认是开启的，如果证书验证失败，requests会抛出SSLError

# 关闭SSL校验
r1=requests.get(url="https://www.baina.org",verify=False)
# 方法二：指定网站的SSL证书，但是一般没有
print(r1.text)

异常

  • 网络问题：如DNS查询失败，拒绝连接，会抛出ConnectionError异常

  • Http请求返回了不成功的状态码：HTTPError异常

  • 请求超时：Timeout异常

  • 请求次数超过了设定的最大重定向次数，TooManyRedirects异常

  • 所有request显式抛出的异常都继承自requests.exceptions.RequestException

【重点】保持登录凭据，requests.session(),爬取需登录的网站+定制请求头

http://account.chinaunix.net/login进行登录验证

1.通过get请求访问登录页面，这个时候还没有填写username和password

image-20210724152216258

image-20210724152253422

image-20210724152403350

2.post请求访问登录

第二个使用的token信息就是第一个请求setCookies设置的

时间戳，删除后3位

image-20210724152527355

image-20210724152631963

image-20210724152701794

image-20210724152852463

3.index页面

cookies携带了很多数据，

可以通过定制请求头和设置请求的cookies 进入index页面，可行但太麻烦。

image-20210724152945906

image-20210724153116022

image-20210724153213188

保持登录凭据，从而直接绕过登录，直接进入到index页面：

  • get请求拿token信息

  • post请求提交用户名密码

  • 第三个请求直接访问登录后index页面

定制请求头header

请求头替换添加引号：

采用正则表达式

image-20210724153927872

代码实现,利用requests.session()保存登录凭据
# request.session,创建一个保持登录凭据的session实例
login_session=requests.session()


# 1、get请求，获取token信息
token_url="http://account.chinaunix.net/login?"
headers={
    "Accept":"text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
    "Accept-Encoding":"gzip, deflate",
    "Accept-Language":"zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6",
    "Cache-Control":"no-cache",
    "Host":"account.chinaunix.net",
    "Pragma":"no-cache",
    "Proxy-Connection":"keep-alive",
    "Upgrade-Insecure-Requests":"1",
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.164 Safari/537.36 Edg/91.0.864.71"
}
# 发送第一个get请求
token_response=login_session.get(url=token_url,headers=headers)
# print(token_response.headers.get("Set-Cookie"))
# 通过正则表达式拿到token值，需要导入import re
token_search=re.compile(r"XSRF-TOKEN=(.*?);")
token_value=token_search.search(token_response.headers.get("Set-Cookie"))
print(token_value.group(1))



# 2.post请求
# 时间戳导入 import time模块生成
login_url="http://account.chinaunix.net/login/login"
data={
    "username": "dazhuang_imooc",
    "password": "abcd1234",
    "_token": "QPABdRUD0iujCY7GCgv4RARvOlUBcQY39e3vSaxu",
    "_t": int(time.time())
}
# 发送post请求，提交用户名和密码，注意不要忘记携带data
login_response=login_session.post(url=login_url,headers=headers,data=data)
print(login_response.text)



# 3.访问index页面
index_url="http://account.chinaunix.net/ucenter/user/index"
# 【重要】一定要使用login_session,否则登录凭据是不携带的
index_response=login_session.get(url=index_url)
print(index_response.text)

【重点】设置代理，隐藏请求

服务端可以看到客户端的请求地址，我们可以通过设置代理来隐藏我们自己

快代理：

  • 可以提供隧道代理

  • 本机连接代理的两种形式：每个请求携带用户名和密码，设置白名单类似ssh

# 查看本机的ip和城市
url="http://pv.sohu.com/cityjson"
response=requests.get(url=url)
print(response.text)

# 1.挑选代理厂商：阿布云，芝麻代理，快代理
# 2.把代理信息设置到代码中，两种格式：http和https
url="http://pv.sohu.com/cityjson"

# 免费代理,无需用户名和密码
proxies1={
    "http":"http://117.157.197.18:3128",
    "https":"https://117.157.197.18:3128",
}

# 付费代理：格式需要注意，定义一个字典http和https
# 用户名：密码@代理的接口：端口号
proxies={
    "http":"http://t10422119804320:oynsb8dh@tps194.kdlapi.com:15818",
    "https":"https://t10422119804320:oynsb8dh@tps194.kdlapi.com:15818",
}

# 发送请求携带代理信息
for i in range(5):
    response=requests.get(url=url,proxies=proxies)
    print(response.text)

四、Xpath基础和lxml模块

XPath知识点

html节点与节点间的关系，Xpath和lxml获取想要的数据字段

节点有哪些？

image-20210724194334642

先辈节点不唯一，后辈节点也不唯一

image-20210724194630724

学习XPath需要安装插件：XPath helper

image-20210724195157608

xpath路径表达式：

汪曾祺《黄油烙饼》

/div 单斜杆定位根节点下div节点

//div 双斜杠定位文档中所有div节点

//div[@class='pic_art'] 获取特定元素 网页元素

//div[@class='pic_art']/text() 获取特定元素 整个文本信息

//div[@class='pic_art']/. 一个点表示当前节点

//div[@class='pic_art']/.. 两个点表示获取当前节点的父节点

/div/a 从根节点开始选取div节点下的a节点

//div[@class='info']/span[@class='time']

/div/a[2]/img 从根节点开始选取div节点下的第二个a节点下的img节点

//div[@class=‘header-wrapper’] 选取所有属性class的值为header-wrapper的div节点

  • 在节点后加上带有数字的方括号，兄弟节点索引/div/a[2]/img

  • 在节点后加上属性名-值对的方括号，可以筛选出需要的节点//div[@class='info']/span[@class='time']

  • //* 选取所有元素

  • //@* 选取所有带属性的元素

xpath函数：

div/p/text() 选取文本内容

模糊查询：

//div[contains(@class,”post”)] 选取带有class属性且包含“post”的所有div节点。取反//div[ not(contains(@class,”post”))]

/div/p[last()-1] 选取div下倒数第二个p节点

div/p[position()>1] 选取div下第二个p节点后的所有兄弟节点

/div/a|div/p 选取div下的a节点和div下的p节点，竖线分隔or

Python lxml模块

可以灵活处理xml

支持xpath

利用XPath语法，快速定位特定元素以及节点信息，以提取出html或xml目标数据

安装lxml库：

在cmd中输入pip install lxml

实操：通过xpath获取想要的数据字段

from lxml import etree
# 不包含html标签和body标签
data="""
<div>
    <ul>
        <li class="item-0"><a href="link1.html">first item</a></li>
        <li class="item-1"><a href="link2.html">second item</a></li>
        <li class="item-inactive"><a href="link3.html"><span class="bold">third item</span></a></li>
        <li class="item-1"><a href="link4.html">fourth item</a></li>
        <li class="item-0"><a href="link5.html">fifth item</a></li>
    </ul>
</div>
"""
#html实例化，添加了html和body标签
html=etree.HTML(data) 
print(etree.tostring(html).decode()) 


print(html.xpath("//li"))
print(html.xpath("//li/@class"))

print(html.xpath("//li/a[@href='link1.html']"))
print(html.xpath("//li[1]/a[1]"))
print(html.xpath("//li[last()]/a[1]"))

print(html.xpath("//li/a/span"))
print(html.xpath("//li//span")) 
# 输出的所有结果都是列表的形式

五、实战：当当网5星图书排行榜数据抓取

目标站点

当当5星图书排行榜

抓取5星好评图书数据：

image-20210724210845210 
items=//ul[@class='bang_list clearfix bang_list_mode']/li #所有图书条目，返回列表

for item in items:
    item.xpath(".//div[@class='name']/a/text()") #图书的标题
    item.xpath(".//div[@class='star']/a/text()") #图书的评论
    item.xpath(".//span[@class='tuijian']/text()") #图书的推荐信息
    item.xpath(".//div[@class='publisher_info'][1]/a/@title") #图书的作者
    item.xpath(".//div[@class='publisher_info'][2]/span/text()") #图书的出版时间
    
    item.xpath(".//div[@class='publisher_info'][2]/a/text()") #出版社信息
    item.xpath(".//div[@class='biaosheng']/span/text()") #评分信息
    item.xpath(".//div[@class='price']/p[1]/span[1]/text()") #图书价格
    item.xpath(".//div[@class='price']/p/span[@class='price_s']/text()") #折扣信息
    item.xpath(".//div[@class='price']/p[@class='price_e']/span/text()") #电子书价格

构造请求头headers：浏览器复制请求头，利用notepad++正则表达式格式化，加引号

【易错】需要去除复制的header里面的空格

image-20210724213902470

爬取图书数据，存储为列表形式

import requests
from lxml import etree

class Dangdang(object):
    def __init__(self):
        """构造方法"""
        self.header={
            "Host":"bang.dangdang.com",
            "Proxy-Connection":"keep-alive",
            "Pragma":"no-cache",
            "Cache-Control":"no-cache",
            "Upgrade-Insecure-Requests":"1",
            "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.164 Safari/537.36 Edg/91.0.864.71",
            "Accept":"text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
            "Accept-Encoding":"gzip, deflate",
            "Accept-Language":"zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6"
        }

        
    def get_dangdang(self,page):
        """发送请求到当当网获取数据"""
        url="http://bang.dangdang.com/books/fivestars/01.00.00.00.00.00-recent30-0-0-1-%s" % page
        # 发送请求
        response=requests.get(url=url,headers=self.header) # 1.response获取一个页面的网页内容
        if response:
            # 2.HTML数据的实例化。通过xpath表达式抽取网页数据，获取各个图书的网页数据，以列表形式返回
            html=etree.HTML(response.text)
            items=html.xpath("//ul[@class='bang_list clearfix bang_list_mode']/li")
            return items

        
    # xpath获取的数据是一个列表,转换为字符串
    def join_list(self,item):
        """处理列表到字符串"""
        return "".join(item)

    
    def parse_item(self,items):
        """解析具体的图书条目"""
        # 定义一个列表，用于存放存储到MongoDB之前的数据
        result_list=[]
		
        # 1.对抽取的每一个图书网页数据，进行进一步数据抽取，获得每本图书的各项具体信息节点
        for item in items: 
            title=item.xpath(".//div[@class='name']/a/text()") #图书的标题
            comment=item.xpath(".//div[@class='star']/a/text()") #图书的评论
            recommend=item.xpath(".//span[@class='tuijian']/text()") #图书的推荐信息
            author=item.xpath(".//div[@class='publisher_info'][1]/a/@title") #图书的作者
            publication_time=item.xpath(".//div[@class='publisher_info'][2]/span/text()") #图书的出版时间            
            press=item.xpath(".//div[@class='publisher_info'][2]/a/text()") #出版社信息
            score=item.xpath(".//div[@class='biaosheng']/span/text()") #评分信息
            price=item.xpath(".//div[@class='price']/p[1]/span[1]/text()") #图书价格
            discount=item.xpath(".//div[@class='price']/p/span[@class='price_s']/text()") #折扣信息
            e_book=item.xpath(".//div[@class='price']/p[@class='price_e']/span/text()") #电子书价格 
			
            # 2.每本图书的各项具体信息都是以列表存储节点的形式展现，将列表变为字符串。再将每个节点信息封装成一个JSON对象，存储到结果列表result_list中
            result_list.append(
                {
                    "title":self.join_list(title),
                    "comment":self.join_list(comment),
                    "recommend":self.join_list(recommend),
                    "author":self.join_list(author),
                    "publication_time":self.join_list(publication_time),
                    "press":self.join_list(press),
                    "score":self.join_list(score),
                    "price":self.join_list(price),
                    "discount":self.join_list(discount),
                    "e_book":self.join_list(e_book)
                }
        )
        return result_list

    

def main():
    import json
    d=Dangdang()
    for page in range(1,26):
        items=d.get_dangdang(page=page)
        result=d.parse_item(items=items)
        print(json.dumps(result)) #复制一条，浏览器打开json.cn可以看到json形式
        
        
        
if __name__ == '__main__':
    main()

image-20210724221647539

python操作MongoDB

安装pymongo:

pip install pymongo

python中连接mongodb数据库+插入数据

import pymongo

# 指定一个客户端连接Mongodb
pymongo_client=pymongo.MongoClient("mongodb://127.0.0.1:27017")
# 指定数据库的名称imooc
# 只有库里面由内容插入的时候，才会创建数据库
pymongbo_db=pymongo_client["imooc"]
# 创建集合（数据库表）
pymongo_collection=pymongbo_db["pymongo_test"]
data={
    "name":"imooc",
    "flag":1,
    "url":"https://www.baidu.com"
}
# 插入一条数据
pymongo_collection.insert_one(data)

# 插入多条数据，列表
mylist=[
    {"name":"taobao","flag":"100","url":"https://www.taobao.com"},
    {"name":"QQ","flag":"101","url":"https://www.qq.com"},
    {"name":"facebook","flag":"102","url":"https://www.facebook.com"},
    {"name":"zhihu","flag":"103","url":"https://www.zhihu.com"},
    {"name":"github","flag":"104","url":"https://www.github.com"},
]
pymongo_collection.insert_many(mylist)

image-20210724223554139

数据查询：

# 查询
# 第一个{}表示进行数据的查询，第二个{}进行过滤，find是查询所有数据
result=pymongo_collection.find({},{"_id":0,"name":1,"flag":1}) #结果是一个游标<pymongo.cursor.Cursor object at 0x00000201BE84EEB0>，可以通过for循环进行遍历
for item in result:
    print(item)

# 查询一条数据
result2=pymongo_collection.find_one() 
print(result2)

# 高级查询
# result3=pymongo_collection.find({"flag":{"$gt":"100"}}) # 查询结果flag都大于100，大小输出
result3=pymongo_collection.find({"name":{"$regex":"^g"}}) # 正则表达式,限定输出
for item in result3:
    print(item)

image-20210724224909558

数据更新：

# 数据更新
# 更新一条(第一个参数是查询条件，第二个参数是要修改成为什么样子)
pymongo_collection.update_one({"name":{"$regex":"^g"}},{"$set":{"name":"gitee"}})

result=pymongo_collection.find({},{"_id":0,"name":1,"flag":1}) 
for item in result:
    print(item)

# 更新多条
pymongo_collection.update_many({},{"$set":{"name":"gitee"}})

result=pymongo_collection.find({},{"_id":0,"name":1,"flag":1})
for item in result:
    print(item)

数据删除：

# 数据删除
# 删除一条
pymongo_collection.delete_one({"url":"https://www.baidu.com"})
# 删除所有数据
pymongo_collection.delete_many({})

将爬取的当当网图书数据存储到mongdb中

from typing import Collection
from pymongo import collection, mongo_client
import requests
from lxml import etree
import pymongo
from pymongo.collection import Collection # Collection不要写错

class Dangdang(object):
    # ******************************************************************************************
    # 连接数据库
    mongo_client=pymongo.MongoClient(host="127.0.0.1",port=27017)
    # 指定数据库为dangdang_db
    dangdang_db=mongo_client["dangdang_db"]
    # ******************************************************************************************

    def __init__(self):
        self.header={
            "Host":"bang.dangdang.com",
            "Proxy-Connection":"keep-alive",
            "Pragma":"no-cache",
            "Cache-Control":"no-cache",
            "Upgrade-Insecure-Requests":"1",
            "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.164 Safari/537.36 Edg/91.0.864.71",
            "Accept":"text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
            "Accept-Encoding":"gzip, deflate",
            "Accept-Language":"zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6"
        }
        # ******************************************************************************************
        # 构造方法创建Collection
        self.dangdang=Collection(Dangdang.dangdang_db,"dangdang") # 表名为dangdang
        # ******************************************************************************************

    def get_dangdang(self,page):
        """发送请求到当当网获取数据"""
        url="http://bang.dangdang.com/books/fivestars/01.00.00.00.00.00-recent30-0-0-1-%s" % page
        print(url)
        # 发送请求
        response=requests.get(url=url,headers=self.header)
        if response:
            # HTML数据的实例化
            html=etree.HTML(response.text)
            items=html.xpath("//ul[@class='bang_list clearfix bang_list_mode']/li")
            return items

    # xpath获取的数据是一个列表,转换为字符串
    def join_list(self,item):
        """处理列表到字符串"""
        return "".join(item)

    def parse_item(self,items):
        """解析具体的图书条目"""
        # 定义一个列表，用于存放存储到MongoDB之前的数据的
        result_list=[]

        for item in items: # 一个items包括25条数目，即最终一个result_list包含25条数据每次
            title=item.xpath(".//div[@class='name']/a/text()") #图书的标题
            comment=item.xpath(".//div[@class='star']/a/text()") #图书的评论
            recommend=item.xpath(".//span[@class='tuijian']/text()") #图书的推荐信息
            author=item.xpath(".//div[@class='publisher_info'][1]/a/@title") #图书的作者
            publication_time=item.xpath(".//div[@class='publisher_info'][2]/span/text()") #图书的出版时间            
            press=item.xpath(".//div[@class='publisher_info'][2]/a/text()") #出版社信息
            score=item.xpath(".//div[@class='biaosheng']/span/text()") #评分信息
            price=item.xpath(".//div[@class='price']/p[1]/span[1]/text()") #图书价格
            discount=item.xpath(".//div[@class='price']/p/span[@class='price_s']/text()") #折扣信息
            e_book=item.xpath(".//div[@class='price']/p[@class='price_e']/span/text()") #电子书价格 

            result_list.append(
                {
                    "title":self.join_list(title),
                    "comment":self.join_list(comment),
                    "recommend":self.join_list(recommend),
                    "author":self.join_list(author),
                    "publication_time":self.join_list(publication_time),
                    "press":self.join_list(press),
                    "score":self.join_list(score),
                    "price":self.join_list(price),
                    "discount":self.join_list(discount),
                    "e_book":self.join_list(e_book)
                }
            )

        return result_list
	
    # ******************************************************************************************
    def insert_data(self,result_list):
        """插入数据到mongodb"""
        self.dangdang.insert_many(result_list) #一次20条数目
    # ******************************************************************************************

def main():
    import json
    d=Dangdang()
    for page in range(1,26):
        items=d.get_dangdang(page=page)
        result=d.parse_item(items=items)
        # print(len(result)) # 浏览器每个页面输出记录条数
        # print(json.dumps(result)) #复制一条，浏览器打开json.cn可以看到json形式
        d.insert_data(result_list=result)        


if __name__ == '__main__':
    main()

爬虫的伪装：使用代理

from typing import Collection
from pymongo import collection, mongo_client
import requests
from lxml import etree
import pymongo
from pymongo.collection import Collection

class Dangdang(object):
    # 连接数据库
    mongo_client=pymongo.MongoClient(host="127.0.0.1",port=27017)
    # 指定数据库为dangdang_db
    dangdang_db=mongo_client["dangdang_db"]

    def __init__(self):
        self.header={
            "Host":"bang.dangdang.com",
            "Proxy-Connection":"keep-alive",
            "Pragma":"no-cache",
            "Cache-Control":"no-cache",
            "Upgrade-Insecure-Requests":"1",
            "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.164 Safari/537.36 Edg/91.0.864.71",
            "Accept":"text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
            "Accept-Encoding":"gzip, deflate",
            "Accept-Language":"zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6"
        }
        # 构造方法创建Collection
        self.dangdang=Collection(Dangdang.dangdang_db,"dangdang") # 表名为dangdang
        
        # ******************************************************************************************
        #使用代理,在request方法中加上代理信息
        self.proxies={
            "http":"http://t10422119804320:oynsb8dh@tps194.kdlapi.com:15818",
            "https":"https://t10422119804320:oynsb8dh@tps194.kdlapi.com:15818",
        }
        # ******************************************************************************************


    def get_dangdang(self,page):
        """发送请求到当当网获取数据"""
        url="http://bang.dangdang.com/books/fivestars/01.00.00.00.00.00-recent30-0-0-1-%s" % page
        print(url)
        # ******************************************************************************************
        # 发送请求,此时爬虫项目使用了代理，进行爬取数据的
        response=requests.get(url=url,headers=self.header,proxies=self.proxies)
        # ******************************************************************************************
        if response:
            # HTML数据的实例化
            html=etree.HTML(response.text)
            items=html.xpath("//ul[@class='bang_list clearfix bang_list_mode']/li")
            return items

    # xpath获取的数据是一个列表,转换为字符串
    def join_list(self,item):
        """处理列表到字符串"""
        return "".join(item)

    def parse_item(self,items):
        """解析具体的图书条目"""
        # 定义一个列表，用于存放存储到MongoDB之前的数据的
        result_list=[]

        for item in items: # 一个items包括25条数目，即最终一个result_list包含25条数据每次
            title=item.xpath(".//div[@class='name']/a/text()") #图书的标题
            comment=item.xpath(".//div[@class='star']/a/text()") #图书的评论
            recommend=item.xpath(".//span[@class='tuijian']/text()") #图书的推荐信息
            author=item.xpath(".//div[@class='publisher_info'][1]/a/@title") #图书的作者
            publication_time=item.xpath(".//div[@class='publisher_info'][2]/span/text()") #图书的出版时间            
            press=item.xpath(".//div[@class='publisher_info'][2]/a/text()") #出版社信息
            score=item.xpath(".//div[@class='biaosheng']/span/text()") #评分信息
            price=item.xpath(".//div[@class='price']/p[1]/span[1]/text()") #图书价格
            discount=item.xpath(".//div[@class='price']/p/span[@class='price_s']/text()") #折扣信息
            e_book=item.xpath(".//div[@class='price']/p[@class='price_e']/span/text()") #电子书价格 

            result_list.append(
                {
                    "title":self.join_list(title),
                    "comment":self.join_list(comment),
                    "recommend":self.join_list(recommend),
                    "author":self.join_list(author),
                    "publication_time":self.join_list(publication_time),
                    "press":self.join_list(press),
                    "score":self.join_list(score),
                    "price":self.join_list(price),
                    "discount":self.join_list(discount),
                    "e_book":self.join_list(e_book)
                }
            )

        return result_list

    def insert_data(self,result_list):
        """插入数据到mongodb"""
        self.dangdang.insert_many(result_list) #一次25条数目

def main():
    import json
    d=Dangdang()
    for page in range(1,26):
        items=d.get_dangdang(page=page)
        result=d.parse_item(items=items)
        # print(len(result)) # 浏览器每个页面输出记录条数
        # print(json.dumps(result)) #复制一条，浏览器打开json.cn可以看到json形式
        d.insert_data(result_list=result)

        


if __name__ == '__main__':
    main()

使用了代理以后，抓取的数据会变慢很多

小结

  • 开发环境的配置

    • 了解了关系型数据库和非关系型数据库
    • 安装了MongoDB
    • 安装使用navicat可视化工具，连接了MongoDB数据库

  • 爬虫基础

    • 学习了http和https相关知识
    • 浏览器中观察到了http请求头，以及返回数据，状态码，get请求，post请求

  • request模块——获取网页内容，通过request模块可以请求到网页数据了

    • requests基础模块学习了发送get请求、post请求

    • requests进阶模块中，学习了如何定制请求头、如何获取获取cookie值，如何加载证书，如何保存登录凭据、如何携带代理

  • XPath语句和lxml模块——抽取网页数据，实例化html数据，通过xpath语句获取想要的网页数据

    • 通过XPath语句，在浏览器中使用xpath helper工具来获取网页数据
    • 通过lxml模块，去实例化html数据，并且通过xpath语句，在代码中或许想要的网页数据

  • 爬虫实战——当当网5星排行榜图书数据爬取+将数据保存到mongodb数据库中

    • python操作mongodb数据库
    • 项目实战爬取
Joseph_JL
关注
利用python编写爬虫程序，从招聘网站上爬取数据，将数据存入到MongoDB数据库中，将存入的数据作一定的数据清洗后做数据分析，最后将分析的结果做数据可视化
qq_41434270的博客
07-14 6127
教程演示创建爬虫项目编写需要爬取的字段（items.py）编写spider文件（wuyou.py）编写数据库连接（pipelines.py）编写反爬措施（settings.py）MongoDB数据库的安装软件下载数据测试本人已经爬取了一部分数据，分享出来供大家测试配置Linux环境在这里本人使用的资源都会发布出来为了方便大家的测试，配置好的虚拟机我也会分享出来启动Hadoop集群数据储存具体要求：将爬取的数据存储到hdfs上。利用flume收集日志1：将mongodb数据库的爬虫数据导入出来存为csv或者t
2022年网络我的网络爬虫学习心得
weixin_65692201的博客
12-24 2284
2022年网络我的网络爬虫学习心得
Python爬取当当网新书排行榜.zip
01-06
仅供学习使用 1.使用Python爬取当当网新书排行榜(近7日) 2.使用xpath分析页面 3.使用MySql来存储采集的数据(排名,标题,作者,出版时间,出版社,现在的价格,每本书的图片等) 4.还使用了文件夹来保存每本书的图片(文件命名是使用当前图书的书名)
#python学习笔记#使用python爬取网站数据并保存到数据库
热门推荐
superyu1992的专栏
07-19 1万+
上篇说到如何使用python通过提取网页元素抓取网站数据并导出到excel中，今天就来说说如何通过获取json爬取数据并且保存到mysql数据库中。 本文主要涉及到三个知识点： 1.通过抓包工具获取网站接口api 2.通过python解析json数据 3.通过python与数据库进行连接，并将数据写入数据库。 抓包不是本文想说的主要内容，大家可以移步这里或者直接在百度搜索“fid
Python爬取微博热搜榜，将数据存入数据库
u010496857的博客
04-03 1万+
一直想学习用Python来进行数据的爬取，也一直想知道Python连接数据库的操作，今天刚好看到的这篇文章满足了这两个条件，我试着爬了下微博，并成功将数据添加到数据库中，颇为欢喜。作者写的很简单，有些过程省略掉了，因此我尝试了好几次才成功，接下来记录自己的成功操作。一、选择需要爬取的网页这里是用来爬取微博热搜榜的数据，网页地址为http://s.weibo.com/top/summary，打开网页...
Python爬虫之使用MongoDB存储数据
最新发布
naer_chongya的博客
05-25 1930
MongoDB是一种基于文档的（Document-Oriented）NoSQL数据库，它设计简单、易于使用，适用于大多数应用程序开发需求。与传统的关系型数据库不同，MongoDB不需要一个明确定义的模式来存储数据，这意味着可以轻松存储包含不同类型和结构的数据。在Python中使用MongoDB存储数据是非常简单的，Python中有很多优秀的MongoDB驱动库可以选择，本文将介绍如何使用pymongo驱动库来实现数据存储。
python爬取新闻并归数据库_Python3实现的爬虫爬取数据并存入mysql数据库操作示例...
weixin_39769228的博客
11-20 285
本文实例讲述了Python3实现的爬虫爬取数据并存入mysql数据库操作。分享给大家供大家参考，具体如下：爬一个电脑客户端的订单。罗总推荐，抓包工具用的是HttpAnalyzerStdV7，与chrome自带的F12类似。客户端有接单大厅，罗列所有订单的简要信息。当单子被接了，就不存在了。我要做的是新出订单就爬取记录到我的数据库zyc里。设置每10s爬一次。抓包工具页面如图：首先是爬虫，先找到数据...
Dean_Mo_2022年网络我的网络爬虫学习心得。
weixin_71846400的博客
12-17 865
学习爬虫，不只带给我自身一种技能的提升，对前沿数据技术的了解和使用，更带给我的是思想之上的一些蜕变，人们总说要有一双“慧眼”来发现身边处处可见的美丽，而我想要用这样的注视，去在0与1二进制构成的数据里振翅遨游。
python 爬虫相关语法及知识
weixin_41569825的博客
05-23 2348
1、urllib相关语法，使用 """urllib的使用""" import urllib.request # 向指定URL发送请求，获取响应。 response = urllib.request.urlopen('http://httpbin.org/anything') # 获取响应内容 content = response.read().decode('utf-8') print(content) # 类型 print(type(response)) # 响应码，正常则响应码为200 pr
抠肚脐眼-2022年网络我的网络爬虫学习心得
qq_69794791的博客
12-21 719
1、调用数据包#调用数据包2、对爬虫网站进行解码#对爬取网站进行解码3、调用BeautifulSoup进行爬取data=[]df4、定义标题并写入数据库df#将爬取数据转换成df数据并定义标题df.to_sql( 'newlist1', con=engine, if_exists='append') #数据写入数据库#运用sql、engine将数据写入数据库5、建立数据库并储存数据client = pymongo.MongoClient('127.0.0.1',27017) #连接mongodb。
爬虫
qq_41627105的博客
04-29 187
NodeJS爬虫 •新闻爬虫及爬取结果的查询网站 •核心需求： •1、选取3-5个代表性的新闻网站（比如新浪新闻、网易新闻等，或者某个垂直领域权威性的网站比如经济领域的雪球财经、东方财富等，或者体育领域的腾讯体育、虎扑体育等等）建立爬虫，针对不同网站的新闻页面进行分析，爬取出编码、标题、作者、时间、关键词、摘要、内容、来源等结构化信息，存储在数据库中。 •2、建立网站提供对爬取内容的分项全文搜索，给出所查关键词的时间热度分析。 •技术要求： •1、必须采用Node.JS实现网络爬虫 •2、必须采用Node.
在navicat中如何新建连接数据库
weixin_33739627的博客
08-25 2680
前几天给大家分享了如何安装Navicat，没有来得及上车的小伙伴可以戳这篇文章：手把手教你安装Navicat——靠谱的Navicat安装教程。今天给大家分享一下Navicat的简单使用教程，具体的教程如下。1、双击桌面的Navicat图标，启动Navicat。2、下图是Navicat的主页面，可以看到Navicat的导航栏和各类选项卡。3、点击左上方的连接，将弹出下图的“新建连接”窗口，在这里需要...
采用bs4和xpath两种方法抓取国外图书网站关于书的信息,保存到MongoDB、Redis、MySQL数据库
執筆冩回憶
07-08 375
# 抓取http://www.allitebooks.org/page/1/ 作者、书名、封面图链接 import requests import json from lxml import etree from bs4 import BeautifulSoup class AllBooks(object): def __init__(self): self.base_url = "http://www.allitebooks.org/page/{}" self..
爬虫之使用xpath提取数据并提交到数据库
Im ok的博客哦
06-29 1498
xpath是比正则表达式要慢，但是使用起来会更加简单的一种方法。 xpath更加注重结构化数据，要一层一层的去寻找，直到获取到想要的唯一的元素。使用xpath的方法可以见这篇文章 如何使用xpath进行数据的提取 要注意在提取之前，要将服务器返回的信息进行转换处理，将其转换为xml对象。 在下面这个案例中主要用了lxml与pymysql模块，将提取的信息保存到数据库中。 import reques...
Python之requests+xpath爬取猫眼电影并写入数据库(图文教程)
weixin_43110554的博客
03-31 3136
文章目录一、pyhton连接mysql数据库二、用xpath抓取有用信息说几个比较容易掉坑的地方一二三 一、pyhton连接mysql数据库 我是写了一个py文件来封装一下,然后在爬取猫眼的py文件里直接调用,需要使用到pymysql库, 没有安装这个库的同学要事先安装一下,这里直接上代码 #coding=utf-8 import pymysql class mysqlConn: def...
python爬虫代理ip的爬取与使用并存入数据库（requests+xpath）
qq_45834835的博客
06-08 777
python爬虫代理ip的爬取与使用并存入数据库（requests+xpath） 二、步骤 1.引入库 2.代码 连接数据库详细教程：https://blog.cs
采用requests请求+xpath与正则表达式解析+Mysql与json存取:爬取高考网主页与子页的学校基本信息和往年录取分数线
狼性书生
03-06 923
爬取高考网主页与子页的学校基本信息和往年录取分数线高考网创建Mysql数据库和存储实现先了解下高考网的一些爬取阻碍完整代码 高考网 链接: http://college.gaokao.com/schlist/a14/p1/ 本章主要介绍下简单的爬取，不采用任何框架，只爬取广东省内的高校，让读者能对requests的请求方式,正则表达式与xpath的解析方式,json与MYSQL的存取方式有一定了解...
再见，Navicat!
Oner.wv的专栏
08-16 159
Atzuge 链接：https://www.cnblogs.com/zuge/p/7397255.html 最近被同事安利了一款数据库客户端工具：DataGrip，大爱！其实，这个...
python定时简单爬取网页新闻存入数据库并发送邮件
Andyren0126的博客
11-22 6755
本人小白一枚，简单记录下学校作业项目，代码十分简单，主要是对各个库的理解，希望能给别的初学者一点启发。O(∩_∩)O python定时简单爬取网页新闻存入数据库并发送邮件一、项目要求二、项目分析三、代码分析1、导入需要的库：2、获取html文件：3、解析html提取数据：4、存入数据库5、发送邮件6、主函数7、定时执行四、完整代码 一、项目要求 1、程序可以从北京工业大学首页上爬取新闻内容：http://www.bjut.edu.cn 2、程序可以将爬取下来的数据写入本地MySQL数据库中。 3、程序可以
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值