一个简单的爬虫入门教程！

已于 2024-01-06 21:12:16 修改
阅读量1k 收藏
点赞数
文章标签： 爬虫 网络 python 学习 开发语言
于 2023-06-20 14:25:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Java_ZZZZZ/article/details/131306246
版权

前言

我毕业论文要写文本大数据情绪分析，没有现成的数据。淘宝要价600块我又舍不得，只能自学爬虫。我一点计算机网络的基础都没有，光是入门就花了一周（不知道从何下手），所幸爬虫不难，只要见过就能会用。

所以写个文章把这个爬虫分享出来。

我的需求

我要爬取[雪球网]的股票评论信息（如图），看起来很简单。

基础知识

URL

开发人员工具DevTools

你还需要知道浏览器中 F12 或 右键菜单-检查 是开发人员工具DevTools，现在就可以试试。在Edge DevTools的欢迎页面中有一个好心的链接“DevTools为初学者”，里面也可以学习html，但是中文翻译有点问题。

打开DevTools的"元素"面板可以看到当前网页的html代码（这个说法其实不准确）。打开DevTools的"网络"面板可以看到有哪些网络请求。这两个面板后面会用到。

HTTP请求过程

打开[必应 (bing.com)]网页，打开DevTools"网络"面板，刷新页面，你会看到许多请求。

第一个是“?mkt=zh-CN”，如果你看了URL介绍，可能会记得问号后面是“提供给网络服务器的额外参数”（知道是参数就行）。状态码是200 (ok)，一切正常。常用的还有 403 forbidden 和 404 not found。

点击“?mkt=zh-CN”可以看到请求(标)头和响应头。HTTP请求是由客户端发出的消息，用来使服务器执行动作。做爬虫也是给服务器发请求(头)。

HTTP消息只看请求头和响应头部分：

请求头中的每一行含义见下链接（可以不看）：

HTTP 请求方法有8种，我们只要用到 GET 方法：

Cookie

HTTP Cookie 是服务器发送到用户浏览器并保存在本地的一小块数据，它会在浏览器下次向同一服务器再发起请求时被携带并发送到服务器上。通常，它用于告知服务端两个请求是否来自同一浏览器，如保持用户的登录状态。

有些网站需要登录才能完整访问，而cookie可以保持登录状态。后面写爬虫需要把 cookie 复制保存在本地。

HTML， CSS， Javascript

[HTML](HyperText Markup Language) 不是一门编程语言，而是一种用来告知浏览器如何组织页面的标记语言。HTML 可复杂、可简单，一切取决于开发者。它由一系列的**元素（[elements]）**组成，这些元素可以用来包围不同部分的内容，使其以某种方式呈现或者工作。 一对标签（[tags]）可以为一段文字或者一张图片添加超链接，将文字设置为斜体，改变字号，等等。

层叠样式表 [CSS]：HTML用于定义内容的结构和语义，CSS用于设计风格和布局。比如，您可以使用CSS来更改内容的字体、颜色、大小、间距，将内容分为多列，或者添加动画及其他的装饰效果。

[JavaScript] 编程语言允许你在 Web 页面上实现复杂的功能。如果你看到一个网页不仅仅显示静态的信息，而是显示依时间更新的内容，或者交互式地图，或者 2D/3D 动画图像，或者滚动的视频播放器，等等——你基本可以确定，这需要 JavaScript 的参与。

Requests

这是个python包，我会把需要用到的用法写出来。

实现GET请求

> import requests
> url = 'https://www.httpbin.org/get'
> response = requests.get(url)
> print(response.status_code)
> print(response.text)

200
{
  "args": {}, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate, br", 
    "Host": "www.httpbin.org", 
    "User-Agent": "python-requests/2.26.0", 
    "X-Amzn-Trace-Id": "Root=1-61ea5106-6a65650b1eff1121063b27ac"
  }, 
  "origin": "110.255.126.198", 
  "url": "https://www.httpbin.org/get"
}

可以看到返回结果中包含请求头、URL、IP等信息

用Cookie维持登录状态

打开[Scrape | Movie]，这个网站需要登录才能访问，用户名和密码都是admin。如果我们直接发送get请求，只能得到登录界面，你可以试试。

> url = 'https://login2.scrape.center/'
> response = requests.get(url)
> print(response.text)

需要使用cookie才行。我们先手动登录，打开DevTools的"网络"面板，点击第一个出现的请求"login2.scrape.center"，在请求头中找到cookie并手动复制。

> url = 'https://login2.scrape.center/'
> headers = {'cookie':'UM_distinctid=17e10d0b5b2f35-00090e3f71d56b-4c607a68-240000-17e10d0b5b3fbd; sessionid=i86q0uab3zunw8rj4n10oqvuhvswnzrn'}
> response = requests.get(url,headers=headers)
> print(response.text)

fake_useragent

UserAgent 用户代理，相当于浏览器的身份证号，是请求头中的一行。在利用爬虫爬取网站数据时，频繁更换它可以避免触发相应的反爬机制。
fake_useragent 包可以用来生成UserAgent，用法很简单。

> from fake_useragent import UserAgent
> ua = UserAgent()
> headers = {
>   'user-Agent':ua.random,
>   'cookie':'your cookie'
> }
> response = requests.get(url,headers=headers)

时间戳 timestamp

时间戳，一串数字，代表从格林威治时间1970年01月01日00时00分00秒起至现在的总秒数（有时精确到毫秒或微秒）

> import time
> time.time()
1642747138.7392855

tqdm

tqdm是用来生成进度条的包，我看的是这个教程：

其实只需要这个示例

> from tqdm import tqdm
> dic = ['a', 'b', 'c', 'd', 'e']
> pbar = tqdm(dic)
> for i in pbar:
>     pbar.set_description('Processing '+i)
>     time.sleep(0.2)

Processing e: 100%|██████████| 5/5 [00:01<00:00,  4.69it/s]

存储数据的一种方式：JSON文件

JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式。易于人阅读和编写，同时也易于机器解析和生成。示例如下：

{
  "employees": [
    { "firstName":"John" , "lastName":"Doe" },
    { "firstName":"Anna" , "lastName":"Smith" },
    { "firstName":"Peter" , "lastName":"Jones" }
  ]
}

存储数据的另一种方式：MongoDb数据库

NoSQL，非关系型的数据库，有时也称作Not Only SQL的缩写，是对不同于传统的关系型数据库的数据库管理系统的统称。Mongodb是其中一种。

在官网选择合适的版本

打开安装程序，选择 complete 完全安装，在 Service Configuration 界面选择 Run Service as Network Service user。其他不管。

在浏览器地址栏输入 localhost:27017，安装成功应该出现 “It looks like you are trying to access MongoDB over HTTP on the native driver port.”

通过pymongo包使用数据库，

> import pymongo
> client = pymongo.MongoClient(host='localhost',port=27017) # 连接数据库
> client.list_database_names() #查看已有的数据库
> db = client.test # 创建名为 text 的数据库
> db.list_collection_names() #查看已有的集合，MongoDB 中的集合类似 SQL 的表。
> collection = db.comments # 创建名为 comments 的集合
> # 在 MongoDB 中，集合只有在内容插入后才会创建! 就是说，创建集合(数据表)后要再插入一个文档(记录)，集合才会真正创建。

> data = { "name": "Duang", "university": "SWUFE"}
> collection.insert_one(data) # 插入数据

> result = collection.find_one({ "name": "Duang"}) # 查询数据
> print(result)
{'_id': ObjectId('61ea7d5b92328b1dc5121a0f'), 'name': 'Duang', 'university': 'SWUFE'}

> collection.delete_one({ "name": "Duang"}) # 删除数据
<pymongo.results.DeleteResult at 0x17ec7f263c0>

爬虫代码

我已经发在 github，自取

导入包

没什么好说的。

import requests
import logging
from fake_useragent import UserAgent
from datetime import datetime
from datetime import timedelta
#from tqdm.notebook import tqdm #如果用jupyter则从这里导入
from tqdm import tqdm
import pymongo

不可更改部分

logging.basicConfig(level=logging.INFO,
                    format='%(asctime)s - %(levelname)s: %(message)s')
INDEX_URL = 'https://xueqiu.com/query/v1/symbol/search/status.json?count=10&comment=0&symbol={symbol}&hl=0&source=user&sort={sort}&page={page}&q=&type=11'
client = pymongo.MongoClient(host='localhost',port=27017)
#client.list_database_names() #查看已有的数据库
db = client.test
#db.list_collection_names() #查看已有的集合
collection = db.comments

实际上 db = client.test 也可以改成别的名字。

可更改部分

sort = 'time' # 时间排序
#sort = 'alpha'# 热度排序
eduSHcode=['SH600880','SZ002261','SZ300282',
'SZ300359','SZ300010','SZ300192','SZ002659',
'SH600636','SZ300688','SZ300338','SH603377',
'SZ002621','SH605098','SZ003032','SZ002841',
'SH600661','SH600730','SZ002638','SZ002607',
'SZ300089','SZ000526'] # 股票代码
keys = {'fav_count','hot','id','like_count',
'text','timeBefore','view_count','user_id'} # 需要的数据类型
maxPage=10 # 最大为100

eduSHcode 是股票代码，我直接手动复制粘贴了。

maxPage 是爬取评论的页数，每页十条，最大为100页（雪球规定的）。

生成HTML请求头

def make_headers(cookie_path='cookie.txt'):
  # 生成HTML请求头
  ua = UserAgent()
  headers = {
  'user-Agent':ua.random,
  'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
  'accept-encoding': 'gzip, deflate, br',
  'accept-language': 'zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6',
  'cache-control': 'no-cache',
  'pragma': 'no-cache',
  'sec-ch-ua': '" Not;A Brand";v="99", "Microsoft Edge";v="97", "Chromium";v="97"',
  'sec-ch-ua-mobile': '?0',
  'sec-ch-ua-platform': '"Windows"',
  'sec-fetch-dest': 'document',
  'sec-fetch-mode': 'navigate',
  'sec-fetch-site': 'none',
  'sec-fetch-user': '?1',
  'upgrade-insecure-requests': '1'
  }
  with open(cookie_path,"r") as f:
    cookie = f.read()
    headers['cookie'] = cookie
  return(headers)

headers = make_headers()

请求头里的内容都可以去DevTools"网络"面板看，如果不一样可以自己改。

在文件夹里新建个 cookie.txt，把 cookie 值复制进去。

几个主要的函数

但是没啥可讲的

def scrape_api(url):
  # 根据url爬取网页，是最基础的函数
  try:
    response = requests.get(url,headers=headers)
    if response.status_code == 200:
        return response.json()
  except requests.RequestException:
    logging.error('error occurred while scraping %s', url, exc_info=True)

def scrape_symbol(symbol):
  # 爬取股票信息
  for page in tqdm(range(1, maxPage + 1), desc='Page',leave=False):
    url = INDEX_URL.format(symbol=symbol, page=page, sort=sort) # 将url中空缺的信息填上
    index_data = scrape_api(url)
    save_data_mongodb(index_data)

def save_data_mongodb(index_data):
  # 输入为一页十条评论，分别保存
  about = index_data.get('about')
  for comment_data in index_data.get('list'):
    # 先处理时间格式
    if 'timeBefore' in comment_data.keys():
      thetime = str(comment_data['timeBefore'])
      comment_data['timeBefore'] = parse_time(thetime)
    
    # 好像bool值不能直接保存
    if 'hot' in comment_data.keys():
      comment_data['hot'] = str(comment_data['hot'])
    
    # 提取需要的信息
    result_data = {key:value for key,value in comment_data.items() if key in keys }
    result_data['symbol'] = about
    #保存
    collection.insert_one(result_data)

def parse_time(thetime):
  # 此函数抄自： https://github.com/py-bin/xueqiu_spider
  # 稍有修改
  # 处理爬取时间格式异常问题，如“今天 08:30”、“20分钟前”
  date_now = datetime.now()
  if '今天' in thetime:
      rst = thetime.replace('今天',date_now.strftime('%Y-%m-%d'))
  elif '昨天' in thetime:
      the_time = date_now - timedelta(days=1)
      rst = thetime.replace('昨天',the_time.strftime('%Y-%m-%d'))
  elif '分钟前' in thetime:
      the_min = int(thetime[:-3])
      the_time = date_now - timedelta(minutes=the_min)
      rst = the_time.strftime('%Y-%m-%d %H:%M')
  elif '秒前' in thetime:
      rst = date_now.strftime('%Y-%m-%d %H:%M')
  elif len(thetime)== 11:
      rst = str(date_now.year) + '-' + thetime
  else:
      rst = thetime
  return rst

最后是 main 函数

def main():
  pbar = tqdm(eduSHcode) # 进度条
  for symbol in pbar:
    pbar.set_description('Processing '+symbol)
    scrape_symbol(symbol)
  print('OK')

if __name__ == '__main__':
    main()

追加的需求

我还需要获取股票的历史数据（虽然很容易下载到），在网页上选择区间统计，近三年，得到请求URL

https://stock.xueqiu.com/v5/stock/chart/kline.json?symbol=SZ002607&begin=1548166870391&end=1642774867690&period=day&type=before&indicator=kline

可以看到一次请求就获得所有三年的数据

URL 中有三项需要我们自己该，分别是：

  • symbol=SZ002607
  • begin=1548166870391
  • end=1642774867690

symbol 是股票代码，begin 和 end 是起止时间，观察规律+上网搜索得知，这个时间就是 Unix 时间戳，精确到毫秒。尝试发现其后四位(秒)不影响请求结果。

在之前爬虫的基础上改动如下：

更换URL

DATA_URL = 'https://stock.xueqiu.com/v5/stock/chart/kline.json?symbol={symbol}&begin={begin}&end={end}&period=day&type=before&indicator=kline'

生成时间戳

now = datetime.now()
end = int(time.mktime(now.timetuple()))*1000 # *1000 是从秒变毫秒
three_years_ago = now - timedelta(days=365*years)
begin = int(time.mktime(three_years_ago.timetuple()))*1000

两个函数（因为只要一次请求所以不用反复循环）

def scrape_num_symbol(symbol):
  # 爬取股票数据
  url = DATA_URL.format(symbol=symbol,begin=begin,end=end) # 将url中空缺的信息填上
  index_data = scrape_api(url)
  return index_data

def save_numdata_mongodb(index_data):
  about = index_data['data']['symbol']
  keys = index_data['data']['column']
  pbar = tqdm(index_data['data']['item'],leave=False)
  for data in pbar:
    pbar.set_description('saving timestamp '+str(data[0]))
    result_data = dict(zip(keys,data))
    result_data['symbol'] = about
    collection.insert_one(result_data)

至此结束

如果你也想学习Python爬虫的话，这里给大家分享一份Python爬虫学习资料和公开课， 里面的内容都是适合零基础小白的笔记和资料，超多实战案例，不懂编程也能听懂、看懂。需要的话扫描下方二维码免费获得，让我们一起学习！

CSDN大礼包：全网最全《全套Python学习资料》免费分享🎁

如果你也喜欢编程，想通过学习Python获取更高薪资，这里给大家分享一份Python学习资料。
😝朋友们如果有需要的话，可以V扫描下方二维码免费领取🆓

学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

#### **一、Python学习路线**

image-20230619144606466

python学习路线图1

二、Python基础学习
1. 开发工具

2. 学习笔记

在这里插入图片描述

3. 学习视频

在这里插入图片描述

三、Python小白必备手册

图片

四、数据分析全套资源

在这里插入图片描述

五、Python面试集锦
1. 面试资料

在这里插入图片描述

在这里插入图片描述

2. 简历模板

在这里插入图片描述

因篇幅有限，仅展示部分资料，添加上方即可获取

大模型应用场景
关注
入门爬虫，这一篇就够了！！！
胖虎
06-14 473
点击上方“Python3X”，选择“置顶或者星标”第一时间收到精彩推送！有小伙伴问，新手该怎么开始学习爬虫。其实说实在的入门爬虫真的非常容易。于是我就针对如何入门...
爬虫教程
qq_42350970的博客
03-16 337
1.新建项目：scrapy startproject xxx项目名，例如： scrapy startproject new_project 2、 创建爬虫文件 name:为文件的名字， 在spiders文件下运行 ：scrapy genspider -t crawl name'xxxx.com' 3、运行爬虫文件 scrapy crawl name ...
一个简单的爬虫
10-14
自己写的一个简单爬虫，获取网页链接再拼接链接进入第二层页面获取信息
python爬虫——写出最简单的网页爬虫
weixin_30699463的博客
12-19 945
在我们日常上网浏览网页的时候，经常会看到一些好看的图片，我们就希望把这些图片保存下载，或者用户用来做桌面壁纸，或者用来做设计的素材。我们可以通过python来实现这样一个简单的爬虫功能，把我们想要的代码爬取到本地。下面就看看如何使用python来实现这样一个功能。 一、开发工具 笔者使用的工具是sublimetext3，它的短小精悍（可能男人们都不喜欢这个词）使我十分着迷。推荐大家使用...
简单的爬虫
weixin_45275526的博客
03-11 2875
爬取阿里漏洞网页的漏洞信息 爬虫介绍 爬虫网站的步骤： 1、找到要爬取的网址 2、分析网页内容，按F12控制后台，找到需要的数据在网页的哪个元素 3、下载网页数据，使用requests模块 （python3.7，pip install requests） 4、解析HTML，使用BeautifulSoup模块 （python3.7，pip install beautifulsoup4） 5、将获取的数据存储 （sqllite数据库） 5分钟爬取博客的全部信息 如何使用time函数 # 5分钟爬取一次漏洞网页，
简单爬虫入门
梦想家博客
07-12 253
一、爬虫定义网络爬虫（又被称为网页蜘蛛，网络机器人，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。二、使用python做爬虫的好处1.php 对多线程、异步支持不够好，并发处理能力很弱。爬虫是工具性程序，对速度和效率要求比较高。2.Java 语言本身很笨重，代码量很大。  重构成本比较高，任何修改都会...
Python爬虫入门教程：超级简单的Python爬虫教程.pdf
03-20
### Python爬虫入门教程知识点详解 #### 一、理解网页结构 在进行Python爬虫开发之前，首先要了解网页的基本构成。网页通常包含三个主要部分：HTML（超文本标记语言）、CSS（层叠样式表）以及JavaScript（一种常用...
Python爬虫入门教程！手把手教会你爬取网页数据
热门推荐
web17886480312的博客
07-28 1万+
爬虫就是自动获取网页内容的程序，例如搜索引擎，Google，Baidu等，每天都运行着庞大的爬虫系统，从全世界的网站中爬虫数据，供用户检索时使用。爬虫流程其实把网络爬虫抽象开来看，它无外乎包含如下几个步骤模拟请求网页。模拟浏览器，打开目标网站。获取数据。打开网站之后，就可以自动化的获取我们所需要的网站数据。保存数据。拿到数据之后，需要持久化到本地文件或者数据库等存储设备中。那么我们该如何使用Python来编写自己的爬虫程序呢，在这里我要重点介绍一个Python库Requests。r?...
Python爬虫入门教程.docx
07-23
### Python爬虫入门教程知识点详解 #### 一、网络爬虫基本概念 网络爬虫，又称网络蜘蛛或网络机器人，是一种自动抓取互联网信息的程序。其主要工作流程包括： 1. **根据URL获取HTML数据**：即通过指定的URL地址...
一个简单的爬虫例子
05-30
一个简单的爬虫，亲测可用
实现的一个简单爬虫
04-13
NULL 博文链接：https://wxwall.iteye.com/blog/1729178
一个简单的爬虫代码，可以帮助大家入门
01-24
一个简单的爬虫代码，采用Python实现，可以帮助大家入门。
一个简单的网络爬虫
弥路milu
11-05 2070
学习了一个小爬虫，能在豆瓣上抓取特定的信息抓取并存储起来，他实现的原理如下 首先通过openurl对网站进行解析，将其转换成字符串类型 利用目标字符的特性用函数进行抓取信息，这里利用find2(s1,  s2):返回字符串s2在字符串s1中的下标，find_between(s, left, right):返回在s字符串中left和right中间的字符串 爬虫的原理（猜测）：将网站的信息转换为...
爬虫---最简单的爬虫程序
qq_34802511的博客
07-22 1189
Python2 # -*- coding:utf-8 -*- import urllib2 # 向指定的url发送请求，并返回服务器响应的类文件对象 response = urllib2.urlopen("http://www.baidu.com") # 类文件对象 支持文件对象的操作方法，如read()方法读取文件全部内容，返回字符串 html = response.read().deco...
简单的python爬虫
weixin_44336912的博客
07-21 2926
对于自动化办公而言，网络数据的批量获取可以节约相当的时间，因此爬虫在自动化办公中占据了一个比较重要的位置。因而本节针对一个爬虫项目进行介绍，力求最大程度还原实际的办公场景。Requests是一款目前非常流行的http请求库，使用python编写，能非常方便的对网页Requests进行爬取，也是爬虫最常用的发起请求第三方库。我们一般会使用BeautifulSoup这个第三方库或我们来解析豆瓣读书Top250httpsimportioimportsys.stdoutimportio。......
最简单的网络爬虫示例
SimpleSimpleSimples的博客
12-30 1494
一、什么是网络爬虫？        网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 二、简单代码示例      import java.io.BufferedReader; import java.io.InputStreamRea
一个贼简单的python爬虫实例
Healer512的博客
05-24 741
一个贼简单的python爬虫实例 这真的是一个很简单地python爬虫，但是我却做到现在了，哎~ 爬虫的所有学习都来自于B站up猪 luvm的小屋 import requests import json import os header = { "User-Agent": "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.39
通过load-＞model()加载数据模型：在爬虫中实现动态数据处理
最新发布
ip16yun的博客
09-11 475
小红书是一个流行的社交平台，用户在上面分享短视频、图片和文字内容。我们将通过爬虫技术，采集小红书上的短视频数据，并使用代理IP技术提高爬虫的成功率。
Python爬虫入门：编写你的第一个简单爬虫教程
本教程将引导你编写你的第一个简单爬虫，以获取指定网页上的数据。这里我们将使用 Python 语言，结合 `requests` 和 `BeautifulSoup` 这两个强大的库来实现这一目标。 首先，我们需要理解爬虫的基本工作流程： 1. *...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值