自学爬虫笔记

已于 2022-08-07 23:11:14 修改
阅读量148 收藏
点赞数
文章标签： python 开发语言 爬虫
于 2022-08-07 23:10:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/FondofAutumn/article/details/126219086
版权

第一章：爬虫基础简介

  • 前戏：

    1. 你是否在夜深人静的时候，想看一些会让你更睡不着的图片
    2. 你是否在考试或者面试前夕，想看一些具有针对性的题目和面试题
    3. 你是否想在杂乱的网络世界获取你想要的数据

  • 什么是爬虫：

    • 通过编写程序，模拟浏览器上网，然后让其去互联网上抓取数据的过程

  • 爬虫的价值：

    • 实际应用
    • 就业

第二章：requests模块

  • 作用：

    • 模拟浏览器发请求

  • 如何使用：（requests模块的编码流程）

    • 指定url
    • 发起请求
    • 获取相应数据
    • 持久化存储

  • 环境安装：

    • pip install requests

第三章：验证码识别

  • 肉眼识别（不推荐）

  • 验证码识别平台（超级鹰、打码云……）

  • session对象

    import requests
from lxml import etree
headers = {
 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36'
}
#创建会话对象,该会话对象可以调用get和post发起请求
session = requests.Session()
#使用会话对面对登录页面发起请求
page_text = session.get(url='https://github.com/login',headers=headers).text
#解析出动态的taken值
tree = etree.HTML(page_text)
t = tree.xpath('//*[@id="login"]/form/input[2]/@value')[0]
#指定模拟登录请求的url
url = 'https://github.com/session'
#参数封装（处理动态taken值）
data = {
 'commit': 'Sign in',
 'utf8': '✓',
 'authenticity_token': t,
 'login': 'bobo328410948@sina.com',
 'password': 'bobo@15027900535',
 'webauthn-support': 'supported',
}
#使用会话对象进行模拟登录请求发送（携带cookie）
page_text = session.post(url=url,headers=headers,data=data).text
#持久化存储
with open('./git.html','w',encoding='utf-8') as fp:
 fp.write(page_text)

第四章：代理IP

  • proxies参数处理代理IP：

    import requests
import random
if __name__ == "__main__":
    #不同浏览器的UA
    header_list = [
        # 遨游
        {"user-agent": "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)"},
        # 火狐
        {"user-agent": "Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1"},
        # 谷歌
        {
            "user-agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11"}
    ]
    #不同的代理IP
    proxy_list = [
        {"http": "112.115.57.20:3128"},
        {'http': '121.41.171.223:3128'}
    ]
    #随机获取UA和代理IP
    header = random.choice(header_list)
    proxy = random.choice(proxy_list)
    url = 'http://www.baidu.com/s?ie=UTF-8&wd=ip'
    #参数3：设置代理
    response = requests.get(url=url,headers=header,proxies=proxy)
    response.encoding = 'utf-8'
    with open('daili.html', 'wb') as fp:
        fp.write(response.content)

第五章：高性能异步爬虫

  • 进程池

    #同步执行import timedef sayhello(str):    
print("Hello ",str)    
time.sleep(2)
name_list =['xiaozi','aa','bb','cc']
start_time = time.time()
for i in range(len(name_list)):   
    sayhello(name_list[i])
    print('%d second'% (time.time()-start_time))

    执行结果

    Hello  xiaoziHello  aaHello  bbHello  cc8 second

    #异步基于线程池
import time
from multiprocessing.dummy import Pool
def sayhello(str):    
    print("Hello ",str)    
    time.sleep(2)
    start = time.time()
    name_list =['xiaozi','aa','bb','cc']
#实例化线程池对象，开启了4个线程
pool = Pool(4)
pool.map(sayhello,name_list)
pool.close()
pool.join()
end = time.time()
print(end-start)

    原则：线程池处理的是阻塞且耗时的操作

第六章：selenium模块

edge驱动

https://developer.microsoft.com/en-us/microsoft-edge/tools/webdriver/

在浏览器中滚动页面

window.scrollTo(0,document.body.scrollHeight)

使用find_element()

from selenium.webdriver.common.by import By
driver.find_element_by_xpath('//*[@id="root"]/div/header/div[2]/aside/div[2]').click()	#新用法
driver.find_element(By.XPATH,'//*[@id="pageBody"]/div/div[1]/div[1]/div[2]').click()	#旧用法

selenium自动化代码

# -*-coding=utf-8-*-
# @Time:2022/5/712:01
# @Author:Autumn
# @File:02.selenium的其他自动化操作.py
# @Software:PyCharm
import requests
from lxml import etree
from selenium import webdriver
import time
from selenium.webdriver.common.by import By

if __name__ == '__main__':
    bro=webdriver.Edge()
    bro.get('https://www.taobao.com/')
    #标签定位
    search_input=bro.find_element(By.ID,'q')
    #标签交互
    search_input.send_keys('耳机')
    #执行一组js程序
    bro.execute_script('window.scrollTo(0,document.body.scrollHeight)')
    time.sleep(2)
    #点击搜索按钮
    #btn=bro.find_element_by_css_selector('.btn-search')   #旧用法，不推荐使用
    btn = bro.find_element(By.CSS_SELECTOR,'.btn-search')
    btn.click()
    time.sleep(2)

    bro.get('https://www.baidu.com')
    time.sleep(2)
    bro.back()  #后退
    time.sleep(2)
    bro.forward()   #前进
    time.sleep(2)

    time.sleep(5)
    #input('按任意键结束')
    bro.quit()

无头浏览器

from selenium import webdriver
from time import sleep
# 实现无可视化界面
from selenium.webdriver.edge.options import Options

# 实现规避检测
from msedge.selenium_tools import EdgeOptions
from msedge.selenium_tools import Edge

# 实现无可视化界面的操作
EDGE = {
    "browserName": "MicrosoftEdge",
    "version": "",
    "platform": "WINDOWS",
    # 关键是下面这个
    "ms:edgeOptions": {
        'extensions': [],
        'args': [
            '--headless',
            '--disable-gpu',
            '--remote-debugging-port=9222',
        ]}
}

# 实现规避检测
option = EdgeOptions()
option.add_experimental_option('excludeSwitches', ['enable-automation'])

# 如何实现让selenium规避被检测到的风险
bro = webdriver.Edge(capabilities=EDGE)
if __name__ == '__main__':
    # 无可视化界面(无头浏览器)
    bro.get("https://www.baidu.com")

from selenium import webdriver
from time import sleep
# 实现无可视化界面
from selenium.webdriver.edge.options import Options
# 实现规避检测
from msedge.selenium_tools import EdgeOptions
from msedge.selenium_tools import Edge

# 实现无可视化界面的操作
EDGE = {
    "browserName": "MicrosoftEdge",
    "version": "",
    "platform": "WINDOWS",
    # 关键是下面这个
    "ms:edgeOptions": {
        'extensions': [],
        'args': [
            '--headless',#不加的话就有头
            '--disable-gpu',
            '--remote-debugging-port=9222',
        ]}
}
# 实现规避检测
option = EdgeOptions()
option.add_experimental_option('excludeSwitches', ['enable-automation'])

if __name__ == '__main__':
    # 如何实现让selenium规避被检测到的风险
    bro = webdriver.Edge(capabilities=EDGE)

#把msedgedriver.exe拷贝一份重命名为MicrosoftWebDriver.exe，并把它们两个拷贝到Python/Scripts安装目录下
#pip install msedge-selenium-tools
from selenium import webdriver
from time import sleep
# 实现无可视化界面
from selenium.webdriver.edge.options import Options

# 实现规避检测
from msedge.selenium_tools import EdgeOptions
from msedge.selenium_tools import Edge

# 实现无可视化界面的操作
EDGE = {
    "browserName": "MicrosoftEdge",
    "version": "",
    "platform": "WINDOWS",
    # 关键是下面这个
    "ms:edgeOptions": {
        'extensions': [],
        'args': [
            '--headless',	#不加的话就有头
            '--disable-gpu',
            '--remote-debugging-port=9222',
        ]}
}

# 实现规避检测
option = EdgeOptions()
option.add_experimental_option('excludeSwitches', ['enable-automation'])

# 如何实现让selenium规避被检测到的风险
bro = webdriver.Edge(executable_path='./MicrosoftWebDriver.exe', capabilities=EDGE)

# 无可视化界面(无头浏览器)
bro.get("https://www.baidu.com")

print(bro.page_source)
sleep(2)
bro.quit()

#把msedgedriver.exe拷贝一份重命名为MicrosoftWebDriver.exe，并把它们两个拷贝到Python安装目录下
#pip install msedge-selenium-tools
from selenium import  webdriver
from time import  sleep
#为了隐层浏览器导入的包（实现可视化界面）
from  selenium.webdriver.edge.options import Options 
#实现规避selenium检测
from msedge.selenium_tools import EdgeOptions
from msedge.selenium_tools import Edge

caps= {
    "browserName": "MicrosoftEdge",
    "version": "",
    "platform": "WINDOWS",
    # 关键是下面这个
    "ms:edgeOptions": {
        'extensions': [],
        'args': [
            '--headless',
            '--disable-gpu',
            '--remote-debugging-port=9222',
        ]}
}

# 实现规避检测
option = EdgeOptions()
option.add_experimental_option('excludeSwitches', ['enable-automation'])
# 如何实现让selenium规避被检测到的风险
bro=webdriver.Edge(executable_path='./msedgedriver.exe',capabilities=caps)
#无可视化（无头浏览器）
bro.get('https://www.baidu.com')
print(bro.page_source)
sleep(2)
bro.quit()


#把msedgedriver.exe拷贝一份重命名为MicrosoftWebDriver.exe，并把它们两个拷贝到Python安装目录下
#pip install msedge-selenium-tools
from msedge.selenium_tools import Edge, EdgeOptions

options = EdgeOptions()
options.use_chromium = True
options.add_argument('headless')
browser = Edge(options=options)
browser.get('https://www.baidu.com')
browser.quit()

pillow库的使用

#pip install pillow
from PIL import Image
import os

#修改文件名
#遍历文件夹下面的所有文件
for f in os.listdir('.'):
#如果文件为jpg格式
    if f.endswith('.jpg'):
    #则调用pillow将图片打开
        i = Image.open(f)
    #将文件分为文件路径和文件名
        fn,ftext = os.path.splitext(f)
    #以新的文件名保存图片(需要新建文件夹pngs)
        i.save('pngs/{}.png'.format(fn))
        
#生成缩略图
#缩略图尺寸
size_300 = (300,300)
for f in os.listdir('.'):
    if f.endswith('.jpg'):
        i = Image.open(f)
        fn,fext = os.path.splitext(f)
        #生成缩略图(保持宽高比)
        i.thumbnail(size_300)
        #保存缩略图(需要新建文件夹300)
        i.save('300/{}_300{}'.format(fn,fext))

#旋转图片
img = Image.open('./cat_3.jpg')
img_rotate90 = img.rotate(90)
img_rotate90.save('./cat_3_rotate90.jpg')
img_rotate90

#生成灰色图片
img = Image.open('./cat_3.jpg')
img_convertL = img.convert(mode='L')
img_convertL.save('./cat_3_convertL.jpg')

#添加高斯模糊
#引入滤镜类
from PIL import ImageFilter

#默认半径为2
img = Image.open('./cat_2.jpg')
img_filter_gaussian_default = img.filter(ImageFilter.GaussianBlur()) 
img_filter_gaussian_default

#半径为5
img_filter_gaussian_5 = img.filter(ImageFilter.GaussianBlur(5)) 
img_filter_gaussian_5

#半径为10
img_filter_gaussian_10 = img.filter(ImageFilter.GaussianBlur(5)) 
img_filter_gaussian_10

#屏幕截图
im1 = ImageGrab.grab()#不带参数表示全屏幕截图
im2 = ImageGrab.grab([0, 0, 200, 50])#截取屏幕指定区域的图像 
im3 = ImageGrab.grab((0, 0, 200, 50))#截取屏幕指定区域的图像 
im1.save('xxxxxx1.png')
im2.save('xxxxxx2.png')
im3.save('xxxxxx3.png')

#图像裁剪与粘贴
box = (120, 194, 220, 294) #定义裁剪区域
region = im.crop(box) #裁剪
region = region.transpose(Image.ROTATE_180)
im.paste(region, box) #粘贴

显示图片

使用matplotlib

import matplotlib.pyplot as plt # plt 用于显示图片
import matplotlib.image as mpimg # mpimg 用于读取图片
import numpy as np

lena = mpimg.imread('lena.png') # 读取和代码处于同一目录下的 lena.png
# 此时 lena 就已经是一个 np.array 了，可以对它进行任意处理
lena.shape #(512, 512, 3)

plt.imshow(lena) # 显示图片
plt.axis('off') # 不显示坐标轴
plt.show()

使用PIL

from PIL import Image
im = Image.open('lena.png')	#打开
im.show()			#显示
im.save('new_lena.png')	#保存

进入iframe框架

#如果源码有iframe框架，必须先进入iframe框架
broswer.switch_to.frame(broswer.find_element(By.ID,''))

滑块验证码的识别

#pip install -U opencv-python
import cv2.cv2 as cv2	#这样写才能保证有提示
#读取背景图片的RGB码
bj_rgb=cv2.imread('filepath')
#颜色空间转换
img3 = cv2.cvtColor(img,cv2.COLOR_GRAY2RGB)
cv2.imshow('My honey',imgcopy)
cv2.waitKey(0)
## cv2.COLOR_X2Y，其中X,Y = RGB, BGR, GRAY, HSV, YCrCb, XYZ, Lab, Luv, HLS
#转化为灰度图
bj_gray = cv2.cvtColor(bj_img, cv2.COLOR_RGB2GRAY)

设置隐式等待

#设置隐式等待
    broswer.implicitly_wait(5)

第七章：scrapy模块

在pycharm终端创建scrapy模板

cd 第五章：scrapy 
scrapy startproject FirstBlood
cd FirstBlood
scrapy genspider first www.xxx.com
scrapy crawl first
scrapy crawl first --nolog		#bu'xing

附录一：

终端命令

#进入指定目录
cd path
#python包的备份与恢复
pip freeze > filepath\requirements.txt
sudo pip install -r filepath\requirements

常用代码

requests.get(url=url, headers=headers).content.decode("utf-8")
r.encoding = r.apparent_encoding	#防止乱码
#通用处理中文乱码的解决方案
img_name=img_name.encode('iso-8859-1').decode('gbk')


import time
time.sleep(1)	#休眠一秒
time.sleep(random.randint(0,5))	#随机休眠


response=requests.get(url=url,headers=headers,timeout=(3,7))	#设置连接时间3s，响应时间7s


while True:
    try:
        response=requests.get(url=url,headers=headers,timeout=5)	#响应时间为5s
    except:
        prinit('error,rest and then restart')
        time.sleep(5)	#出错就休眠5s再发请求，再继续爬
    else:
        pass

    
    # 准备好的代理ip
proxy = "127.0.0.1:8000"    
proxies = {
        "https": "https://{0}".format(proxy),
        "http": "http://{0}".format(proxy),
 }
res = requests.get(url, proxies=proxies)


list=tree.xpath('//div[@class="bottom"]/li[1]/a | //div[@id='photos']//img')	#tree.xpath返回的是一个tree类的列表
for tag in list:
    r=tag.xpath('./text()')	#对tree再进行xpath，要从当前节点开始定位
    
    
#颜色输出
print("\033[31m这是红色字体\033[0m")
print("\033[32m这是绿色字体\033[0m")
print("\033[33m这是黄色字体\033[0m")
print("\033[34m这是蓝色字体\033[0m")
print("\033[38m这是默认字体\033[0m")


#删除文件
if os.path.exists(file_path):
    # removing the file using the os.remove() method
    os.remove(file_path)

    
#验证返回的是否是页面源码数据
print(response.status_code)		#是200的话表示返回的是源码数据 

#创建会话对象,该会话对象可以调用get和post发起请求
session = requests.Session()
#使用会话对面对登录页面发起请求
page_text = session.get(url='https://github.com/login',headers=headers).text


#css定位
.class	   #id		tagname


#网页截图,将当前页面截取并保存
bro.save_screenshot('file_path')

#确定验证码对应的左上角和右下角对应的坐标
img_tag=bro.find_element(By)
bro.find_element(By.XPATH,'xpath路径')


#设置隐式等待
    broswer.implicitly_wait(5)

相关模块的安装

pip install requests
pip install pillow			#PIL图形处理库
pip install selenium
pip install lxml			#xpath解析库
pip install pyinstaller
pip install easygui			#GUI图形化界面
pip install pygame
pip install numpy
pip install matplotlib
pip i msedge.selenium_tools
pip install pyquery

相关模块的导入操作

from selenium import webdriver
from selenium.webdriver.common.by import By
from time import sleep
from PIL import Image
import os
import schedule
import re
import requests
from lxml import etree
import os
import json
import pygame
import matplotlib.pyplot as plt # plt 用于显示图片
import matplotlib.image as mpimg # mpimg 用于读取图片
import numpy as np
import tetesserocr

# 实现无可视化界面
from selenium.webdriver.edge.options import Options

# 实现规避检测
from msedge.selenium_tools import EdgeOptions
from msedge.selenium_tools import Edge

相关模块的使用

pyinstaller

#pip install pyinstaller
#在终端运行
pyinstaller -F/-D [-w/-c] [-i icopath] filepath

相关参数

headers={
        'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.54 Safari/537.36 Edg/101.0.1210.39'
    }

模板

#-*- coding = utf-8 -*-
#@Time : ${DATE} ${TIME}
#@Author : autumn
#@File : ${NAME}.py
#@Software : ${PRODUCT_NAME}


{
    "HEADER":{
        "prefix": "header",
        "body": [
			"#-*- coding = utf-8 -*-",
			"#@Time : ${DATE} ${TIME}",
			"#@Author : autumn",
			"#@File : ${NAME}.py",
			"#@Software : ${PRODUCT_NAME}"
    ],
    }   
}


{
    "HEADER":{
        "prefix": "header",
        "body": [
        "#!/usr/bin/python",
        "# -*- encoding: utf-8 -*-",
        "'''",
        "@File    :   $TM_FILENAME",
        "@Time    :   $CURRENT_YEAR/$CURRENT_MONTH/$CURRENT_DATE $CURRENT_HOUR:$CURRENT_MINUTE:$CURRENT_SECOND",
        "@Author  :   Bing.Yao ",
        "@Version :   1.0",
        "@Contact :   123456@qq.com",
        "@WebSite :   https://blog.csdn.net/rbin_yao",
        "'''",
        "import logging",
        "from logging.handlers import RotatingFileHandler",
        "",
        "def log_config():",
        "  LOG_FORMAT = '[%(asctime)s][%(levelname)s]: %(message)s'",
        "  level = logging.INFO",
        "  logging.basicConfig(level=level, format=LOG_FORMAT)",
        "  #创建RotatingFileHandler对象,满2MB为一个文件，共备份3个文件",
        "  log_file_handler = RotatingFileHandler(filename='test.log', maxBytes=2*1024*1024, backupCount=3)",
        "  # 设置日志打印格式",
        "  formatter = logging.Formatter(LOG_FORMAT)",
        "  log_file_handler.setFormatter(formatter)",
        "  logging.getLogger('').addHandler(log_file_handler)",
        "",
        "def main():",
        "    log_config()",
        "",
        "if __name__ == '__main__':",
        "    main()",
        "",
        "$0"
    ],
    }   
}

附录二：自制函数：

#获取响应，重连，编码，延迟
def url_get_sourse(url,type='text'):
    url = url
    while True:
        try:
            response = requests.get(url=url, headers=headers, timeout=(3, 7))
        except:
            print("\033[31m网络错误，5s后尝试重新连接\033[0m")
            time.sleep(5)
        else:
            if type=="text":
                response.encoding=response.apparent_encoding
                page_text=response.text
                response.encoding = response.apparent_encoding
                page_text = response.text
                return page_text
            elif type=="json":
                page_text=response.json()
                return page_text
            else:
                page_text=response.content
                return page_text
            
#改变ip
def change_ip():
    global ipnum,proxies
    ipnum+=1
    proxy = ip_list[ipnum]
    proxies = {
        'http': 'http://' + proxy,
        'https': 'https://' + proxy,
    }
    print(f'已将IP修改为{proxy}')
    
#获取ip列表
def get_ip_list():
    filepath = '爬取数据/代理池/快代理.txt'
    ip_list=[]
    if os.path.exists(filepath):
        with open(filepath, 'r') as fp:
            list = fp.readlines()
        # print(ist)
        for ip in list:
            ip = ip[:-2]
            ip_list.append(ip)
    return ip_list

后续：

  • 深度学习
  • 神经网络
  • AI算法
  • 前端
  • 自动化办公
  • GUI图形化界面
  • 自动化测试
  • 网络安全
  • js
  • potplayer高级应用
  • 脚本的编写
    • 按键精灵
    • bat脚本
  • ghost备份系统
  • linux to go
  • win to go
  • 多系统
    • UEFI与Legacy启动
FondofAutumn
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
零基础自学python爬虫笔记Day1——爬虫的基本原理
Seyhang的博客
08-05 298
前言 一个真正的爬虫攻城狮应具备：计算机网络、编程基础、前端开发、后端开发、App开发与逆向、 网络安全、运维、数据库、数据分析、机器学习等知识； 若想快速入门，则推荐 python基础+前端基础+计算机网络基础 python基础不用说了，推荐B战尚硅谷python基础教学，点此传送 前端基础，能够理解HTML+CSS+JavaScript 如果把网页比作一个人的话，HTML 相当于骨架，JavaScript 相当于肌肉，CSS 相当于皮肤，三者结合起来才能形成一个完整的网页。 计算机网络基础，
Python 项目爬虫自学
01-01
Python 开源项目之「自学编程之路」，保姆级教程：AI实验室、宝藏视频、数据结构、学习指南、机器学习实战、深度学习实战、网络爬虫、大厂面经、程序 源代码：包括Python代码和相关脚本。这些代码展示了如何使用...
python爬虫自学笔记_python网络爬虫学习笔记（1）
weixin_33138295的博客
01-14 233
本文实例为大家分享了python网络爬虫的笔记，供大家参考，具体内容如下(一) 三种网页抓取方法1、正则表达式：模块使用C语言编写，速度快，但是很脆弱，可能网页更新后就不能用了。2、Beautiful Soup模块使用Python编写，速度慢。安装：pip install beautifulsoup43、 Lxml模块使用C语言编写，即快速又健壮，通常应该是最好的选择。(二)Lxml安装p...
自学PYTHON爬虫笔记
weixin_47932683的博客
03-30 1578
python爬虫基础+两个小案例
Python 爬虫笔记
GD_ONE的博客
03-06 2475
Python 爬虫笔记HTTP协议requests模块get() 和post()函数headers数据解析正则表达式bs4解析-HTML语法 本文作为自学笔记，仅供参考 学习课程：B站路飞学城IT 爬虫： 利用程序获取互联网上的资源。 robots.txt协议 ：规定网站中哪些数据不可以爬取， 只是协议，但并不能防止恶意爬取 爬虫的一般步骤： 拿到页面源代码 解析该源代码，拿到数据 在学习爬虫之前，要先了解一下HTTP协议。 HTTP协议 HTTP协议是万维网的通信基础。简单来说就是计算机访问网页所需
python爬虫自学笔记分析_学习python爬虫的基础笔记
weixin_39914732的博客
12-01 84
的小编总结，1.什么是爬虫爬虫，即网络爬虫，大家可以理解为在网络上爬行的一直蜘蛛，互联网就比作一张大网，而爬虫便是在这张网上爬来爬去的蜘蛛咯，如果它遇到资源，那么它就会抓取下来。想抓取什么？这个由你来控制它咯。比如它在抓取一个网页，在这个网中他发现了一条道路，其实就是指向网页的超链接，那么它就可以爬到另一张网上来获取数据。这样，整个连在一起的大网对这之蜘蛛来说触手可及，分分钟爬下来不是事儿。2.浏...
python爬虫自学笔记视频_Python爬虫学习笔记——python基础篇
weixin_39715926的博客
12-02 200
目的：掌握Python基础知识，足够写爬虫即可。学习路线：1.看培训机构制作的系列教程2.边学边百度(视频中知识点的横向展开)3.整理笔记(要手敲不要复制粘贴)4.对于重点去看大神的博客5.所有知识点都要自己写一遍代码6.独立完成一个项目7.累计完成20000行有效代码知乎是用Python写的底层原理Python是解释型、面向对象的语言执行过程：Python源代码 -> Python解释器 ...
python爬虫--自学笔记
qq_45818574的博客
01-07 867
一 基本原理 我们可以把互联网比作一张大网，而爬虫（即网络爬虫）便是在网上爬行的蜘蛛 。 把网的节点比作一个个网页，爬虫爬到这就相当于访问了该页面，获取了其信息 。 可以把节点间的连线比作网页与网页之间的链接关系，这样蜘蛛通过一个节点后，可以顺着节点连线继续爬行到达下一个节点，即通过一个网页继续获取后续的网页，这样整个网的节点便可以被蜘蛛全部爬行到，网站的数据就可以被抓取下来了 。 二 爬虫过程 获取网页 向网站的服务器发送一个请求，返回的响应体便是网页源代码。 提取信息 最通用的...
python爬虫自学笔记本（2015.12.14）
entehen的博客
12-14 483
1.requests模块比urllib要方便，多用 2.判断当前路径下是否有此文件夹、如无就在此指定路径建立文件夹：if not os.path.isdir('路径文件名'):os.mkdir('路径文件名')； 将下载目标文件到此文件夹下：os.path.join('路径文件名',""+''+'') 3.简单复习了eval()int()str() eval() :http://blo
python爬虫自学笔记分析解密_Python自学笔记（七）----------第一次做爬虫
weixin_34345695的博客
01-14 167
本帖最后由 l2430478 于 2021-1-12 09:12 编辑管他东南西北风，咬定Python不放松。一直在python皮毛上捣鼓，始终感觉无从下手。教程无数，乱花渐欲迷人眼，高人无数，又有谁人该教谁？前几日发了一个1000CB+400CB税的拜师贴，也未能找到那位高人，管理一删了之，这最高悬赏的1000CB并不可惜，它代表着我的最高的决心。我今日摸索出来一段爬虫代码，且运行成功了，我就手...
爬虫入门-自学笔记，java和python示例
06-26
#### 一、网络爬虫简介 网络爬虫是一种自动化程序，用于从互联网上抓取信息。它可以自动地遍历网页，提取有用的数据，并将其存储下来供进一步分析。爬虫广泛应用于搜索引擎优化、数据分析、市场调研等领域。 #### ...
网络爬虫基础 个人学习笔记
04-04
本笔记是作者自学爬虫的成果，虽然约有3万字，但网络爬虫的领域广阔，这只是冰山一角。继续深入，还可以学习反爬策略、分布式爬虫、网页渲染技术（如Selenium）以及更高级的爬虫框架如PyQuery等。希望这份笔记能为...
网络爬虫自学笔记共7页.pdf.zip
12-01
【网络爬虫自学笔记共7页.pdf.zip】这个文件是一个压缩包，包含了网络爬虫学习的相关资料，共计7页。网络爬虫，也被称为网页抓取或数据抓取，是互联网上的一种自动化程序，用于系统地浏览、分析和下载网页信息。这份...
BeautifulSoup 的自学笔记
10-06
Python爬虫的BeautifulSoup 库的自学笔记，主要是选择器的使用。
python之matplotlib （5 散点图和柱状图）
最新发布
这是C.L 的博客，欢迎大家学习浏览！！
08-20 339
附：colormap对照 '%.f'%y‘是标注数据的形式设置：保留两位小数，数据来源于y数组。也可以这样写：f'{y:.2f}',在它前面的参数是标注的位置。也可以是一个数组，表示每个点的颜色不同。ax.bar()中y参数是直方图的高度，其中facecolor是条形图的颜色，而edgecolor是除了条形图内的颜色。也可以是一个数组，表示每个点的大小不同。参数来指定一个colormap，用于映射颜色数组到颜色。
【Python使用】嘿马头条项目从到完整开发教程第1篇：简介,1. 内容【附代码文档】
一诺的博客
08-16 658
本教程的知识点为:简介 1. 内容 2. 目标 产品效果 ToutiaoWeb虚拟机使用说明 数据库 理解ORM 作用 思考： 使用ORM的方式选择 数据库 SQLAlchemy操作 1 新增 2 查询 all() 数据库 分布式ID 1 方案选择 2 头条 使用雪花算法 （代码 toutiao-backend/common/utils/snowflake) 数据库 Redis 1 Redis事务 基本事务指令 Python客户端操作 Git工用流 调试方法 JWT认证方案 JWT & JWS & JWE
Python之函数练习题
weixin_43325374的博客
08-20 932
写一个函数，输入字符串为参数，并返回以逗号分隔的各种排列形式，如“{ABC，ACB，BAC，BCA，CAB，CBA}"。21.编写函数，显示A~B(含)范围中，所有位上的数字都属于集合[1，3,4,8,9]的数字。20.编写函数，输入字符串，日期和时间存储为“MM/DD/YYYYHR:MIN:SEC”格式，输出从“01/01/YYYY 00:00:00”开始计时的秒数。4、编写函数，输入英文句子(字符串)，输出句子中元音的个数和辅音的总个数。5、斐波拉契数列是:1，1，2，3，5，8，13…
CSS的:defined伪类：选择已定义元素的新选择器
2401_85743969的博客
08-17 640
在CSS中，伪类用于选择元素的不同状态或行为。:defined伪类是CSS4的一个特性，用于选择已经在文档中定义的元素。
Oracle数据库自学笔记：从基础到进阶
"这是一份关于Oracle自学笔记的文档，主要涵盖了Oracle数据库的基本概念、发展历程、核心要素以及SQL和PL/SQL的相关知识，适合于面试和笔试准备。" Oracle数据库是一种广泛使用的商业关系型数据库系统，它在企业级...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值