爬取某知名网站的数据

最新推荐文章于 2024-10-01 23:10:29 发布
最新推荐文章于 2024-10-01 23:10:29 发布
阅读量8w 收藏 6
点赞数 3
分类专栏： 计算机网络 python 文章标签： python proxy 爬虫 url
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45504981/article/details/109883106
版权

爬取某知名网站的数据😄

爬虫 + 骚操作 = 不讲武德 = 耗子尾汁

增加你的浏览量
github传送门： https://github.com/rzy0901/CSDN_visitor

需要安装的包

1️⃣

BeautifulSoup

2️⃣

urllib

安装方法：

百度 + 随缘 pip install xxx

代码函数介绍

1️⃣

def get_page_url_list(homepage_url, page_number):
    for page in range(1, page_number + 1):
        page_url_list.append("{0}/article/list/{1}".format(homepage_url, page))
    print('page_url_list: ' + page_url_list.__str__())
  • 功能：得到你的博客每一页的URL列表
  • homepage_url: 博客主页的URL
  • page_number: 博客的页数
  • 注意！这个函数只适用于CSDN，别的博客可以自己观察一下换页之后博客主页的网址形式，再修改代码

2️⃣

def get_article_list(pageurl_list):
    for page_url in pageurl_list:
        response = requests.get(page_url, headers={'User-Agent': User_Agent[random.randint(0, len(User_Agent) - 1)],
                                                   'referer': 'http://blog.csdn.net'})
        soup = BeautifulSoup(response.content, 'lxml')
        h4 = soup.find_all("h4")
        for h in h4:
            if h is not None:
                article_list.append(h.a["href"])
            else:
                pass
    print("article_list" + article_list.__str__())
  • 功能：得到你的博文的URL列表（全部）
  • 输入为pageurl_list，即通过get_page_url_list得到的列表

3️⃣

def get_proxy_list():
    for row in urlopen('http://proxylist.fatezero.org/proxy.list').readlines():
        item = json.loads(row)
        if item['type'] == 'http' and item['anonymity'] == 'high_anonymous' and item['response_time'] < 7:
            proxy_list.append(item['host'] + ':' + str(item['port']))
    print("proxy_list" + proxy_list.__str__())

  • 功能：得到代理ip列表（目的为每隔一分钟更换代理ip，防止爬虫被发现）

  • 需要翻墙，所以直接用我跑出来的列表就行了。

  • 当然也可以选择别的网站获取代理ip的列表。

整体代码

import random
import requests
from bs4 import BeautifulSoup
from urllib.request import urlopen
import json
import datetime
from threading import Thread
import time

page_url_list = []

article_list = []

# 这个不要改，预设好的代理ip
proxy_list = ['3.211.17.212:80', '208.80.28.208:8080', '169.57.1.84:8123',
              '208.81.193.205:80', '51.81.113.246:80', '138.197.157.16:80',
              '52.170.221.245:80', '134.209.162.216:80', '204.13.164.179:80', '159.8.114.37:80', '159.8.114.37:8123',
              '62.102.235.187:80', '195.201.74.70:80', '83.96.237.121:80', '169.57.157.148:80', '78.47.16.54:80',
              '159.8.114.34:8123', '161.202.226.194:8123', '23.91.96.251:80', '80.48.119.28:8080', '119.81.189.194:80',
              '103.115.14.43:80', '149.28.28.66:80', '119.81.71.27:8123', '119.81.71.27:80', '181.94.244.49:8080',
              '119.206.242.196:80', '136.243.254.196:80', '122.147.141.151:80', '45.202.9.160:8888',
              '51.75.147.43:3128', '68.94.189.60:80', '60.255.151.82:80', '58.218.239.164:4216', '162.144.50.197:3838',
              '149.28.157.229:3128', '180.250.12.10:80', '150.109.32.166:80', '115.223.7.110:80', '47.98.112.7:80',
              '43.254.221.27:80', '101.132.143.232:80', '223.82.106.253:3128', '46.4.129.54:80', '14.63.228.217:80',
              '82.200.233.4:3128', '165.22.66.91:80', '80.253.247.42:3838', '116.254.116.99:8080', '51.75.147.44:3128',
              '132.145.18.53:80', '135.181.68.88:3128', '162.144.46.168:3838', '51.15.157.182:3838',
              '212.83.161.110:3838', '162.144.48.139:3838', '47.75.90.57:80', '162.144.48.236:3838', '51.81.82.175:80',
              '31.14.49.1:8080', '195.154.242.205:3838', '163.172.127.248:3838', '51.75.147.35:3128',
              '182.52.238.119:40456', '212.129.32.41:3838', '110.44.117.26:43922', '40.121.91.147:80',
              '13.233.254.153:80', '193.110.115.220:3128', '79.134.7.134:48900', '128.199.83.56:9999']

User_Agent = [
    "Mozilla/5.0 (iPod; U; CPU iPhone OS 4_3_2 like Mac OS X; zh-cn) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8H7 Safari/6533.18.5",
    "Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_3_2 like Mac OS X; zh-cn) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8H7 Safari/6533.18.5",
    "MQQBrowser/25 (Linux; U; 2.3.3; zh-cn; HTC Desire S Build/GRI40;480*800)",
    "Mozilla/5.0 (Linux; U; Android 2.3.3; zh-cn; HTC_DesireS_S510e Build/GRI40) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1",
    "Mozilla/5.0 (SymbianOS/9.3; U; Series60/3.2 NokiaE75-1 /110.48.125 Profile/MIDP-2.1 Configuration/CLDC-1.1 ) AppleWebKit/413 (KHTML, like Gecko) Safari/413",
    "Mozilla/5.0 (iPad; U; CPU OS 4_3_3 like Mac OS X; zh-cn) AppleWebKit/533.17.9 (KHTML, like Gecko) Mobile/8J2",
    "Mozilla/5.0 (Windows NT 5.2) AppleWebKit/534.30 (KHTML, like Gecko) Chrome/12.0.742.122 Safari/534.30",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_2) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.202 Safari/535.1",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_2) AppleWebKit/534.51.22 (KHTML, like Gecko) Version/5.1.1 Safari/534.51.22",
    "Mozilla/5.0 (iPhone; CPU iPhone OS 5_0 like Mac OS X) AppleWebKit/534.46 (KHTML, like Gecko) Version/5.1 Mobile/9A5313e Safari/7534.48.3",
    "Mozilla/5.0 (iPhone; CPU iPhone OS 5_0 like Mac OS X) AppleWebKit/534.46 (KHTML, like Gecko) Version/5.1 Mobile/9A5313e Safari/7534.48.3",
    "Mozilla/5.0 (iPhone; CPU iPhone OS 5_0 like Mac OS X) AppleWebKit/534.46 (KHTML, like Gecko) Version/5.1 Mobile/9A5313e Safari/7534.48.3",
    "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.202 Safari/535.1",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows Phone OS 7.5; Trident/5.0; IEMobile/9.0; SAMSUNG; OMNIA7)",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0; XBLWP7; ZuneWP7)",
    "Mozilla/5.0 (Windows NT 5.2) AppleWebKit/534.30 (KHTML, like Gecko) Chrome/12.0.742.122 Safari/534.30",
    "Mozilla/5.0 (Windows NT 5.1; rv:5.0) Gecko/20100101 Firefox/5.0",
    "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.2; Trident/4.0; .NET CLR 1.1.4322; .NET CLR 2.0.50727; .NET4.0E; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; .NET4.0C)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; .NET4.0E; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; .NET4.0C)",
    "Mozilla/4.0 (compatible; MSIE 60; Windows NT 5.1; SV1; .NET CLR 2.0.50727)",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)",
    "Opera/9.80 (Windows NT 5.1; U; zh-cn) Presto/2.9.168 Version/11.50",
    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)",
    "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727; .NET CLR 3.0.04506.648; .NET CLR 3.5.21022; .NET4.0E; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; .NET4.0C)",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/533.21.1 (KHTML, like Gecko) Version/5.0.5 Safari/533.21.1",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; ) AppleWebKit/534.12 (KHTML, like Gecko) Maxthon/3.0 Safari/534.12",
    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 2.0.50727; TheWorld)"
]


def get_page_url_list(homepage_url, page_number):
    for page in range(1, page_number + 1):
        page_url_list.append("{0}/article/list/{1}".format(homepage_url, page))
    print('page_url_list: ' + page_url_list.__str__())


def get_article_list(pageurl_list):
    for page_url in pageurl_list:
        response = requests.get(page_url, headers={'User-Agent': User_Agent[random.randint(0, len(User_Agent) - 1)],
                                                   'referer': 'http://blog.csdn.net'})
        soup = BeautifulSoup(response.content, 'lxml')
        h4 = soup.find_all("h4")
        for h in h4:
            if h is not None:
                article_list.append(h.a["href"])
            else:
                pass
    print("article_list" + article_list.__str__())


def get_proxy_list():
    for row in urlopen('http://proxylist.fatezero.org/proxy.list').readlines():
        item = json.loads(row)
        if item['type'] == 'http' and item['anonymity'] == 'high_anonymous' and item['response_time'] < 7:
            proxy_list.append(item['host'] + ':' + str(item['port']))
    print("proxy_list" + proxy_list.__str__())


def run():
    while True:
        for proxy in proxy_list:
            proxy = {'http': proxy}
            for article in article_list:
                header = {'User-Agent': User_Agent[random.randint(0, len(User_Agent) - 1)]}
                try:
                    requests.get(article, headers=header, proxies=proxy, timeout=7)
                    print('ok ip:' + proxy['http'] + 'article:' + article)
                except:
                    print('no')
                    if proxy['http'] in proxy_list:
                        proxy_list.remove(proxy['http'])
            time.sleep(60)  # 哎呀，我服了，csdn好像在一分钟以内即使由多个不同的代理ip来访问它，它的访问量还是为1.（也就是一分钟内，你每一篇文章的最大访问量永远为1）
            # 妈的，草鸡玩意，太精明了


if __name__ == '__main__':
    random.seed(datetime.datetime.now())
    # get_proxy_list()  # 这玩意需要翻墙才可以爬取，而且有时候不成，所以直接用现成的就行。
    get_page_url_list(homepage_url='https://blog.csdn.net/qq_45504981', page_number=1)
    get_article_list(pageurl_list=page_url_list)
    mission = list()  # 多线程跑的快
    nums = 50
    for i in range(nums):
        mission.append(Thread(target=run()))
    for i in range(nums):
        # mission[i].setDaemon(True)
        mission[i].start()
    for i in range(nums):
        mission[i].join()

运行案例

image-20201121010221453

  • 我应该已经挂机一段时间了，刷新一下网页界面：(可以看一下我电脑显示的时间)

image-20201121010427650

大约每分钟14个浏览量（你有几篇博文，每分钟有几个浏览量，相当于每分钟拿一个新的ip把你的博文遍历访问一遍）。

备注

  • 悠着点用，号没了。
    在这里插入图片描述

  • csdn目前的机制一分钟内无论多少ip访问一篇博文，博文的最大访问量为1!!!(所以投机取巧是几乎不可能，更换ip意义在于防止爬虫被发现)

  • 更换User-Agent以及代理ip防止爬虫被发现

忧伤的小马
关注
专栏目录
python爬虫项目（四十一）：爬取全球知名公司的财报数据并分析其财务健康状况
sybh的博客
10-03 1276
资产负债表（Balance Sheet）：反映公司在某一时点的资产、负债和股东权益状况。利润表（Income Statement）：展示公司在一定时期内的收入、支出和净利润。现金流量表（Cash Flow Statement）：记录公司在经营活动、投资活动和融资活动中的现金流入和流出。通过分析这些报表，能够全面了解企业的盈利能力、流动性、偿债能力等财务健康状况。Requests：发送HTTP请求，获取网页的HTML内容。：解析HTML文档，提取所需数据。Selenium。
python爬虫项目（一百六十九）：爬取体育赛事网站比分，并进行评论分析
最新发布
sybh的博客
10-11 640
Scrapy：适用于结构化数据的爬取，提供强大的请求管理和数据解析功能。Selenium：用于处理需要JavaScript加载的动态页面，模拟用户行为抓取网页内容。：一个轻量级HTML和XML解析库，适用于简单网页的数据提取。代理池与IP轮换：由于某些网站对访问频率有限制，代理池可以避免IP被封禁。在本项目中，我们将结合Scrapy和Selenium来处理静态和动态数据，确保能够完整、准确地抓取比分和评论数据。本文详细介绍了如何构建一个体育赛事网站比分与评论分析系统。
爬取网页数据
m0_56600567的博客
07-03 556
爬取网页数据 学习目标 了解什么是urllib库，能够快速使用urllib爬取网页 掌握如何转换URL编码，可以使用GET和POST两种方式实现数据传输 知道伪装浏览器的用途，能够发送加入特定Headers的请求 掌握如何自定义opener，会设置代理服务器 理解服务器的超时，可以设置等待服务器响应的时间 熟悉一些常见的网络异常，可以对其捕获后进行相应的额处理 掌握requests库的使用，能够深入体会到requests的人性化 urllib库的概述 urllib库是python内置的HTTP请求库，它
简单爬取网页数据
qq_63627848的博客
07-16 206
【代码】简单爬取网页数据。
Python爬虫——简单网页抓取（实战案例）
2301_78095812的博客
06-17 3764
下面就按这个路线逐一讲讲各部分的内容；HTTP协议是一个应用层面向对象协议，也叫超文本传输协议。是基于TCP协议的可靠传输，采用客户端/服务器端模式，指定了客户端可能发送给服务器什么样的消息，以及服务端给出什么样的响应。HTTP协议请求由状态行、请求头和请求正文三部分组成；请求端的HTTP报文叫做请求报文，响应端的叫做响应报文，通常，并不一定要有报文主体。HTTP1.0 定义了三种请求方法： GET, POST 和 HEAD方法。
JSOUP爬取数据的学习测试
人的一生就是在学习的道路上不断进步
04-25 457
Jsoup是一款Java 的HTML解析器
记录网页爬取测试
fighting_tl的博客
06-08 322
# !/usr/bin/env python # -*- coding:utf-8 -*- import requests import json import sys import re import xlsxwriter reload(sys) sys.setdefaultencoding('utf-8') def url_infos(page): url = 'http://app.ssia.org.cn/ssia/khgl/qycx/index.jsp?QYMC=&LBDM=0.
轻松入门Python爬取基金数据
Will的大食堂
11-14 1505
美国疫情越来越严峻，大选也进入了最后阶段，受之影响美股指数也在在下行中。最近的A股也在跟随美股没有什么起色，一直在动荡整理之中。玩股票基金的同学们，最近大家的仓位控制的怎么样？为了更好的科学分析基金，今天将和大家一起学习如何使用Python爬取基金数据。 下面我们将一起学习爬取基金数据，在这之前我们先做一些准备工作，配置好我们的环境。这里需要用到几个Python库需要安装： requests：它是一个HTTP 库，可方便的进行web访问；pip install requests PyExecJs：它.
爬取某网站数据
HZQPEIQI的博客
02-20 275
特定网站某种
python爬虫项目（八）：爬取B站视频数据并进行视频流行趋势预测
sybh的博客
10-01 1308
随着视频平台的普及，B站（哔哩哔哩）作为中国知名的弹幕视频网站，拥有大量用户和内容创作者。我们可以利用ARIMA模型进行时间序列预测，特别适合预测连续时间点上的数据，如视频播放量的增长趋势。# 可视化相关系数矩阵。
爬取代理池（高匿http)
阿拉修
08-16 3026
文章目录爬取的目标网站66ipproxylist快代理验证ip可用性完整代码结尾 爬取的目标网站 1 66ip 2 proxylist 3, 快代理 66ip ##定义单页爬取函数 def parse_page(url): r = requests.get(url,headers=headers) if r.status_code == 200: html = etree.HTML(r.text) trs = html.xpath('//
python爬取网站数据（含代码和讲解）
weixin_50706330的博客
09-29 6万+
python爬取网站数据~
python爬虫入门，轻松爬取网页上的数据(非常详细)
CSDN_430422的博客
11-04 6万+
随着网络的普及和信息爆炸式增长，我们可以通过网络来获取各种各样的数据。而Python作为一门强大而灵活的编程语言，可以帮助我们快速地从HTML网页中提取数据。本文将介绍Python爬虫的入门知识，并详细讲解如何使用Python爬虫来爬取HTML网页上的数据。1.了解HTML和网页结构2.安装和导入相关依赖库3.发送http请求获取网页内容4.解析HTML网页内容5.定位内容和提取数据6.保存抓取的数据在开始编写爬虫之前，了解HTML和网页的结构是非常重要的。
Python爬虫入门教程！手把手教会你爬取网页数据
weixin_55154866的博客
02-14 3984
其实在当今社会，网络上充斥着大量有用的数据，我们只需要耐心的观察，再加上一些技术手段，就可以获取到大量的有价值数据。这里的“技术手段”就是网络爬虫。今天就给大家分享一篇爬虫基础知识和入门教程：
Python爬虫——简单网页抓取（实战案例）小白篇
m0_74942241的博客
10-27 2万+
在着手写爬虫抓取网页之前，要先把其需要的知识线路理清楚。 首先：了解相关的Http协议知识； 其次：熟悉Urllib、Requests库； 再者：开发工具的掌握 PyCharm、Fiddler； 最后：网页爬取案例；
Python爬虫爬取某网站数据
01-23
代码仅供参考学习！ Scrapy爬虫 爬取某网站数据 Scrapy爬虫 爬取某网站数据 Scrapy爬虫 爬取某网站数据 Scrapy爬虫 爬取某网站数据
java爬取携程酒店评价信息
11-05
在Java编程领域，爬虫是一种常见的技术，用于自动地从互联网上抓取信息。本项目专注于使用Java编写...在实践中，不断提升对网站结构和反爬策略的分析能力，以及处理数据的技巧，是成为一名合格的Java爬虫开发者的关键。
【整理】爬取网页数据的方法汇总
随笔
07-01 1万+
python爬虫、浏览器console获取网页信息、浏览器插件自动爬取数据、爬虫软件，etc.
从网页爬取数据
小小鹿luby的博客
12-19 2万+
  网络是丰富的数据来源，您可以从中提取各种类型的见解和发现。 在本部分，学习如何从Web获取数据，无论是存储在文件中还是HTML中。 您还将学习抓取和解析Web数据的基础知识 从网上导入平面文件 1、从网上导入平面文件 从Web导入了一个文件，将其保存在本地并将其加载到DataFrame中。 导入文件是来自加州大学欧文分校机器学习库的“winequality-red.csv”。 该平面...
Python爬取网页数据
热门推荐
你缺少想象力的博客
08-29 16万+
都说python爬网页数据方便，我们今天就来试试，python爬取数据到底有多方便 简介 爬取数据，基本都是通过网页的URL得到这个网页的源代码，根据源代码筛选出需要的信息 准备 IDE：pyCharm 库：requests、lxml 大概介绍一下，这俩库主要为我们做什么服务的 requests：获取网页源代码 lxml：得到网页源代码中的指定数据 言简意赅有没有 ^_^...
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值