完成爬虫

最新推荐文章于 2024-07-05 17:19:57 发布
最新推荐文章于 2024-07-05 17:19:57 发布
阅读量301 收藏 1
点赞数
文章标签： 爬虫 python 操作系统
原文链接：https://my.oschina.net/u/3673704/blog/1570220
版权

财新网、东方财富、和讯网相关企业新闻搜索采集

'''财新网采集搜索新闻，该网站许多内容需要付费，所以需要登录'''

from urllib import request, parse
from bs4 import BeautifulSoup
from random import choice,random
import time

#LOGIN_URL = 'http://www.caixin.com/#'
#values = {'user': '974201953@qq.com','password':'974201953'}

def get_client():
    user_agent = ["Mozilla/5.0 (Windows NT 6.1; WOW64; rv:52.0) Gecko/20100101 Firefox/52.0",
                    "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.96 Safari/537.36",
                    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
                    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)",
                    "Mozilla/4.0 (compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
                    "Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)",
                    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)",
                    "Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)",
                    "Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR 3.0.04506.30)",
                    "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/523.15 (KHTML, like Gecko, Safari/419.3) Arora/0.3 (Change: 287 c9dfb30)",
                    "Mozilla/5.0 (X11; U; Linux; en-US) AppleWebKit/527+ (KHTML, like Gecko, Safari/419.3) Arora/0.6",
                    "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1",
                    "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9) Gecko/20080705 Firefox/3.0 Kapiko/3.0",
                    "Mozilla/5.0 (X11; Linux i686; U;) Gecko/20070322 Kazehakase/0.4.5",
                    "Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.8) Gecko Fedora/1.9.0.8-1.fc10 Kazehakase/0.5.6",
                    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
                    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/535.20 (KHTML, like Gecko) Chrome/19.0.1036.7 Safari/535.20",
                    "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; fr) Presto/2.9.168 Version/11.52",
                    ]
    return choice(user_agent)

#得到每页文章的主要内容
def get_content(article_url):

    req = request.Request(article_url)
    req.add_header('User-Agent', get_client())
    req.add_header('Connection', 'keep-alive')
    resp = request.urlopen(req)
    #print(resp.read().decode('utf-8'))
    soup = BeautifulSoup(resp.read(),'lxml')
    textbox = soup.select('div[class="textbox"]')[0]
    content = textbox.select('div[id="Main_Content_Val"]')[0].text

    return content


#获得一篇文章的一般信息
def get_info(url, name,path='F:/caixin_news'):

    req = request.Request(url)
    req.add_header('User-Agent', get_client())
    req.add_header('Connection', 'keep-alive')
    resp = request.urlopen(req)

    soup = BeautifulSoup(resp.read(),'lxml')
    articles = soup.select('div[class="searchtext"]')[0].select('ul')[0].select('li')
    for article in articles:
        try:
            article_title = article.select('div[class="searchxt"]')[0].select('a')[0].text
            article_url = article.select('div[class="searchxt"]')[0].select('a')[0].attrs['href']
            article_time = article.select('div[class="searchxt"]')[0].select('span')[0].text
            article_content = get_content(article_url)

            article_path = path + '/' + name + '_' + str(time.time()).replace('.', '') + '.txt'
            with open(article_path, mode='a') as f:
                f.write('标题：' + article_title + '\n')
                f.write('文章链接：' + article_url + '\n')
                f.write('时间：' + article_time + '\n')
                f.write(article_content)
        except Exception as e:
            print(e)
            continue

#获得每个搜索有多少页面
def get_page(url,name):

    req = request.Request(url)
    req.add_header('User-Agent', get_client())
    req.add_header('Connection', 'keep-alive')
    resp = request.urlopen(req)

    soup = BeautifulSoup(resp.read(),'lxml')
    pagingIndex = soup.select('span[id="pagingIndex"]')[0].text
    pageNum = int(pagingIndex.split('/')[1])
    for i in range(1,pageNum+1):
        url = 'http://search.caixin.com/search/search.jsp?special=false' \
              '&keyword=%s&page=%s'%(parse.quote(name),i)
        get_info(url,name)
        if i %10 == 0:
            time.sleep(random(2,5))
        print('已获得%s,第%s页内容'%(name,i)) #可以据此作为断点重连依据

'''=================开始处，首先创建“F:/caixin_news”文件夹=============='''

names = ['巨人网络','分众传媒'         ]

for name in names:

    print('开始获取 %s 内容'%name )

    url ='http://search.caixin.com/search/search.jsp?special=false&keyword=%s'%parse.quote(name)
    try:
        get_page(url,name)
    except Exception as e:
        print(e)
        print('-----发生错误------')
        continue

    print('获取%s内容结束'%name)
    time.sleep(random(10,20))
# url = 'http://companies.caixin.com/2017-11-06/101166567.html'
# get_content(url)

 

'''东方财富：采集新闻、公告,存在问题：页码无法获得'''

from urllib import request
from bs4 import BeautifulSoup
import time
from random import choice,random


def get_client():
    user_agent = ["Mozilla/5.0 (Windows NT 6.1; WOW64; rv:52.0) Gecko/20100101 Firefox/52.0",
                    "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.96 Safari/537.36",
                    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
                    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)",
                    "Mozilla/4.0 (compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
                    "Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)",
                    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)",
                    "Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)",
                    "Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR 3.0.04506.30)",
                    "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/523.15 (KHTML, like Gecko, Safari/419.3) Arora/0.3 (Change: 287 c9dfb30)",
                    "Mozilla/5.0 (X11; U; Linux; en-US) AppleWebKit/527+ (KHTML, like Gecko, Safari/419.3) Arora/0.6",
                    "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1",
                    "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9) Gecko/20080705 Firefox/3.0 Kapiko/3.0",
                    "Mozilla/5.0 (X11; Linux i686; U;) Gecko/20070322 Kazehakase/0.4.5",
                    "Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.8) Gecko Fedora/1.9.0.8-1.fc10 Kazehakase/0.5.6",
                    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
                    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/535.20 (KHTML, like Gecko) Chrome/19.0.1036.7 Safari/535.20",
                    "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; fr) Presto/2.9.168 Version/11.52",
                    ]
    return choice(user_agent)

#获得公告内容
def get_notice_content(article_url):

    req = request.Request(article_url)
    req.add_header('User-Agent', get_client())
    resp = request.urlopen(req)
    soup = BeautifulSoup(resp.read(), 'lxml')

    return soup.select('div[id="zwconbody"]')[0].get_text()


#获得公告信息
def get_notice(url,name,path ='F:/eastmoney_notice'):

    req = request.Request(url)
    req.add_header('User-Agent', get_client())
    resp = request.urlopen(req)
    soup = BeautifulSoup(resp.read(), 'lxml')

    articles = soup.select('div[class^="articleh"]')
    m = len(articles)  #m = 80

    for article in articles:
        try:
            article_title = article.select('span[class="l3"]')[0].get_text()
            article_url = article.select('span[class="l3"]')[0].select('a')[0].attrs['href']
            article_time = article.select('span[class="l5"]')[0].text
            article_content = get_notice_content('http://guba.eastmoney.com'+article_url)
            article_path = path+'/'+name+"_"+str(time.time()).replace('.','')+'.txt'

            with open(article_path,'a',encoding='utf-8') as f:
                f.write("标题： "+article_title+'\n')
                f.write("文章链接： "+'http://guba.eastmoney.com'+article_url+'\n')
                f.write('时间： '+article_time+'\n')
                f.write(article_content)
        except Exception as e:
            print(e)
            continue
    return m


# 获得文章内容
def get_news_content(article_url):

    req = request.Request(article_url)
    req.add_header('User-Agent', get_client())
    resp = request.urlopen(req)
    soup = BeautifulSoup(resp.read(), 'lxml')

    return soup.select('div[id="zw_body"]')[0].get_text()

# 获得新闻信息
def get_news(url,name,path ='F:/eastmoney_news'):

    req = request.Request(url)
    req.add_header('User-Agent', get_client())
    resp = request.urlopen(req)
    soup = BeautifulSoup(resp.read(), 'lxml')

    articles = soup.select('div[class^="articleh"]')
    m = len(articles)  #m = 80

    for article in articles:
        try:
            article_title = article.select('span[class="l3"]')[0].get_text()
            article_url = article.select('span[class="l3"]')[0].select('a')[0].attrs['href']
            # get :/news,300104,720500092.html  ；需要 http://guba.eastmoney.com/news,300104,725355151.html
            article_time = article.select('span[class="l5"]')[0].text
            article_content = get_news_content('http://guba.eastmoney.com'+article_url)
            article_path = path + '/' + name + "_" + str(time.time()).replace('.', '') + '.txt'

            with open(article_path,'a',encoding='utf-8') as f:
                f.write("标题： "+article_title+'\n')
                f.write("文章链接： "+'http://guba.eastmoney.com'+article_url+'\n')
                f.write('时间： '+article_time+'\n')
                f.write(article_content)
        except Exception as e:
            print(e)
            continue

    return m


'''=========================开始处，首先创建“F:/eastmoney_notice”和“F:/eastmoney_news”文件夹============================'''

names = ['002558','002027']

for name in names:

    print('开始获取: %s'%name)
    page = 1
    news_url = 'http://guba.eastmoney.com/list,%s,1,f_%s.html'%(name,str(page)) #这是新闻地址

    while get_news(url = news_url, name = name) == 80:

        print("已获得 %s 页新闻内容" % str(page))
        page += 1
        news_url = 'http://guba.eastmoney.com/list,%s,1,f_%s.html'%(name,str(page))
        if page % 10 == 0 :
            time.sleep(random(2,5))

    time.sleep(random(10,20))
print('-------------------新闻获取结束，开始获取公告--------------')

page = 1
names = ['002558','002027','300104','002555','002624','300418','002174','002425'
    ,'002123','300431','300052','300043','600242','002188','002131','000676','300031','002619','600652']
for name in names:
    print('开始获取: %s' % name)
    notice_url = 'http://guba.eastmoney.com/list,%s,3,f_%s.html'%(name,str(page)) #这是通知地址
    while get_notice(url = notice_url, name = name) == 80:

        print("已获得%s 页通知内容" % str(page))
        page += 1
        news_url = 'http://guba.eastmoney.com/list,%s,3,f_%s.html'%(name,str(page))
        if page % 10 == 0:
            time.sleep(random(2,5))
    time.sleep(random(10,20))
print('-------------------公告获取结束--------------')

 

#!/usr/bin/python
# -*- coding: utf-8 -*-
'''从和讯网采集相关新闻，和讯新闻固定显示十页内容'''


from bs4 import BeautifulSoup
from urllib import request,parse
import time
from random import choice,random
# 主要函数 获取标题、链接、时间

def get_client():
    user_agent = ["Mozilla/5.0 (Windows NT 6.1; WOW64; rv:52.0) Gecko/20100101 Firefox/52.0",
                    "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.96 Safari/537.36",
                    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
                    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)",
                    "Mozilla/4.0 (compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
                    "Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)",
                    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)",
                    "Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)",
                    "Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR 3.0.04506.30)",
                    "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/523.15 (KHTML, like Gecko, Safari/419.3) Arora/0.3 (Change: 287 c9dfb30)",
                    "Mozilla/5.0 (X11; U; Linux; en-US) AppleWebKit/527+ (KHTML, like Gecko, Safari/419.3) Arora/0.6",
                    "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1",
                    "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9) Gecko/20080705 Firefox/3.0 Kapiko/3.0",
                    "Mozilla/5.0 (X11; Linux i686; U;) Gecko/20070322 Kazehakase/0.4.5",
                    "Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.8) Gecko Fedora/1.9.0.8-1.fc10 Kazehakase/0.5.6",
                    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
                    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/535.20 (KHTML, like Gecko) Chrome/19.0.1036.7 Safari/535.20",
                    "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; fr) Presto/2.9.168 Version/11.52",
                    ]
    return choice(user_agent)

def get_content(article_url):
    req = request.Request(article_url)
    req.add_header('User-Agent', get_client())
    resp = request.urlopen(req)
    soup = BeautifulSoup(resp.read(), 'lxml')

    return soup.select('div[class="art_contextBox"]')[0].text

#获得必要信息
def get_info(url, name,path = 'F:/hexun_news'):

    req = request.Request(url)
    req.add_header('User-Agent',get_client())
    resp = request.urlopen(req)
    soup = BeautifulSoup(resp.read(),'lxml')

    newss = soup.select('div[class^="newslist"]')
    for news in newss:
        try:
            article_title = news.select('span[class="breakdiv"]')[0].text
            article_url = news.select('span[class="breakdiv"]')[0].select('a')[0].attrs['href']
            article_time = news.select('div[class="news-l-t"]')[0].select('span')[1].text
            article_content = get_content(article_url)

            article_path = path + '/' + name + '_' + str(time.time()).replace('.', '') + '.txt'
            with open(article_path, 'a', encoding='utf-8') as f:
                f.write("标题： " + article_title + '\n')
                f.write("文章链接：" + article_url + '\n')
                f.write("时间：" + article_time + '\n')
                f.write(article_content)
        except Exception as e:
            print(e)
            continue




'''================开始处，首先创建“F:/hexun_news”文件夹==========='''

names = ['巨人网络',]

for name in names:
    for i in range(1,11):
        byteName = name.encode('gbk')
        quoteName = parse.quote(byteName)
        url = r'http://news.search.hexun.com/news?key=%s&t=all&s=0&f=0&page=%s'%(quoteName,i)
        try:
             get_info(url=url,name=name)
        except:
            continue
    print('已经获得%s数据'%name)
    time.sleep(random(5,10))

转载于:https://my.oschina.net/u/3673704/blog/1570220

chuyijian7784
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
爬虫应用|基于网络爬虫技术的网络新闻分析
软件开发实战项目分享
05-30 1776
爬虫技术：采用什么语言、什么框架来写爬虫，现阶段有什么样的流行的java爬虫框架？如何从松散、非结构化的网络新闻中得到结构化的、紧凑的网络新闻数据。
python3 爬虫技巧_Python 3.x爬虫技巧总结 (转)
weixin_33389183的博客
01-14 161
E文好的同学也看直接查看Python文档，Windows下 可能的路径：C:\Python34\Doc21.6. urllib.request — Extensible library for opening URLs或者是直接去官网查看：https://docs.python.org/3/library/urllib.request.html里面的内容足以支持写出不错的爬虫程序1.最基本的抓站1...
【网络爬虫】网络爬虫之入门练习
YangMax1的博客
11-14 6263
目录一、网络爬虫基本介绍二、爬取南阳理工OJ题目1. 网页分析2. 内容爬取三、爬取重交新闻通知1. 网页分析2. 内容爬取四、总结五、参考 一、网络爬虫基本介绍   网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。   简单来说就是通过编写脚本模拟浏览器发起请求获取数据。爬虫从初始网页的URL开始, 获取初始网页上的URL，在抓取网页的过程中，不断从当前页面抽取新的url放入队列。直到满足系统给定的停止条件才停
实操 | 从0到1教你用Python来爬取整站天气网
涛哥聊Python
09-12 715
Scrapy Scrapy是Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。一、安装scrapy 安装Twis...
Scrapy框架系列--爬虫又被封了？（2）
lsxxx2011的专栏
12-14 742
目录前言SpiderMiddleware瞎比比前言上一篇文章《爬虫利器初体验（1）》中，我们举了个简单的栗子，但是在真实的开发中这样的爬虫代码很容易就会被封掉。那么怎么样...
以图形化方式定义爬虫流程，不写代码即可完成爬虫
10-12
然而，随着技术的发展，"以图形化方式定义爬虫流程，不写代码即可完成爬虫"的新型爬虫平台应运而生，极大地降低了爬虫的入门门槛。 这种新型爬虫平台的核心理念是通过图形用户界面（GUI）来构建爬虫流程，用户无需...
新一代爬虫平台，以图形化方式定义爬虫流程，不写代码即可完成爬虫。.zip
11-09
新一代爬虫平台是一种创新的工具，它通过图形化界面而非传统的编程方式，使得用户能够更加直观和便捷地定义和执行网络爬虫任务。这个平台的核心理念是降低爬虫技术的入门门槛，使得非程序员或者对编程不熟悉的人也能...
新一代爬虫平台，以图形化方式定义爬虫流程，不写代码即可完成爬虫
05-19
平台以流程图的方式定义爬虫,是一个高度灵活可配置的爬虫平台 特性 支持Xpath/JsonPath/css选择器/正则提取/混搭提取 支持JSON/XML/二进制格式 支持多数据源、SQL select/selectInt/selectOne/insert/update/...
spider-flow:新一代爬虫平台，以图形化方式定义爬虫流程，不写代码即可完成爬虫
03-19
||| |||||介绍平台以流程图的方式定义爬虫，是一个高度灵活可配置的爬虫平台特性支持Xpath / JsonPath / css选择器/正则提取/混搭提取支持JSON / XML /二进制格式支持多数据源，SQL select / selectInt / selectOne ...
Python爬虫爬取大街网工作数据
奔跑的五花肉
02-25 932
最近工作状态不饱满，想看看招聘网站上Java工程师都能给多少钱，于是就试试动手写爬虫，最开始使用的是requests，结果发现请求一直报403，估计是网站都有反爬虫手段，目前水平有限，不知道怎么反爬虫，看来这条路行不通 # -*- coding: utf-8 -*- import re import urllib.request import urllib import random #网络数...
如何防止scrapy爬虫被禁止
京东放养的爬虫
12-15 1万+
根据scrapy官方文档：http://doc.scrapy.org/en/master/topics/practices.html#avoiding-getting-banned里面的描述，要防止scrapy被ban，主要有以下几个策略。 1.动态设置user agent 2.禁用cookies 3.设置延迟下载 4.使用IP地址池（Tor project、VPN和代理IP） 5.
python用requests爬取新浪财经首页要闻
amelia1995的博客
05-22 1489
目的：爬取新浪财经首页要闻模块下的全部新闻标题及内容 工具：python， 第三方库requests模块， lxml模块 requests，lxml需要安装（pip安装即可，或者去官网下载压缩包） 代码： import requests from lxml import etree def search_article(url): """ ...
如何让你的scrapy爬虫不再被ban
nicajonh的博客
10-09 1206
根据scrapy官方文档： http://doc.scrapy.org/en/master/topics/practices.html#avoiding-getting-banned 里面的描述，要防止scrapy被ban，主要有以下几个策略。 动态设置user agent禁用cookies设置延迟下载使用 Google cache使用IP地址池（ Tor project 、VPN和
9款免费的跨浏览器测试工具
weixin_34097242的博客
03-04 621
网站开发人员经常需要检查网站的兼容性，在各种浏览器中，以确保网站的作品完美地在所有的浏览器。为此，有大量的跨浏览器测试工具，可以帮助开发人员检查他们的网站之前，他们的网站是。 这里是全集合的一些最好的免费以及高级跨浏览器测试工具，将允许开发人员测试一切。我们希望你会喜欢这个集合，并发现这些工具对你有用。通过下面的评论部分分享你的想法。享受！ 1.BrowserShots Browsersho...
Python抓取代理IP----用代理采集代理，构建自己的代理IP池
热门推荐
郑德帅
12-20 1万+
一.前言: 采集数据时，难免会遇到各种反爬机制，例如封IP就是很让人头疼的问题。 封IP又分为两种情形: 情形一：访问时间间隔短，访问太快，网站限制访问，直接提示访问频率太高，网站返回不是你所要请求的内容； 情形二：直接封禁IP，无法访问 ...
Python爬虫User-Agent汇总（防止反爬）
Crescent的博客
03-04 2812
随机选择UserAgent可以在爬虫的时候有效的避免被反爬，下面是汇总的UserAgent并用list的形式展示USER_AGENTS = [    "'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)'",    "'Mozilla...
Java基础:爬虫
weixin_65752158的博客
07-04 823
Pattern:表示正则表达式Matcher:文本匹配器，作用按照正则表达式的规则去读取字符串，从头开始读取。在大串中去找符合匹配规则的子串。通过Pattern p = Pattern.compile("正则表达式");获得 通过Matcher m = p.matcher(str);获得 (m要在str中找符合p规则的小串)其中, m为Matcher对象, p为正则表达式规则, str为要验证的字符串. boolean b = m.find(); 表示拿着文本匹配器从头开始读取，寻找是否有
python爬虫入门（二）之Requests库
最新发布
2302_79795489的博客
07-05 109
1、requests库让我们可以通过python代码去构建和发送HTTP请求2、第三方库，要先安装python终端，输入pip install requestssuccessfully installed：安装成功requirement already satisfied: 说明已经安装过，无需再安装若没有pip（python包管理工具）则可以先去http://pip.pypa.io/en/stable/installation/学习下载安装3、
爬虫 属性 方法
weixin_46807151的博客
07-02 412
在Python中，爬虫常用于从网页上抓取数据。BeautifulSoup是一个流行的库，用于从HTML或XML文件中提取数据。它创建了一个解析树，方便你从文档中查找、修改或导航数据。
使用python完成爬虫系统，爬取视频
07-10
当然可以使用Python来构建一个爬虫系统，用于爬取视频数据。以下是一个简单的示例代码，用于爬取某个视频网站的视频信息： ```python import requests from bs4 import BeautifulSoup def scrape_videos(url): response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') video_list = [] videos = soup.find_all('a', class_='video-link') for video in videos: title = video.text.strip() video_url = video['href'] video_list.append({'title': title, 'url': video_url}) return video_list # 示例使用的是某个视频网站的URL video_url = 'https://example.com/videos' videos = scrape_videos(video_url) for video in videos: print('Title:', video['title']) print('URL:', video['url']) print('---') ``` 上述代码使用了`requests`库发送HTTP请求，以获取网页内容。然后，使用`BeautifulSoup`库解析网页内容，提取视频信息。你可以根据不同的视频网站，调整代码中的选择器和提取逻辑。 请注意，在进行爬取之前，请确保你了解并遵守相关网站的使用条款和政策，以避免违反法律和道德规范。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值