Python爬取各大外包网站需求

最新推荐文章于 2024-04-14 14:48:28 发布
置顶 最新推荐文章于 2024-04-14 14:48:28 发布
阅读量1.5w 收藏 121
点赞数 18
分类专栏： 网络爬虫案例 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Uncle_wangcode/article/details/127819205
版权

文章目录

前言

为了更好的掌握数据处理的能力，因而开启Python网络爬虫系列小项目文章。

  • 小项目小需求驱动
  • 总结各种方式
    • 页面源代码返回数据（Xpath、Bs4、PyQuery、正则）
    • 接口返回数据

一、需求

二、分析

一品威客
1、查看网页源代码
2、查找数据
3、获取详情页（赏金、任务要求、需求、状态）

在这里插入图片描述
在这里插入图片描述

软件项目交易网
1、查看网页源码
2、全局搜索数据

在这里插入图片描述
在这里插入图片描述

获取YesPMP平台需求任务
1、查看网页源代码
2、全局搜索数据

在这里插入图片描述
在这里插入图片描述

码市
1、F12抓包即可获取数据
2、构造请求即可获取数据

在这里插入图片描述

三、处理

一品威客
1、任务页任务
2、详情页（处理直接雇佣）
3、获取赏金、任务要求、时间

# -*- encoding:utf-8 -*-
__author__ = "Nick"
__created_date__ = "2022/11/12"


import requests
from bs4 import BeautifulSoup
import re


HEADERS = {"user-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36",
           "Content-Type": "text/html; charset=utf-8"}


def get_index_source(url):
    res = requests.request("GET",url=url,headers=HEADERS)
    res.encoding = "utf-8"
    return res.text

# 实例化bs4
def method_bs4(html):
    page = BeautifulSoup(html, "html.parser")
    return page



# 直接雇佣任务
def method_zz(code):
    deal = re.compile(r'<meta name="description" content="(?P<is_direct>.*?)" />',re.S)
    result = deal.finditer(code)
    for i in result:
        check = i.group("is_direct")
        if "直接雇佣任务" in check:
            return True


def get_task_url(html):
    page = method_bs4(html)
    # 通过class属性获取页面的任务div
    div = page.select(".title.marginLeft")
    #
    url_list = {}
    for _div in div:
        # 获取url
        content_url = _div.find("a")["href"]
        content = _div.text
        task = content.split("【数据采集】")[1]
        url_list[task] = content_url
    return url_list


def get_task_content(url_dict):
    with open("一品威客任务.txt",mode="a+", encoding="utf-8") as f:
        for name, url in url_dict.items():
            # print(name,url)
            code_source = get_index_source(url)
            page = method_bs4(code_source)
            # 获取赏金
            money = page.select(".nummoney.f_l span")
            for _money in money:
                task_money = _money.text.strip("\n").strip(" ")
                print(task_money)
            # 直接雇佣任务无法查看详情,进行处理
            result = method_zz(code_source)
            if result:
                f.write(f"直接雇佣-{name}{task_money}\n")
            # 获取开始、结束时间
            time = page.select("#TimeCountdown")
            for _time in time:
                start_time = _time["starttime"]
                end_time = _time["endtime"]
                print(start_time,end_time)
            # 获取需求任务
            content = page.select(".task-info-content p")
            for _content in content:
                content_data = _content.text
                print(content_data)
            f.write(f"{name}---{content_data},{task_money},{start_time},{end_time}\n")


if __name__ == '__main__':
    url = "https://task.epwk.com/sjcj/"
    html = get_index_source(url)
    url_dict = get_task_url(html)
    get_task_content(url_dict)

软件项目交易网
通过Xpath即可获取对应数据

# -*- encoding:utf-8 -*-
__author__ = "Nick"
__created_date__ = "2022/11/12"


import requests
from lxml import etree


HEADERS = {"user-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36",
           "Content-Type": "text/html; charset=utf-8"}


def get_index_source(url):
    res = requests.request("GET",url=url,headers=HEADERS)
    res.encoding = "utf-8"
    return res.text

# 实例化etree
def method_xpath(html):
    parse = etree.HTML(html)
    return parse


def get_task_info(html):

    with open("软件交易网站需求.txt",mode="w",encoding="utf-8") as f:
        # 实例化xpath
        parse = method_xpath(html)
        # 通过xpath定位
        result = parse.xpath('//*[@id="projectLists"]/div/ul/li')
        for li in result:
            # 获取任务状态
            status = li.xpath('./div[@class="left_2"]/span/text()')[1]
            # 剔除空格，其它符号
            status = status.strip()
            # 获取任务
            task = li.xpath('./div[@class="left_8"]/h4/a/text()')
            task_content = task[-1].strip()
            # 获取预算
            bond = li.xpath('./div[@class="left_8"]/span[1]/em/text()')[0]
            # 获取人气
            hot = li.xpath('./div[@class="left_8"]/span[2]/em/text()')[0]
            # 发布日期
            start_time = li.xpath('./div[@class="left_8"]/span[3]/em/text()')[0]
            # 截止日期
            end_time = li.xpath('./div[@class="left_8"]/span[4]/em/text()')[0]
            f.write(f"{status},{task_content},{bond},{hot},{start_time},{end_time}\n")




if __name__ == '__main__':
    url = "https://www.sxsoft.com/page/project"
    html = get_index_source(url)
    get_task_info(html)

获取YesPMP平台需求任务
通过PQuery即可获取数据

# -*- encoding:utf-8 -*-
__author__ = "Nick"
__created_date__ = "2022/11/12"


import requests
from pyquery import PyQuery as pq


HEADERS = {"user-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36",
           "Content-Type": "text/html; charset=utf-8"}


def get_index_source(url):
    res = requests.request("GET",url=url,headers=HEADERS)
    res.encoding = "utf-8"
    return res.text

# 实例化pq
def method_pq(html):
    parse = pq(html)
    return parse


def get_task_info(html):
    with open("yespmp网站需求.txt",mode="a",encoding="utf-8") as f:
        parse = method_pq(html)
        # 通过class属性进行定位
        result =parse.find(".promain")
        # print(result)
        for _ in result.items():
            # 任务名称
            task_name = _.find(".name").text()
            # 赏金
            price =  _.find(".price").text()
            # 项目周期
            date = _.find(".date").text()
            # 竞标人数
            bid_num =  _.find(".num").text()
            f.write(f"{task_name},{price},{date},{bid_num}\n")


if __name__ == '__main__':
    for i in range(2,10):
        url = f"https://www.yespmp.com/project/index_i{i}.html"
        html = get_index_source(url)
        get_task_info(html)

码市
基本request请求操作（请求头、参数）

# -*- encoding:utf-8 -*-
__author__ = "Nick"
__created_date__ = "2022/11/12"


import requests
import json

headers = {
        'cookie': 'mid=6c15e915-d258-41fc-93d9-939a767006da; JSESSIONID=1hfpjvpxsef73sbjoak5g5ehi; _gid=GA1.2.846977299.1668222244; _hjSessionUser_2257705=eyJpZCI6ImI3YzVkMTc5LWM3ZDktNTVmNS04NGZkLTY0YzUxNGY3Mzk5YyIsImNyZWF0ZWQiOjE2NjgyMjIyNDM0NzgsImV4aXN0aW5nIjp0cnVlfQ==; _ga_991F75Z0FG=GS1.1.1668245580.3.1.1668245580.0.0.0; _ga=GA1.2.157466615.1668222243; _gat=1',
        'referer': 'https://codemart.com/projects?labelId=&page=1',
        'accept': 'application/json',
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36'
    }


def get_data():
    url = "https://codemart.com/api/project?labelId=&page=1"
    payload = {}
    response = requests.request("GET", url, headers=headers, data=payload)
    print(json.loads(response.text))


if __name__ == '__main__':
    get_data()

四、总结

  • Xpath
    • 适用于要获取的信息在某个标签下，且各标签层次明显，通过路径找到位置，for循环遍历即可
  • Bs4
    • 适用于要获取的信息比较分散，且通过选择器可以定位（class唯一、id唯一）
  • PyQuery
    • 适用于要获取的信息比较分散，且通过选择器可以定位（class唯一、id唯一）
  • 正则
    • 通过（.*？）就可以处理元素失效或者定位少量信息
    • 不适用网页代码有很多其它符号，定位失效
  • 接口返回数据
    • 对于接口没有进行加密，通过requests构造请求即可获取数据
    • 关注点在请求头中的参数

欢迎加入免费的知识星球内！
我正在「Print(“Hello Python”)」和朋友们讨论有趣的话题，你⼀起来吧？
https://t.zsxq.com/076uG3kOn

PyCrawlFlutter Lab
关注
专栏目录
Python爬虫入门教程 37-100 云沃客项目外包网数据爬虫 scrapy
梦想橡皮擦，专栏100例写作模式先行者，现象级专栏 《Python 爬虫 100 例》作者、《滚雪球学 Python 专栏》原创者
01-02 2万+
爬前叨叨 2019年开始了，今年计划写一整年的博客呢~，第一篇博客写一下 一个外包网站的爬虫，万一你从这个外包网站弄点外快呢，呵呵哒 数据分析 官方网址为 https://www.clouderwork.com/ 进入全部项目列表页面，很容易分辨出来项目的分页方式 get异步请求 Request URL:https://www.clouderwork.com/api/v2/jobs/sear...
大一学生靠爬虫接单月入上万？这些接私活的外包平台分享给你！让你外包接到手软！
weixin_52994140的博客
09-06 4284
概叙 今天听一个同事说起他弟弟，同事他暑假教了两个月的python爬虫，也告诉他怎么接外包赚钱，本意是想他自己能在校给自己赚点生活费，不曾想到一月居然能赚这么多！毕竟有了技术的话，除了工作上的，如果平常能花点时间去给自己增加一点收入，这个应该是没人能够拒绝的吧！ ​​​ 今天就把一些外包平台分享给大家！只要有技术，相信你都能在这里赚到钱，没技术也没关系，可以学嘛，我给大家准备了很多学习...
Python爬取淘宝商品数据，价值千元的爬虫外包项目
人生苦短， 还不用Python？
10-14 2356
前言 本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。 PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取 完整代码可以点击下方链接获取~ python免费学习资料以及群交流解答点击即可加入 selenium Selenium 是一个 Web 的自动化测试工具，最初是为网站自动化测试而开发的，就像玩游戏用的按键精灵，可以按指定的命令自动操作。 Selenium 测试工具直接操控浏览器中，就像真正的用户在操作一样。Selenium 可以根据
Python Spider: 爬取项目外包网站TaskCity
xikangsoon的博客
12-17 1060
对于想要做软件外包的小伙伴们来说，每天登陆外包网站，并且搜索合适的项目，是很累人并且十分枯燥的事情。使用Python爬虫，可以自动对外包网站上面最新的软件外包项目进行搜索、提取和保存。可以大大提高大家的工作效率。 该项目使用Python爬虫，实现对项目外包网站TaskCity的项目信息抓取。并将信息保存到Excel文件中。主要包括两部分：网页抓取和信息处理。 网页抓取：采用urllib抓取读取网页，使用re正则提取有用的信息。 信息处理：使用openpyxl和pandas，将信息保存到Excel文件，
scrapy爬取云沃客项目外包网数据！
Pythoncxy的博客
07-25 308
闲暇写一个外包网站的爬虫，万一你从这个外包网站弄点外快呢 数据分析 官方网址为 https://www.clouderwork.com/ Python资源共享群：484031800 进入全部项目列表页面，很容易分辨出来项目的分页方式 得到异步请求 Request URL:https://www.clouderwork.com/api/v2/jobs/search...
python外包挺多，但具体什么价位呢，今天我们来采集一下外包网~
python56123的博客
03-28 2561
前言 嗨喽！大家好呀，这里是魔王哦~ python外包很多人都了解过，它的价位高低不等，具体看要做的需求决定，但如何保证没被坑呢~ 今天我们来采集一下市场价，使自己心里有数~ 本次目的: Python采集某外包数据 环境使用: Python 3.8 Pycharm 模块使用: requests >>> pip install requests parsel >>> pip install parsel csv 模块安装问题: 如果安装pyt
pycharm显示全部数据_Python爬取数据写入MySQL实战！
weixin_39730587的博客
10-20 672
作为一个刚接触mysql的编程中白，本不该在这里大放厥词！但是在跃哥以及群里的朋友们的鼓励下还是在这边准备详细的写一下有关——我的安装mysql后启动mysql遇到的一种bug以及Python将爬取到的数据写入到mysql数据库中，以及从mysql数据库中保存的信息选取部分信息绘制饼状图以及柱状图进行可视化分析！01、windows下安装MySQLMysql是一种关系型数据库，因为比较方...
Python数据分析之智联招聘职位分析完整项目（数据爬取,数据分析,数据可视化）
weixin_46205203的博客
02-05 2万+
作者找工作中 V信：dfs2191 开发环境 4.3【开发平台及环境】 Windons 10 教育版 Python 3.7 IntelliJ IDEA 2018.2.1 / PyCharm Googe Chrome 数据清洗 分析模块pandas，numpy 可视化模块pyecharts 下期更新flask可项目视化项目 python，MySQL，Echarts，js 一：数据采集 招聘...
python3 数据挖掘 之 爬取 智联招聘网站来巩固pandas
徐代龙的技术专栏
05-02 6352
写在前面 通过使用pandas对智联招聘上的数据进行分析，进一步的了解，熟悉pandas为后面学习数据挖掘打基础 更多学习链接可访问主页： https://blog.csdn.net/xudailong_blog 运行环境： python3 ，jupyter notebook ## 下面为jupyter notebook上代码（含详细注释） # 数据表基本信...
盘点那些能让你月入上万的Python接单网站，有技术就能做！
w929570609的博客
05-18 806
报价的话一般在群内发单由群员接单，自己跟客户报价，成功完成后，一般获得报价的75-80%，剩下的群主抽佣金。发的代写单有学生作业，数据分析，爬虫数据，企业外包不等。
Python采集烤肉店数据，又是一个外包项目，努力挣钱，实现吃肉自由
爆浆麻薯的博客
11-01 333
好饿好想吃肉
python爬虫网站
qq_15092585的博客
06-27 622
http://www.scrapyd.cn/doc/
爬虫技术可以做什么？
2301_82275412的博客
02-21 1534
爬虫技术是比较好理解的，大多数是运用在一些数据上面，它是一种可用于数据的收集，可以简单快速的获取大量数据，那么既然它那么的方便，有的小伙伴就非常的好奇，使用Python爬虫技术可以做什么，下面我们就一起来学习这篇关于Python爬虫技术可以做什么的文章吧。爬虫技术可以做什么1、数据的收集。
大一学生靠爬虫接单月入上万？这些接私活的外包平台分享给你！
2201_75362610的博客
05-17 1441
今天听一个同事说起他弟弟，同事他暑假教了两个月的python爬虫，也告诉他怎么接外包赚钱，本意是想他自己能在校给自己赚点生活费，不曾想到一月居然能赚这么多！毕竟有了技术的话，除了工作上的，如果平常能花点时间去给自己增加一点收入，这个应该是没人能够拒绝的吧！
大一学生靠爬虫接单月入上万？这些接私活的外包平台分享给你！让你外包接到手软！_爬虫接单平台
最新发布
m0_61549781的博客
04-14 974
当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。​只要你有技术，在这里肯定可以分到一杯羹的！
爬虫能当副业吗？哪些平台能接单？（全网最全，建议码住！！）
python03012的博客
04-07 839
（安全链接，放心点击）
爬虫数据采集，大数据平台和交易接单网站有哪些？
热门推荐
weixin_42401701的博客
06-15 4万+
八爪鱼，火车头，gooseeker.com等，等爬虫抓取资源的网站有很多，有些也专门适合爬虫交易练习赚点外快的网址１．数多多，http://www.dataduoduo.com/一站式的数据服务的交易平台，有专门定制爬虫规则，可以定制自己的需求，悬赏采集数据，还可以查询购买数据，大部分在１０００元以内，比较适合爬虫人员在上面接单，赚些外快。２．贵阳大数据交易所，http://trade.gbdex...
大一学生靠爬虫接单月入上万？这些接私活的外包平台分享给你
2401_83974607的博客
04-05 1432
这是我花了几天的时间去把Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。最近我才对这些路线做了一下新的更新，知识体系更全面了。
python爬取网站 入门
09-30
Python爬取网站是指利用Python编程语言进行网络数据的抓取和提取。以下是Python爬取网站的入门步骤： 1. 安装Python：首先需要在计算机上安装Python。可以从Python官方网站下载适合自己操作系统的Python安装包，并...
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值