今天给大家分享的是Python接单的一个副业机会!(文末有彩蛋)
上周末接到一个单1200,客服抽了百分之十的提成,到手1000,两个小时就完成了,心里美滋滋的,这样的单其实平常不多,技术难度低但是价格高,我们俗称“捡鱼单”。想着赚钱了请女神吃饭,竟被无情拒绝。
点击免费领取《CSDN大礼包》:
最新全套【Python入门到进阶资料 & 实战源码 & 安装工具】
https://mp.weixin.qq.com/s/9IuSexhanYZ1TMAF1MZIhw
效果展示
一、工具准备
-
数据来源: https://maoyan.com/board/4?offset=1
-
开发环境:win10、python3.7
-
开发工具:pycharm、Chrome
二、项目思路解析
首先将猫眼电影的所以的电影信息采集下来,这里以猫眼的top100榜为例,获取到电影信息:
-
电影名称
-
电影评分
-
电影链接
-
电影类型
-
电影上映地点
-
地点
-
电影时长
-
电影时长
解析网页数据信息,解析首页的跳转链接。
猫眼详情页面的评分是有加密的,所以我们直接重主页提取评分信息。
在详情页面提取数据。
将数据保存在csv表格,方便之后做数据可视化。
爬虫源码:
#!/usr/bin/env python
# -\*- coding: utf-8 -\*-
# @Time : 2021年06月05日
# @File : demo4.py
import requests
from fake\_useragent import UserAgent
from lxml import etree
import time
# 随机请求头
ua = UserAgent()
# 构建请求 需要自己去网页上面换一下 请求不到了就 去网页刷新 把验证码弄了
headers = {
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,\*/\*;q=0.8,application/signed-exchange;v=b3;q=0.9',
'Cookie': '\_\_mta=244176442.1622872454168.1622876903037.1622877097390.7; uuid\_n\_v=v1; uuid=6FFF6D30C5C211EB8D61CF53B1EFE83FE91D3C40EE5240DCBA0A422050B1E8C0; \_csrf=bff9b813020b795594ff3b2ea3c1be6295b7453d19ecd72f8beb9700c679dfb4; Hm\_lvt\_703e94591e87be68cc8da0da7cbd0be2=1622872443; \_lxsdk\_cuid=1770e9ed136c8-048c356e76a22b-7d677965-1fa400-1770e9ed136c8; \_lxsdk=6FFF6D30C5C211EB8D61CF53B1EFE83FE91D3C40EE5240DCBA0A422050B1E8C0; ci=59; recentCis=59; \_\_mta=51142166.1622872443578.1622872443578.1622876719906.2; Hm\_lpvt\_703e94591e87be68cc8da0da7cbd0be2=1622877097; \_lxsdk\_s=179dafd56bf-06d-403-d81%7C%7C12',
'User-Agent': str(ua.random)
}
def RequestsTools(url):
'''
爬虫请求工具函数
:param url: 请求地址
:return: HTML对象 用于xpath提取
'''
response