用数据分析来看哪种 Python 程序员最赚钱？_python数据分析能赚钱吗

一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、Python必备开发工具

工具都帮大家整理好了，安装就可直接上手！

三、最新Python学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、Python视频合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

六、面试宝典

简历模板

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

# 1. post 请求 url
req_url = ‘https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false’
# 2.请求头 headers
headers = {
    ‘Accept’: ‘application/json,text/javascript,/;q=0.01’,
    ‘Connection’: ‘keep-alive’,
    ‘Cookie’: ‘你的Cookie值，必须加上去’,
    ‘Host’: ‘www.lagou.com’,
    ‘Referer’: ‘https://www.lagou.com/jobs/list_Python?labelWords=&fromSearch=true&suginput=’,
    ‘User-Agent’:  str(UserAgent().random),
}

def get_info(headers):
    # 3.for 循环请求（一共30页）
    for i in range(1, 31):
        # 翻页
        data = {
            ‘first’: ‘true’,
            ‘kd’: ‘Python爬虫’,
            ‘pn’: i
        }
        # 3.1 requests 发送请求
        req_result = requests.post(req_url, data=data, headers=headers)
        req_result.encoding = ‘utf-8’
        print(“第%d页：”%i+str(req_result.status_code))
        # 3.2 获取数据
        req_info = req_result.json()
        # 定位到我们所需数据位置
        req_info = req_info[‘content’][‘positionResult’][‘result’]
        print(len(req_info))
        list_info = []
        # 3.3 取出具体数据
        for j in range(0, len(req_info)):
            salary = req_info[j][‘salary’]
            education = req_info[j][‘education’]
            workYear = req_info[j][‘workYear’]
            positionId = req_info[j][‘positionId’]
            list_one = [positionId,salary, education, workYear]
            list_info.append(list_one)
        print(list_info)
        # 存储文件
        file_do(list_info)
        time.sleep(1.5)

* 运行结果：


![](https://img-blog.csdnimg.cn/2019061821181156.gif)


**2、根据获取到的`positionId`来访问招聘信息详细页面**


* 根据`positionId`还原访问链接：

position_url = []
def read_csv():
    # 读取文件内容
    with open(r’G:\lagou_anv.csv’, ‘r’, newline=‘’) as file_test:
        # 读文件
        reader = csv.reader(file_test)
        i = 0
        for row in reader:
            if i != 0 :
                # 根据positionID补全链接
                url_single = “https://www.lagou.com/jobs/%s.html”%row[0]
                position_url.append(url_single)
            i = i + 1
        print(‘一共有：’+str(i-1)+‘个’)
        print(position_url)

* 访问招聘信息详情页面，获取职位描述（岗位职责和岗位要求）并清理数据：

def get_info():
    for position_url in position_urls:
        work_duty = ‘’
        work_requirement = ‘’
        response00 = get_response(position_url,headers = headers)
        time.sleep(1)
        content = response00.xpath(‘//*[@id=“job_detail”]/dd[2]/div/p/text()’)
        # 数据清理
        j = 0
        for i in range(len(content)):
            content[i] = content[i].replace(‘\xa0’,’ ‘)
            if content[i][0].isdigit():
                if j == 0:
                    content[i] = content[i][2:].replace(’、‘,’ ‘)
                    content[i] = re.sub(’[；;.0-9。]‘,’‘, content[i])
                    work_duty = work_duty+content[i]+ ‘/’
                    j = j + 1
                elif content[i][0] == ‘1’ and not content[i][1].isdigit():
                    break
                else:
                    content[i] = content[i][2:].replace(’、‘, ’ ‘)
                    content[i] = re.sub(’[、；;.0-9。]’,‘’,content[i])
                    work_duty = work_duty + content[i]+ ‘/’
        m = i
        # 岗位职责
        write_file(work_duty)
        print(work_duty)
        # 数据清理
        j = 0
        for i in range(m,len(content)):
            content[i] = content[i].replace(‘\xa0’,’ ‘)
            if content[i][0].isdigit():
                if j == 0:
                    content[i] = content[i][2:].replace(’、‘, ’ ‘)
                    content[i] = re.sub(’[、；;.0-9。]’, ‘’, content[i])
                    work_requirement = work_requirement + content[i] + ‘/’
                    j = j + 1
                elif content[i][0] == ‘1’ and not content[i][1].isdigit():
                    # 控制范围
                    break
                else:
                    content[i] = content[i][2:].replace(‘、’, ’ ‘)
                    content[i] = re.sub(’[、；;.0-9。]', ‘’, content[i])
                    work_requirement = work_requirement + content[i] + ‘/’
        # 岗位要求
        write_file2(work_requirement)
        print(work_requirement)
        print(“-----------------------------”)

* 运行结果：


![](https://img-blog.csdnimg.cn/20190618211851742.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXNvbmd6aXll,size_16,color_FFFFFF,t_70)


duty


![](https://img-blog.csdnimg.cn/20190618211909607.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3podXNvbmd6aXll,size_16,color_FFFFFF,t_70)


require


**3、四种图可视化数据+数据清理方式**


* 矩形树图：

# 1.矩形树图可视化学历要求
from pyecharts import TreeMap
education_table = {}
for x in education:
    education_table[x] = education.count(x)
key = []
values = []
for k,v in education_table.items():
    key.append(k)
    values.append(v)

data = []
for i in range(len(key)) :
    dict_01 = {“value”: 40, “name”: “我是A”}
    dict_01[“value”] = values[i]
    dict_01[“name”] = key[i]
    data.append(dict_01)
tree_map = TreeMap(“矩形树图”, width=1200, height=600)
tree_map.add(“学历要求”,data, is_label_show=True, label_pos=‘inside’)

* 玫瑰饼图：

# 2.玫瑰饼图可视化薪资
import re
import math
‘’’
# 薪水分类
parameter : str_01–字符串原格式:20k-30k
returned value : (a0+b0)/2 — 解析后变成数字求中间值：25.0
‘’’
def assort_salary(str_01):
    reg_str01 = “(\d+)”
    res_01 = re.findall(reg_str01, str_01)
    if len(res_01) == 2:
        a0 = int(res_01[0])
        b0 = int(res_01[1])
    else :
        a0 = int(res_01[0])
        b0 = int(res_01[0])
    return (a0+b0)/2

from pyecharts import Pie
salary_table = {}
for x in salary:
    salary_table[x] = salary.count(x)

key = [‘5k以下’,‘5k-10k’,‘10k-20k’,‘20k-30k’,‘30k-40k’,‘40k以上’]
a0,b0,c0,d0,e0,f0=[0,0,0,0,0,0]

for k,v in salary_table.items():
    ave_salary = math.ceil(assort_salary(k))
    print(ave_salary)
    if ave_salary < 5:
        a0 = a0 + v
    elif ave_salary in range(5,10):
        b0 = b0 +v
    elif ave_salary in range(10,20):
        c0 = c0 +v
    elif ave_salary in range(20,30):
        d0 = d0 +v
    elif ave_salary in range(30,40):
        e0 = e0 +v
    else :
        f0 = f0 + v
values = [a0,b0,c0,d0,e0,f0]

pie = Pie(“薪资玫瑰图”, title_pos=‘center’, width=900)
pie.add(“salary”,key,values,center=[40, 50],is_random=True,radius=[30, 75],rosetype=“area”,is_legend_show=False,is_label_show=True)

* 普通柱状图：



### 一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。



![](https://img-blog.csdnimg.cn/img_convert/9f49b566129f47b8a67243c1008edf79.png)



### 二、学习软件

工欲善其事必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。



![](https://img-blog.csdnimg.cn/img_convert/8c4513c1a906b72cbf93031e6781512b.png)



### 三、入门学习视频



我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。



![](https://img-blog.csdnimg.cn/afc935d834c5452090670f48eda180e0.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA56iL5bqP5aqb56eD56eD,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center)




**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化学习资料的朋友，可以戳这里获取](https://bbs.csdn.net/forums/4304bb5a486d4c3ab8389e65ecb71ac0)**

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**