周末和朋友们聚聚餐的时候,聊到了IT行业 “搞副业赚外快” 的事情,普遍认为如今互联网行业内卷之势已然形成,工作仅是谋生,副业才是发展。
现在不论哪个级别的IT工程师,大多有一到两个兼职副业,堪称斜杠青年,如果被问及 “ 做哪方面的副业比较好? ”
他们多半会推荐 “ Python爬虫 ”,在数据为王的时代,掌握数据爬取技术具有极大价值。
随着人工智能、物联网、元宇宙的兴起,未来将步入数据的时代。爬虫技术在如此数据商业大背景下,早已供不应求,供需关系的不平衡,使Python爬虫服务价格居高不下。
今天小编就带你们来了解了解一些Python的各种发展方向以及想兼职接单的小伙伴儿们可以认真阅读一下👇
(下面的仅是个人观点哈,有不足的可以指出)
正文
讲一讲爬虫大概思路 、 流程 👇
一. 数据来源分析
当我们知道, 数据可以请求那个网站<url>, 可以得到相应的数据内容 - 通过
开发者工具抓包分析 ---> F12 或者 鼠标右键点击检查 network
网络面板 - 分析我们想要数据, 是在那个地方 ---> 地址
二. 代码实现步骤
1. 发送请求, 模拟浏览器对于url地址发送请求
2. 获取数据, 获取服务器返回响应数据---> 开发者工具 response
3. 解析数据, 提取我们想要数据内容 ---> 基本数据信息。
4. 保存数据, 保存表格数据里面
1)谈谈Python的学习方向
网站开发:
如目前优秀的全栈的 django、框架flask ,都继承了python简单、明确的风格,开
发效率高、易维护,与自动化运维结合性好。
python已经成为自动化运维平台领域的事实标准。
python开发的网站:
豆瓣 https://www.douban.com/ Youtube , Dropbox , 豆瓣...等等 。
爬虫程序:
在爬虫领域,Python几乎是霸主地位,将网络一切数据作为资源,通过自动化程序进
行有针对性的数据采集以及处理。从事该领域应学习爬虫策略、高性能异步IO、分布式爬虫
等,并针对Scrapy框架源码进行深入剖析,从而理解其原理并实现自定义爬虫框架。
数据分析:
Python语言相对于其它解释性语言最大的特点是其庞大而活跃的科学计算生态,在数据分析、
交互、可视化方面有相当完善和优秀的库.。
自动化脚本:
执行许多重复的任务,例如阅读 pdf、播放音乐、查看天气、打开书签、清理文件夹等等,使
用自动化脚本 就无需手动一次又一次地完成这些任务,非常方便。
人工智能:
各种人工智能算法都基于Python编写,尤其PyTorch之后,Python作为AI时代头牌语言的位置
基本确定。游戏开发/辅助 自动化测试 运维 ....
2)Python找工作就业方向以及薪资待遇情况怎么样?
Python找工作方向主要是 开发工程师 <网站开发/全栈开发> - 北京平均薪资23K - 应届生15K - 1-3年 16.9K - 3-5年22.9K - 数据来源: https://www.jobui.com/salary/beijing-pythonkaifagongchengshi/ 招聘数据来源:(Boss直聘)https://www.zhipin.com/job_detail/?query=python%E5%BC%80%E5%8F%91&city=101010100&industry=&position= 爬虫工程师 - 北京平均薪资22.5K - 应届生16.7K - 1-3年 18.1K - 3-5年 24K - 数据来源: https://www.jobui.com/salary/beijing-pachongkaifagongchengshi/ 招聘数据来源:(Boss直聘) https://www.zhipin.com/job_detail/?query=%E7%88%AC%E8%99%AB&city=101010100&industry=&position= 数据分析师 - 北京平均薪资25.3K - 应届生13.5K - 1-3年 19.4K - 3-5年26.2K - 数据来源: https://www.jobui.com/salary/beijing-shujufenxishi/ 招聘数据来源:(Boss直聘) https://www.zhipin.com/job_detail/?query=%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90&city=101010100&industry=&position=
3)Python想要兼职接外包应该学习什么?
外包是什么? 是指别人花钱请你帮他写程序, 根据甲方的需求定制化开发程序软件, 从而获得一定报酬。 目前关于爬虫+数据分析外包相对而言会多一些: 比如: 学生的毕设 / 课设 / 作业 ; 个人商家需要的一些数据采集 ; 某人公司需要的某些数据等等 采集疫情数据做可视化分析 / 采集房源数据做可视化分析 / 采集招聘网站做可视化分析 / 采集电商平台做可视化分析 等等 这些是普遍存在的外包需求 根据外包的需求以及难易程序 外包的收费情况也是不一样的, 按照分布计算 简单的外包: 100-300左右 耗时: 30-60分钟左右 中等的外包: 500+ 左右 耗时: 1-2个小时左右 难度稍大外包: 价格 1000+ 不封顶等 耗时: 3-5天不等 爬虫和数据分析外包 一般情况写外包的周期相对而言会比较多短 网站开发的外包难度以及耗时相当而言会大一些 比如开发后台数据管理系统 / 某公司企业官网 / 或者学生毕设等等 但是价格相对而言都是比较高的, 网站开发价格普通是上千
4)可以去哪里接外包?
- 淘宝 / 闲鱼 - 外包接单群 <QQ外包群或者微信外包群> 有抽成一般抽3成 - 外包接单平台: <需要押金适合工作室或者外包公司> 1、解放号 https://www.jfh.com/serviceProvider.html 2、猿急送 https://www.yuanjisong.com/job 3、程序员客栈 https://www.proginn.com/?loginbox=show 4、码市 https://codemart.com 5、人人开发 https://rrkf.com/ 6、猪八戒 https://changsha.zbj.com/ 7、一品威客 https://www.epwk.com/task/ 8、开源众包 https://zb.oschina.net/projects/list.html 9、智城外包网 https://www.taskcity.com/ 10、实现网 https://shixian.com/cases 11、电鸭社区 https://eleduck.com/categories/6/tags/0-18 12、Remoteok https://remoteok.io/ 13、Toptal https://www.toptal.com/ 14、AngelList https://angel.co/ 15、英选 https://www.yingxuan.io/
总结
比传统行业,IT行业薪资天花板很高,传统行业薪资天花可能 8-10K左右
对于IT行业编程程序员入门薪资 ——工作:中年危机,焦虑 ---> 收入
不满意,房贷 3-6K,如果你想要买房或者买车,你收入一定要是车贷房贷的3倍
学生 —— 迷茫,对于自己未来方向,不确定,以及自己收入不满意,不稳定,学好python, 去接外包兼职加自己收入来源...
大部分人群都是适用的,前提你能坚持下来~
好啦!本篇内容就到这里了哈,想学习编程的小伙伴儿记得关注我,每天给大家更
新爬虫实战(还有其他内容)我们一起学Python,实现经济自由~
对于初学者想更轻松的学好Python开发,爬虫技术,Python数据分析,人工智能等技术,这里也给大家准备了一套系统学习资源,文中所展示的资料全部都是免费分享,点击下方链接添加微信即可免费获取!👇
戳这里 👉 【读者福利】Python经典学习资料免费分享,领走不谢! 👈
👉 1.确定好自己的学习路线 👈
无论做什么事,或者学什么技能,在一开始就要有所规划,所以我们要事先确定好自己的学习路线,这是非常重要的,能够在我们学习的时候使得我们的思路更为清晰。
👉 2.Python必备开发工具 👈
工欲善其事必先利其器,既然我们要学习Python,那么想与之的开发工具必须要先行安装好,利用好工具能让我们事半功倍。
👉 3、Python学习视频合集 👈
观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
👉 4.实战案例 👈
光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
👉 5.一百道Python练习题 👈
学而不练则罔,练而不学则殆,检查学习结果,是优秀人员必备的。
👉 资料领取 👈
文中所展示的资料全部都是免费分享,点击下方链接添加微信即可免费获取!
戳这里 👉 【读者福利】Python经典学习资料免费分享,领走不谢! 👈