通常五一前后,都会是Python兼职接单的小高潮,这段时间各个行业对爬虫类和数据分类的需求会暴增!
圈子里很多朋友双休都没闲着,这几天赚上万的不在少数。
近段时间接过的一些单子(部分截图)
1开发、爬取哪类数据更赚钱?
爬虫,接单用得最多的技术;
接单多赚钱快的活,大致分为两类:
-
爬虫爬取网站或APPs的数据,或者直接向客户提供爬虫程序
-
Web后接口开发,比如使用Django提供API接口
如果想要把自己接单的业务面铺得更广(包括Web项目),除爬虫外,至少还需要掌握一个Python框架。
我建议Python初学者去学习一下Django框架,Django是新手搞定Web项目的必学神器!
基于 Python 的 Web 开发技术栈
关于Django框架,这是一个完整的Web框架,帮你做了很多默认的选择,利用这些预先包含的工具链可以和轻松地搭建web服务。
且得益于Django倍受好评的全自动化的管理后台,仅需使用ORM,简单定义对象,就可自动生成数据库结构、全功能的管理后台。
2常见技术问题
对于程序员来说,靠接单来维持生计不失为一个好的路子,但是如果打算一直接单的话,还是需要结合自身情况。
提前说明一下一些需要注意的点;
01 接单注意事项
① 一个单子明显不能做的时候,要趁早告知客户,例如明显超出自身能力范围,或者说这个需求根本做不了。
② 最好同时不接超过三单,同时接好几单会很消耗你的心力。
③ 客户要求比较含糊的时候,一定要搞清楚所有需求,不然后面可能会不断加细节,加需求,另外了解需求才能给一个合适的报价。
④ 跟客户友好沟通,出现联系不上的时候,不要着急,收钱办事,不用掺杂各种情绪。如果由于联系不上客户导致赶不上工期,It’s not your fault 。
④ 合作完之后,如果你和客户都很满意对方的话,不妨加个好友,基于信任的基础上,如果以后有需求你们可以直接联系。
02 弄清爬虫流程
新手小白想接单,先搞清楚爬虫的工作原理;
爬虫通常由目标信息网站、页面抓取、页面分析、数据存储四个步骤组成,其爬取网站资源的细节流程如下:
① 先导入两个库,分别用于请求和网页解析
② 再请求网页获得源代码
③ 初始化soup对象后用浏览器打开网页,定位需要的资源的位置
④ 然后分析该位置的源代码,找到用于定位的标签及属性
⑤ 最后编写解析代码获得想要的资源
吃透原理和步骤后,爬取普通网站的数据问题不大了,但想要做兼职爬数据还远远不够。
因为真正有价值的资源,往往都在有着完善反爬虫措施的大型站点中!
03 知道应对反爬
接下来就涉及到了如何应对反爬?
比如常见的反爬虫措施:
-
目标检测出是爬虫封了IP
-
目标返回了加密过的数据
-
目标返回了脏数据,无法辨认
-
目标网站必须登录才能访问
-
Javascript动态渲染,爬虫无法读取
-
目标网站有验证码无法访问
-
ajax异步传输,爬虫抓取到空信息
-
图片伪装与混淆+CSS偏移+SVG映射
这时,就需要用到Python爬虫的重点技术——网站反爬虫策略及其应对方案。
搞不定网站设置的反爬虫措施,就爬不到有价值的资源,更接不到高价值的单!
3
可以接哪些私活?
python爬虫主要是爬取网站、小程序或者APP的数据,对数据进行分析与处理,或者直接向客户提供爬虫程序与技术支持,这个是可以做副业的。
我当初学会Python那会儿,有朋友来介绍我去接私活,是为一家公司做网站,那一单我赚了3.5K。
从那之后逐渐熟练,业余时间陆续接了包括数据收集处理、网站后台接口开发之类的很多私活,平均每月靠兼职做私活都能赚5K左右。
01 爬虫服务/项目
熟人介绍或者通过一些外包网站接单子,这个内容开发完毕之后,只要不出现其他什么问题的情况下,基本月入3-5K左右不是问题。
Python需求大一点的就是爬虫、网站开发、GUI界面或者TK界面开发、数据库或者一些脚本等等,这几个是需求相对大的。
简单点的数据抓取大概十几分钟就可以写完程序,直接到手两三百,还是比较轻松。
外包单价:
以普通的爬虫外包为例 100-300 左右,通常比较简单,根据数据量 /任务难度(需求) / 时间来判定, 30-60分钟就可以出来,当然技术越娴熟越快!
500-1000左右,稍微有点难度, 2-3小时可以做出来,数据量多,网站难度可能需要IP代理 。1000以上的,涉及反爬、字体加密、JS解密、APP数据等等,这些属于是爬虫里面最难的部分。
2K/5k/10k/20k的爬虫单子都是有的,价格越高,做的时间越久,有些甚至一个人完成不了,这时候也可以喊上其他的同行朋友搭伙做,搞个外包工作室没问题。
02 渠道/平台
渠道一般通过:
-
接单平台
-
闲鱼
-
淘宝
-
Q群接单
-
微信接单群
(Q群和微信群这两个容易给了源码不给钱,其他的我不做过多介绍。)
简单给大家分享几个接单平台:
-
解放号
-
猿急送
-
码市
-
程序员客栈
-
人人开发
-
猪八戒
-
一品威客
-
开源众包
-
智城外包网
-
实现网
-
电鸭社区
-
Remoteok
-
Toptal
-
AngelList
-
英选
-
外包网
03 量化交易 挖掘信息
用Python来完成量化交易的话是非常方便的,但是对于新手来说内容会比较难。
量化交易就是一个数据挖掘的过程,不同的就是你可以用手中可以用的模型来选股、选时间等,资金管理就是我们需要做的特征工程。
04 代写程序
帮助客户代写需要的程序,电商平台有很多都是代写程序的,几百块钱就可以搞定LAMP的管理系统。
但是这种基本都是大学生的毕业设计,所以可以开设一家这样的店铺。
以上就分享到这里啦,感兴趣的可以自己试试~
编写爬虫程序是一个非常有用的技能点,成年人学习一门新技能最简单的目的两个字——搞钱!
Python经验分享
学好 Python 不论是就业还是做副业赚钱都不错,但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料,给那些想学习 Python 的小伙伴们一点帮助!
Python学习路线
这里把Python常用的技术点做了整理,有各个领域的知识点汇总,可以按照上面的知识点找对应的学习资源。
学习软件
Python常用的开发软件,会给大家节省很多时间。
学习视频
编程学习一定要多多看视频,书籍和视频结合起来学习才能事半功倍。
100道练习题
实战案例
光学理论是没用的,学习编程切忌纸上谈兵,一定要动手实操,将自己学到的知识运用到实际当中。
最后祝大家天天进步!!
上面这份完整版的Python全套学习资料已经上传至CSDN官方,朋友如果需要可以直接微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】。