Python程序员如何赚钱？爬虫要怎么进阶？方向大过于努力！

最新推荐文章于 2024-07-21 22:27:18 发布

一秋的编程笔记

最新推荐文章于 2024-07-21 22:27:18 发布

阅读量158

点赞数

分类专栏： Python python兼职转行Python 文章标签： python 爬虫开发语言

本文链接：https://blog.csdn.net/python03011/article/details/130335684

版权

Python 同时被 3 个专栏收录

181 篇文章 14 订阅

订阅专栏

转行Python

18 篇文章 0 订阅

订阅专栏

python兼职

17 篇文章 0 订阅

订阅专栏

点击免费领取《CSDN大礼包》：

一、python 怎么赚钱？

1、接单，爬虫的单子相对其他的一些 web 开发会爽一些，没有那么繁琐，爬完数据就能换钱。具体费用看工作量而定，印象中我接的爬虫单子也就两三单，主要没什么时间去搞，所以没赚什么钱。

2、做网站，根据你自己的兴趣或者优势去做一个网站，但这个不会及时满足，也就是说你得花比较长的时间去经营，等你的网站有一定的流量之后，可以嵌入广告联盟的广告，从而赚取广告费。

3、开发有用的工具，如果你能找到别人的一些痛点，开发出满足用户的工具，从而让用户购买使用。这种方式没有边际成本，只要你开发出来了，多一个用户就是多一份钱，躺着赚。

二、Python爬虫入门应该学习什么？

应该对计算机网络有一定的了解，能知道HTTP 请求的一些规则，知道什么是 Header ，cookies，知道 HTTP 一些状态码都代表啥意思。会使用抓包工具，对一些请求的规则进行分析，知道通过什么样的请求方式才能获取到你要的数据。然后学习使用requests 库进行网络请求。接着学习一些Python 的解析库，你得到的数据各式各样，有 json 的，有 xml 的，有 html 的，你要会（正则）解析获取关键的数据。常见的库有 xpath、pyquery、beautifulSoup、 json、 xml.sax、 re 等。接着就是数据存储，对一些常用的sql 语句要会，常用的数据库有 MySQL、MongoDB。

三、Python爬虫如何进阶？

假设你已经对一些普通的网站的爬取游刃有余了，那么接下来就可以学学在手机端上爬取数据，如Fiddler 抓取 APP 的一些数据请求， appnium 的使用。接着学习如何对于一些加密的数据进行破解，例如一些网站上的关键数据使用css 的属性进行加密，使得你在 html 里面拿不到关键数据。那么你就需要学会 css 相关的内容，研究网站对 css 的设置，例如偏移量，然后再根据规则使用 Python 重新合成。

还有一些动态的网页使用JS 进行渲染，除了用性能较低的 selenium 之外，你还要会知道如何去破解 JS 的加密，那么你就得知道如何抓包，如何使用浏览器的开发者工具，怎么去设置断点，从而找到 JS 的加密函数，再使用 python 的 js 库来执行得到原始的数据。当然，还有一些更有难度的，比如apk 的反编译，如何在 apk 的反编译中获取到数据等。再进一步，要知道如何进行异步爬取数据了，使用多线程多进程来提高爬取效率以及分布式爬虫的部署相关操作。

接着，就要考虑如何url 去重爬取，如何做到断点续爬，比如说你的爬虫爬着爬着突然就傻逼了，或者断网了，这个时候不可能说从头开始爬起吧。之前也有人问如何做断点续爬，这里就提供一个思路吧，你可以使用 redis 构建一个 urlpool ，在这个 pool 里面对请求的 url 做标识，可以使用消息队列，在爬取成功的时候通知 urlpool 里的 url 标识状态，在请求 url 之前通过 urlpool 判断这个 url 是否爬取了。

再来就是爬虫框架了，比如现在的scrapy 框架，值得好好研究一波的。

最后说一句，还是多实践，毕竟实践出真知，多在实践过程中总结问题和经验，也是进阶过程中所需的道路。