python爬虫入门知识

首先why我们要入门python爬虫？随着大数据、机器学习、人工智能的火热，python强势崛起，前段时间说是python都进入小学课本啦，还有什么理由不学python呢；爬虫是python最容易上手的项目，短短几行代码便可以将你
心仪的数据拿来为你所用。
然后how入门python爬虫
1.工欲善其事，必先利其器。首先我们要掌握我们的爬虫工具库，有requests、urllib等。这里我推荐requests
2.熟悉前端的html、css、js(你要爬取的东西都在前端页面里边写的，必然要熟悉，当然这块我觉得一开始没必要专门去学习前端知识，在实践中哪里不会学哪里就行)
3.掌握结构化提取数据模块，如Beautifulsoup、xpath、css、正则等。拿到数据之后我们要提取我们需要的，用这几个就ok。
4.数据存储，将我们获取到的数据保存为excel、txt等格式便于我们后续分析。
以下以爬取搜狐新闻为example
import requests
from bs4 import BeautifulSoup
url = ‘时政’
s = requests.get(url)
soup = BeautifulSoup(s.text,‘lxml’)
nodes = soup.select(’.news-box-txt’)
f = open(‘news.txt’,‘w’)
for nod in nodes:
title = nod.select(‘h4’)[0].get_text().replace(’ ‘,’’).replace(’\n’,’’)
name = nod.select(’.name’)[0].get_text()
f.write(name+’\t’)
f.write(title+’\n’)
f.close()

短短10余行代码便可实现

最后附python爬虫升级打怪之路
1 学会分析请求频度，注意爬取的频度
2 学会使用浏览器F12分析请求，拆解前后端请求
3 学会伪装消息头，伪装cookie
4 学会Beautifulsoup的使用，解析html格式
5 学会最基础的入库操作，sql统计分析
6 学会代理池的使用
7 学会JS解析引擎的使用，或者浏览器内核的使用，用于攻克js动态加载
8 学会构建分布式的爬虫，提升大规模爬取的能力
9 学会使用逆向工程
10 学会使用外挂，按键精灵啥的自动化脚本
11 学会破解验证码，图像识别等等
会前5条，基本上就可以做一些小规模的普通数据爬取，数据分析啦，自己玩玩足够了。 会前7条，基本上可以到公司上岗做初级爬虫工程师啦。 会前8条，基本可以算是中级爬虫工程师啦。 会前10条，基本算是资深爬虫工程师了，可以玩的很溜很溜了。 会所有的，你基本可以成神了。

not about
http://www.45zq.cn/portal/article/index/id/38.html