python 爬虫 --- 基础知识

数据：国家统计局官网|环球网
微信公众号合作方：https://weixin.sogou.com/
百度搜索资源平台：https://ziyuan.baidu.com/robots/index
json在线解析: https://www.bejson.com/

---

python安装第三方模块

• pip install
• 源码包
  下载源码包 – 解压缩源码包 – python setup.py install
• ***.whl 安装 pip install ***.whl

---

注意事项

注意: 手机版的页面内容只能在 F12 调试模式下，查看response响应的内容！！！

一、通用爬虫模块

• 模拟浏览器发送请求
• 爬虫更多用途：
• 12306抢票|
• 网站上的投票|
• 短信轰炸

爬虫的流程

• 爬虫分类：
• 通用爬虫：通常指搜索引擎爬虫
• 聚焦爬虫：针对特定网站爬虫 重点关注

通用搜索引擎工作原理