python网络爬虫与信息提取1

“网络爬虫”课程内容导学

The Website is the API…
掌握定向网络数据爬取和网页解析的基本能力

Requests

1. 自动爬取HTML页面；
2. 自动网络请求提交；

robots.txt

1. 网络爬虫排除标准

Beautiful Soup

1. 解析HTML页面

Projects

1. 实战项目A/B

Re

1. 正则表达式详解提取页面关键信息

Scrapy*

1. 网路爬虫原理介绍
2. 专业爬虫框架介绍

掌握定向网络数据爬取和网页解析的基本能力

Python语言开发工具选择

用什么样的IDE开发Python程序

常用的 Python IDE 工具

文本工具类 IDE	集成工具类 IDE
IDLE	Pycharm
Notepad++	Wing
Sublime Text	PyDev & Eclipse
Vim & Emacs	Visual Studio
Atom	Anaconda & Spyder
Komado Edit	Canopy

IDLE

· 自带
· 默认
· 常用
· 入门级

适用于：
· Python入门
· 功能简单直接
· 300+代码以内

Sublime Text

· 专为程序员开发的第三方专用编程工具
· 专业编程体验
· 多种编程风格
·工具非注册免费使用

Wing

· 公司维护，工具收费
· 调试功能丰富
· 版本控制，版本同步
· 适合多人共同开发

Vistual Studio & PTVS

PTVS:
· 微软公司维护
· Win环境为主
· 调试功能丰富

Eclipse

PyDev:
· 开源 IDE 开发工具
· 需要一定的开发经验

PyCharm

· 社区版免费
· 简单，集成度高
· 适合较复杂工程

Canopy

· 公司维护，工具收费
· 支持近500个第三方库
· 适合科学计算领域引用开发