网络爬虫
网络爬虫（web crawler），以前经常称之为网络蜘蛛（spider），是按照一定的规则自动浏览万维网并获取信息的机器人程序（或脚本），曾经被广泛的应用于互联网搜索引擎。使用过互联网和浏览器的人都知道，网页中除了供用户阅读的文字信息之外，还包含一些超链接。网络爬虫系统正是通过网页中的超链接信息不断获得网络上的其它页面。正因如此，网络数据采集的过程就像一个爬虫或者蜘蛛在网络上漫游，所以才被形象的称为网络爬虫或者网络蜘蛛。
爬虫的应用领域
在理想的状态下，所有ICP（Internet Content Provider）都应该为自己的网站提供API接口来共享它们允许其他程序获取的数据，在这种情况下爬虫就不是必需品，国内比较有名的电商平台（如淘宝、京东等）、社交平台（如腾讯微博等）等网站都提供了自己的Open API，但是这类Open API通常会对可以抓取的数据以及抓取数据的频率进行限制。对于大多数的公司而言，及时的获取行业相关数据是企业生存的重要环节之一，然而大部分企业在行业数据方面的匮乏是其与生俱来的短板，合理的利用爬虫来获取数据并从中提取出有价值的信息是至关重要的。当然爬虫还有很多重要的应用领域，以下列举了其中的一部分：
- 搜索引擎
- 新闻聚合
- 社交应用
- 舆情监控
- 行业数据
爬虫相关
用户跟踪
1. cookie
2. url重写 /?=参数
3. 隐藏域 表单 -- type = "hidden"
推送服务
PC端 - websocket(存在浏览器兼容问题)/SockJS/STOMP
移动端 - 第三方平台（极光/百度/小米/友盟等）
浏览器续存期cookie – 浏览器关了就不能访问了
持久化cookie – max_age=3600(存在1小时，无论浏览器关闭与否)
相关工具
1.robotparser - robots.txt
2.pip install httpie 接口调试。如get,post等
http --header http://www.baidu.com
3.pip install builtwith 识别网站使用的技术
buitwith.parse('http://www.bootcss.com/')
4.pip install pthon-whois 查询网站的所有者
whois.whois('baidu.com')
网页爬取
1. 正则表达式 -- 性能好 但复杂
2. pyquery -- 相当于jQuery --css选择器取元素
1) #foo - <h1 id='foo'>
2) .foo - <h1 class='foo'>
3) p - <p>
4) p h2 - <p><div><h2></h2></div></p>
5) p>h2 - <p><h2></h2></p>
6) p~h2 - <p></p><div></div><h2></h2>
7) p+h2 - <p></p><h2></h2>
例：find('a[test=a]').href
3. BeautifulSoup -bs4
pip install bs4
4. lxml -- libxm12 -- 支持XPath语法 4种方法中性能最好
pip install lxml
XML/JSON/YAML -- 异构的系统之间的数据交换
事务隔离级别
@@tx_isolation 查看当前事务隔离级别
uncommitted read - Dirty Read 脏数据，还未提交就可查询到
read committed - 不可重复读取
repeatable read - Phantom Read 幻读
serializable - 无并发
全局更改事务级别：set global transaction isolation level 级别名称
临时更改事务级别：set session transaction isolation level 级别名称
压缩数据
1。序列化: 把对象变成字符或者字节序列（注：反序列化：把字符或字节还原成对象）
-- 工具：pickle/json/shelve
--dump/dumps/ 序列化 -- load/loads 反序列化
2. 数据压缩
zlib模块 -- compress 压缩 -- decompress 解压缩
Mongo
MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。MongoDB 是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的
安装MongoDB
a). apt-get install mongodb -- 2.x版本
b). 1. wget 官网<url> --最新版本
2. gunzip <filename> -- 解压缩
3. tar -xvf <filename> -- 解归档
4. mv <source> /usr/local/<source> --移动
5. cenos:(修改PATH)
vim .bash_profile
PATH=...:/usr/local/<source>/bin
ubuntu:(新增PATH)
vim .bashrc
PATH=$PATH:/usr/local/<source>/bin
export PATH
6. source bash_profile 或 source .bashrc
7. mkdir -p /data/db
启动
a) service mongodb start
b) mongod
停止
a) service mongodb stop
b) kill 进程号
连接
1.本地连接
mongo
2.运行远程连接，比如调用或允许外网连接，比如可视化工具Robot 3T等
mongd --bind_ip 私网IP
此时本地如果要连接，则：
mongo --host 公网IP
数据库的增删改查 https://www.runoob.com/mongodb/mongodb-create-database.html
一个完整的网页爬取步骤及代码如下（静态页面）
注：动态页面抓取需要用到selenium模块，且需要安装浏览器插件，如谷歌的chormdriver
步骤如下：
1. 设定抓取目标（种子页面）并获取网页。
2. 当服务器无法访问时，设置重试次数。
3. 在需要的时候设置用户代理（否则无法访问页面）。
4. 对获取的页面进行必要的解码操作。
5. 通过正则表达式获取页面中的链接。
6. 对链接进行进一步的处理（获取页面并重复上面的动作）。
7. 将有用的信息进行持久化（以备后续的处理）。
代码如下：
from urllib.error import URLError
from urllib.request import urlopen
import re
import pymysql
import ssl
from pymysql import Error
# 通过指定的字符集对页面进行解码(不是每个网站都将字符集设置为utf-8)
def decode_page(page_bytes, charsets=('utf-8',)):
page_html = None
for charset in charsets:
try:
page_html = page_bytes.decode(charset)
break
except UnicodeDecodeError:
pass
# logging.error('Decode:', error)
return page_html
# 获取页面的HTML代码(通过递归实现指定次数的重试操作)
def get_page_html(seed_url, *, retry_times=3, charsets=('utf-8',)):
page_html = None
try:
page_html = decode_page(urlopen(seed_url).read(), charsets)
except URLError:
# logging.error('URL:', error)
if retry_times > 0:
return get_page_html(seed_url, retry_times=retry_times - 1,
charsets=charsets)
return page_html
# 从页面中提取需要的部分(通常是链接也可以通过正则表达式进行指定)
def get_matched_parts(page_html, pattern_str, pattern_ignore_case=re.I):
pattern_regex = re.compile(pattern_str, pattern_ignore_case)
return pattern_regex.findall(page_html) if page_html else []
# 开始执行爬虫程序并对指定的数据进行持久化操作
def start_crawl(seed_url, match_pattern, *, max_depth=-1):
conn = pymysql.connect(host='localhost', port=3306,
database='crawler', user='root',
password='123456', charset='utf8')
try:
with conn.cursor() as cursor:
url_list = [seed_url]
# 通过下面的字典避免重复抓取并控制抓取深度
visited_url_list = {seed_url: 0}
while url_list:
current_url = url_list.pop(0)
depth = visited_url_list[current_url]
if depth != max_depth:
page_html = get_page_html(current_url, charsets=('utf-8', 'gbk', 'gb2312'))
links_list = get_matched_parts(page_html, match_pattern)
param_list = []
for link in links_list:
if link not in visited_url_list:
visited_url_list[link] = depth + 1
page_html = get_page_html(link, charsets=('utf-8', 'gbk', 'gb2312'))
headings = get_matched_parts(page_html, r'<h1>(.*)<span')
if headings:
param_list.append((headings[0], link))
cursor.executemany('insert into tb_result values (default, %s, %s)',
param_list)
conn.commit()
except Error:
pass
# logging.error('SQL:', error)
finally:
conn.close()
def main():
ssl._create_default_https_context = ssl._create_unverified_context
start_crawl('http://sports.sohu.com/nba_a.shtml',
r'<a[^>]+test=a\s[^>]*href=["\'](.*?)["\']',
max_depth=2)
if __name__ == '__main__':
main()注意事项
1. 处理相对链接。有的时候我们从页面中获取的链接不是一个完整的绝对链接而是一个相对链接，这种情况下需要将其与URL前缀进行拼接（urllib.parse中的urljoin函数可以完成此项操作）。
2. 设置代理服务。有些网站会限制访问的区域（例如美国的Netflix屏蔽了很多国家的访问），有些爬虫需要隐藏自己的身份，在这种情况下可以设置代理服务器（urllib.request中的ProxyHandler就是用来进行此项操作）。
3. 限制下载速度。如果我们的爬虫获取网页的速度过快，可能就会面临被封禁或者产生“损害动产”的风险（这个可能会导致吃官司且败诉哦），可以在两次下载之间添加延时从而对爬虫进行限速。
4. 避免爬虫陷阱。有些网站会动态生成页面内容，这会导致产生无限多的页面（例如在线万年历等）。可以通过记录到达当前页面经过了多少个链接（链接深度）来解决该问题，当达到事先设定的最大深度时爬虫就不再像队列中添加该网页中的链接了。
5. SSL相关问题。在使用`urlopen`打开一个HTTPS链接时会验证一次SSL证书，如果不做出处理会产生错误提示“SSL: CERTIFICATE_VERIFY_FAILED”，可以通过以下两种方式加以解决：
- 使用未经验证的上下文
```Python
import ssl
request = urllib.request.Request(url='...', headers={...})
context = ssl._create_unverified_context()
web_page = urllib.request.urlopen(request, context=context)
```
- 设置全局的取消证书验证
```Python
import ssl
ssl._create_default_https_context = ssl._create_unverified_context
```
2688
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
