(Python爬虫01)-本想给随笔加个序号才发现这么不方便

本想给随机加个序号，才发现还得去返回看看文章的序号。好在cnblog能断点自动保存。 作为一个小程序员，点赞的同时还在想，谁知道咋实现这种实时保存呢？有知道的给个参考文档呗。太感激了！

重点在这里

有几个种技术我现在必须用最快的时间属性并掌握！ 最急的是vue，其次是爬虫

待掌握

1. node+mongodb+ vue

2. 爬虫系列
   - 自带模块
   - 第三方模块

3. Django和flask

看到一个不错的爬虫博客，简单整理下思路

python 学习思路是什么？

爬虫基本流程

1. 发起请求
2. 获得相应内容
3. 解析内容
4. 保存数据

什么是Reques，Response

应该详细了解一下HTTP请求！这几点比较重要

1. 从输入url到得到结果的流程
2. HTTP请求
3. 请求方式
4. URL
5. 请求头
6. 请求体
7. 响应状态
8. 响应头
9. 响应体

能爬取什么样的数据

其实只要是网页中能看到的内容都可以爬取.简单分下类

1. 网页文本: html文档,json/xml格式文本等
2. 图片: 获取到的是二进制,保存为图片格式
3. 视频: 也是二进制,

爬虫和反爬虫战争一直在继续, 爬虫必胜,只是难度增加而已!

如何解析数据

1. 直接处理
2. json 解析
3. xml解
4. 正则. 式解析
5. BeautifulSoup 解析处理
6. PyQuery 解析
7. XPath 解析

如果抓取的页面数据和浏览器里看到的不一样咋办?

出现这种情况.表示战争已经开始了! 很多网站中的数据都是通过js,ajax 动态加载的! 核心是动态哦!! 所以直接通过get 请求获取的页面和浏览器显示不同! 也叫"动态解析". 现在我们就需要模拟浏览器了!

1. 分析 ajax
2. Seleninm/webdriver (操作浏览器）动态爬虫、自动化测试工具
3. Splash
4. PyV8 , Ghost.py

强调一下核心模拟浏览器的操作行为

如何保持数据?

1. 文本: 存文本,json,xml
2. 关系型数据库: SQLite, mysql, oracle, sql Server 等结构化数据
3. 非关系型数据库: MongoDB, Redis 等 key:vaue 键值对形式存储

print('无数次猛然发现,要弄点和实际略微挂钩的功能,咋都得熟悉这么多技术! ')
print('程序员类还是有原因的, 哪个行和技术更新这么快')
print('IT更新到底多快呢? 百度下: 摩尔定律!')

转载于:https://www.cnblogs.com/bignote/p/9713354.html