钢铁男儿

【代码】Python 获取硬盘 主板等生产注册码。

1.掌握常用运算符在程序开发中的主要应用；2.熟练应用变量，运算符在实际开发中解决实际问题；3.熟练掌握random模块在实际开发的应用技巧；4.掌握random模块和datetime模块的综合应用；5.灵活应用学过的编程知识解决生活中，学习中遇到的应用问题。

在Python中，可以使用datetime模块来处理日期和时间。本章只介绍侧重使用，不讲具体语法等知识，后面章节有详细介绍。datetime模块非常好用，提供了很多日期格式、时间格式处理、转换的对象和方法。使用时，首先要导入datetime库，代码如下：(1) 获取当前日期，不显示时间(3) 使用strftime()格式化时间为标准格式(4) 倒计时计算实现倒计时有多重方法，本书介绍使用strptime对象实现倒计时的方法。首先要设置一个未来的时间，通过strptime对象设置未来时间。

有时候字符串需要做一些左、中、右对齐操作，比如商场打印的发票，收费项都是左对齐，金额右对齐，抬头中央对齐。通过ljust()、center()、rjust()或者format方法可以实现文字居左、居中、居右操作。

计算机视觉是机器学习的一种应用，而且是最有价的应用。

将前景物体从背景中分离出来。

①图像搜索，如以图搜图；②拼图游戏；③图像拼接，将两长有关联得图拼接到一起；

具有相同颜色或强度的连续点的曲线。图像轮廓的作用可以用于图像分析物体的识别与检测。

什么事形态学处理基于图像形态进行处理的一些基本方法；这些处理方法基本是对二进制图像进行处理；卷积核决定着图像出来后的效果。

滤波的作用一副图像通过滤波器得到另一副图像；其中滤波器又称为卷积核，滤波的过程称为卷积。图像卷积效果图卷积的过程。

fx：x轴的缩放因子fy：y轴的缩放因子interpolation 插值算法INTER_NEAREST,临近插值，速度快，效果差INTER_LINEAR,双线性插值，原图中的4个点INTER_CUBIC 三次插值，原图中的16个点INTER_AREA 效果最好。

引入一副图片# 要有一个Logo,需要自己创建# 水印添加，在什么地方添加，在添加的地方变成黑色# 利用add 将logo 与图形叠加到一起import cv2# 创建LOGO# 绘制LOGO# 对mask按位取反# 选择girl添加logo的位置# 与m进行操作#cv2.imshow# 引入一副图片# 要有一个Logo , 需要自己创建# 水印添加，在什么地方添加，在添加的地方变成黑色。

实现鼠标绘制基本图形。

【代码】OpenCV 画文本。

画线画矩形画圆画椭圆画多边形绘制字体。

Mat是什么？Mat有什么好处？

创建矩阵检索与赋值[y,x]获取子数组[:,:]

OpenCV中用到的矩阵都要转换成Numpy数组Numpy是一个经高度优化的Python数值库。

YUV 4:2：0YUV 4:2：2UVW 4:4：4

色彩空间变换；像素访问；矩阵的+、-、*、、；基本图形的绘制。

【代码】图像&视频的加载与展示。

学习目标：1、应用 请求对象cookies参数的使用；2、了解 start_requests函数的作用；3、应用 构造并发送post请求；1、回顾之前的模拟登录的方法1.1、requests 模块是如何实现模拟登录的？1）、直接携带cookies请求页面；2）、找url地址，发送post请求存储cookie1.2 selenium是如何模拟登录的？1）、找到对应的input标签，输入文本点击登录；1.3 scrapy的模拟登录1）、直接携带cookies2)、找url地址，发送pos

学习目标：1、应用 在scrapy项目中进行建模；2、应用 构造 Request 对象，并发送请求；3、应用 利用meta参数在不同的解析函数中传递数据；1、数据建模通常在做项目的过程中，在items.py中进行数据建模。1.1 为什么建模1)、定义item即提前规划好哪些字段需要抓，防止手误，因为定义好之后，在运行过程中，系统会自动检查；2)、配合注释一起可以清晰的知道要抓取哪些字段，没有定义的字段不能抓取，在目标字段少的时候可以使用字段代替；3）、使用scrapy的一些特定组件需要It

学习目标：1.掌握 scrapy的安装；2.应用 创建scrapy的项目；3.应用 创建scrapy 爬虫；4.应用 运行scrapy爬虫；5.应用 scrapy定位以及提取数据或属性值得方法；6.掌握 response响应对象的常用属性；1、安装scrapypip install scrapy2、scrapy项目开发流程1）、创建项目scrapy startproject mySpider2)、生产一个爬虫scrapy genspider itcast itcast.cn3)

学习目标：1、了解 scrapy的概念；2、了解 scrapy框架的作用；3、掌握 scrapy框架的运行流程；4、掌握 scrapy中每个模块的作用；scrapy的概念Scrapy是一个Python编写的开源网络爬虫框架。它是一个被设计用于爬取网络数据、提取结构性数据的框架。Scrapy是一个Twisted异步网络框架，可以加快我们的下载速度。scrapy框架的作用少量的代码，就能够快速的抓取。scrapy的流程其流程可以描述如下：1、爬虫中起始的url构造成reques

学习目标：1、掌握 服务端的启动；2、掌握 客户端的使用；3、掌握 mongodb的数据库和集合命令4、了解 文档中的_id字段1、mongodb服务端的启动默认端口：27017默认配置文件的位置：/etc/mongod.conf默认日志的位置：/var/log/mongodb/mongod.logmongodb服务器启动分别两种方式：本地测试方式的启动（只具有本地数据增删改查的功能）生产环境启动（具有完整的全部功能）1.1 测试方式启动启动：sudo service mongod

介绍在前面的课程中我们学习了mysql这种关系型数据库，那么接下来，我们会来学习一种非数据库mongodb，mongodb数据库主要用于海量存储，常被用在数据采集项目中。内容mongodb的介绍和安装mongodb的简单使用mongodb的增删改查mongodb的聚合操作mongodb的索引操作mongodb的权限管理mongodb和python交互(pymongo模块)1、mongodb的介绍1.1 什么是mongodbmongodb是一个功能最丰富的NoSQL非关系数据库。由C+

学习目标：1、了解 定位js的方法；2、了解 添加断点观察js的执行过程的方法；3、应用 js2py 获取js的方法；1 确定js的位置对于前面人人网的案例，我们知道了url地址中有部分参数，但是参数是如何生产的呢？毫无疑问，参数肯定是js生产的，那么如何获取这些参数的规律呢？通过下面的学习来了解2、js2py的使用在知道了js如何生产我们想要的数据之后，那么接下来我们就需要使用程序获取js执行之后的结果了。2.1 js2py的介绍js2py是一个js的翻译工具，也是一个通过纯pytho

学习目标1、了解 新建隐身窗口的目的；2、了解 chrome中network的使用；3、了解寻找登录接口的方法；1 新建隐身窗口浏览器中直接打开网站，会自动带上之前网站时保存的cookie,但是在爬虫首次获取页面是没有携带cookie的，这种情况如何解决呢？使用隐身窗口，首次打开网站，不会带上cookie,能够观察页面的获取情况，包括对方服务器如何设置cookie在本地。2、chrome中network的更多功能2.1 Perserve log默认情况下，页面发生跳转之后，之前的请求ur

学习目标1、了解 验证码的相关知识2、掌握 图片识别引擎的使用3、了解 常见的打码平台4、掌握 通过打码平台处理验证码的方法1、图片验证码1.1 什么是图片验证码验证码（CAPTCHA）是"Completely Autonmated Public Turing test to tell Computers and Humans Apart"(全自动区分计算机和人类的图灵测试）的缩写，是一种区分用户是计算机还是人的公共全自动程序。1.2 验证码的作用防止恶意破解密码、刷票、论坛灌水、刷页。

学习目标：1、了解 服务器反爬的原因；2、了解 服务器常反什么样的爬虫；3、了解 反爬虫领域常见的一些概念；4、了解 反爬的三个方向；5、了解 常见基于身份识别进行反爬；6、了解 常见基于爬虫行为进行反爬；7、了解 常见基于数据加密进行反爬；1、服务器反爬的原因爬虫占总PV（PV是指页面的访问次数，每打开或刷新一次页面，就算做义工pv）比例较高，这样浪费钱（尤其是三月份爬虫）。三月份爬虫是个什么概念？每年的三月份我们会迎来一次爬虫高峰期，有大量的硕士在写论文的时候会选择爬取一些网站，并进

知识点：掌握selenium控制标签页的切换；掌握selenium控制iframe的切换；掌握 利用selenium获取cookie的方法；掌握 手动实现页面等待；掌握 selenium控制浏览器执行js代码的方法；掌握selenium开启无界面模式；了解 selenium使用代理ip;了解selenium替换user-agent;1、selenium标签页的切换当selenium控制浏览器打开多个标签页时，如何控制浏览器在不同的标签页中进行切换呢？需要我们做以下两步：获取所有标签页的

Selenium提取数据知识点：了解driver对象的常用属性和方法；掌握driver对象定位标签元素获取标签对象的方法；掌握 标签对象提取文本和属性值的方法；1、driver对象的常用属性和方法在使用selenium过程中，实例化driver对象后，driver对象有一些常用的属性和方法；1）、driver.page_source 当前标签页浏览器渲染之后的网页源代码；2）、driver.current_url 当前标签页的url;3)、driver.close() 关闭当前标签页，如果

学习selenium自动化测试框架在爬虫中的应用，selenium能够大幅降低爬虫的编写难度，但是也同样会大幅降低爬虫的爬取速度。在逼不得已的情况下我们可以使用selenium进行爬虫的编写。了解selenium的工作原理；了解selenium以及chromedriver的安装；掌握 标签对象click点击以及send_keys输入；1、selenium运行效果展示Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，Selenium可以直接调用浏览器，它支持所有主流的浏览

知识点了解lxml模块和xpath语法的关系；了解lxml模块的使用场景；了解lxml模块的安装；了解 谷歌浏览器xpath helper插件的安装和使用；掌握xpath语法-基础节点选择语法；掌握 xpath语法 -节点修饰语法；掌握xpath语法 - 其他常用语法；掌握 lmxl模块中使用xpath语法定位元素提取数学值或文本内容；掌握lxml模块etree.tostring函数的使用；1、了解lxml模块和xpath语法对html或xml形式的文本提取特定的内容，就需要我们掌握l

数据提取概要本阶段课程主要学习获取响应之后如何从响应中提取我们想要的数据，在本阶段课程中我们会讲解一些常用的方法和模块，基本上我们以后遇到的情况在掌握本阶段课程之后都能搞定。知识点了解 响应内容的分类；了解 xml和html的区别；1、响应内容的分类在发送请求获取响应之后，可能存在多种不同类型的响应内容；而且很多时候，我们只需要响应内容中的一部分数据。结构化的响应内容json 字符串可以使用re、json等模块提取特定数据；json字符串的例子如下图；xml字符串可以使用re、lx

知识点：掌握headers参数的使用；掌握 发送带参数的请求；掌握 headers中携带cookie;掌握 cookies参数的使用；掌握 cookieJar的转换方法；掌握 超时参数timeout的使用；掌握 代理ip参数proxies的使用；掌握 使用verify参数忽略CA证书；掌握 requests模块发送post请求；掌握 利用requests.session进行状态保持；1、requests 模块介绍发送http请求，获取响应数据requests 模块发送get请求1

知识点掌握http以及https的概念和默认端口；掌握 爬虫关注的请求头和响应头；了解 常见的响应状态码；理解 浏览器和爬虫获取的区别；一提起http协议，大家都会想起它是一个应用层协议，那么http协议跟爬虫有什么关系？请看下图：1、http以及https的概念和区别HTTPS比HTTP更安全，但是性能更低HTTP：超文本传输协议，默认端口号80超文本：是指超过文本，不仅限于文本；还包括图片、音频、视频等文件；传输协议：是指使用共用的固定格式来传输转换成字符串的超文本内容；HTTP

知识点：了解 爬虫的概念了解 爬虫的分料掌握 爬虫的流程1、爬虫的概念模拟浏览器，发送请求，获取响应。网络爬虫（又被称为网页蜘蛛，网络机器人）就是模拟客户端（主要指浏览器）发送网络请求，接收请求响应，一种按照一定的规则，自动地抓取互联网信息的程序。原则上，只要是客户端（浏览器）能做的事情，爬虫都能够做；爬虫也只能获取客户端（浏览器）所展示出来的数据。2、爬虫的作用爬虫在互联网世界中有很多的作用，比如：1、数据采集1）、抓取微博评论（机器学习舆论监控）；2）、抓取招聘网站的招聘细心（

目标vi 简介打开和新建文件三种工作模式常用命令分屏命令常用命令速查图1、vi 简介1.1 学习 vi 的目的在工作中，要对 服务器 上的文件进行 简单 的修改，可以使用 ssh 远程登录到服务器上，并且使用 vi 进行快速的编辑即可。常见需要修改的文件包括：源程序配置文件 例如 ssh 的配置文件 ~/.ssh/config在没有图形界面的环境下，要编辑文件，vi 是最佳选择！每一个要使用 Linux 的程序员，都应该或多或少的学习一些 vi 的常用命令。1.2 vi 和 v