HACKONE的博客

selenium自动化scrapy框架pyspider框架爬虫验证码动态渲染页面爬取模拟登录AutoScraper

selenium自动化scrapy框架pyspider框架爬虫验证码动态渲染页面爬取模拟登录AutoScraper

numpy,matplotlib,pandas,PLI

线程是操作系统能够进行运算调度的最小单位。它被包含在进程之中，是进程中的实际运作单位。一条线程指的是进程中一个单一顺序的控制流，一个进程中可以并发多个线程，每条线程并行执行不同的任务。

【代码】python从入门到精通（十八）：python爬虫的练习案列集合。

python数据可视化Matplotlib绘图教程，Matplotlib柱状图｜Matplotlib动态图｜Matplotlib散点图。Pandas数据分析从入门到实战，零基础小白保姆级Python数据分析教程。NumPy教程，保姆级基础入门Python数据分析。

Tkinter是Python的标准GUI库，它提供了丰富的组件和布局管理器，能够帮助我们快速地创建图形用户界面应用程序。

tag中最重要的属性：name和attributes。正则表达式搜索:使用search()方法来匹配内容。如果是本地文件，直接以写入权限打开，并用bs解析。如果是网页文件，则需要先用爬虫爬取，然后解析。字符串过滤，会查找所有与字符串完全匹配的内容。查找第一个与字符串完全匹配的内容。查找当前标签的下一个兄弟标签。查找当前标签的前一个兄弟标签。查找当前标签的父标签。获取标签内的文本内容。

返回数据不是明文而是密文时，比如常见的模拟登陆中的密码，有些网站还是采用明文方式传输，但大部分网站都是采用的密文方式传输。这时你对登陆页面发起POST请求，Data字段带上明文的密码时是无法达到模拟登陆的目的的。这时就需要剖析网站的JS加密算法以及对其进行逆向操作。

12。

Scrapy框架的使用。selenium的使用。爬虫，python

python 数据分析 爬虫 函数 列表

python的4种爬虫方法：1.基于requests库的方法：requests是Python的一个HTTP客户端库，用于发送HTTP请求和处理响应。它提供了简洁的API，使得发送HTTP请求和处理响应变得非常简单。你可以使用requests库获取网页内容，然后配合解析库（如BeautifulSoup、lxml等）进行HTML或XML文档的解析。2.基于Scrapy框架的方法：Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。它可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程

mktime(t) #执行与gmtime(), localtime()相反的操作，将UTC时区（0时区）的struct_time转换为一个Unix时间戳。gmtime() 返回当前时间的struct_time形式，UTC时区(0时区) ，可传入时间戳格式时间，用来做转化。localtime() 返回当前时间的struct_time形式，可传入时间戳格式时间，用来做转化。asctime() 返回字符串形式的时间，可以传入struct_time形式时间，用来做转化。

python数据分析和可视化基础python文件操作python爬虫分析python文件操作python爬虫分析

d{3,4} 既可以匹配3个数字也可以匹配4个数字，不过当有4个数字的时候，优先匹配的是4个数字，这是因为正则表达式默认是贪婪模式，即尽可能的匹配更多字符，而要使用非贪婪模式，我们要在表达式后面加上?值得注意的是： .字符只有一个不能匹配的字符，也就是换行符（\n），不过要让.字符与换行符匹配也是可以的，以后会讨论。例如：如果要取出喜欢两个字，要求喜欢的前面没有我，后面没有你，这个时候就要这么写：(?例如：如果要取出喜欢两个字，要求喜欢的前面有我，后面有你，这个时候就要这么写：(?

1.实例方法 – 方法内部需要访问。封装、继承、多态

python数据分析和可视化基础

在cards_tools 文件的顶部增加一个列表变量，所有名片记录的列表# 记录所有名片字典"""显示菜单"""print("""欢迎使用[名片管理系统] V1.0\n1.新建名片\n2.显示全部\n3.查询名片\n0.退出系统""")"""新增名片"""print("新增名片")# 1.提示用户输入名片的详细信息name = input("请添加名片姓名:")QQ = input("请添加名片QQ:")iphone = input("请添加名片电话:")

为了保证所有的函数都能够正确使用到全局变量，应该将全局变量定义在其他函数的上方num = 10# 再定义一个全局变量title ="黑马程序员"demo()# 再定义一个全局变量name ="小明"# 应该将全局变量定义在其他函数的上方#注意: 在开发时，应该把模块中的所有全局变量#定义在所有函数上方，就可以保证所有的函数都能够正常的访问到每一个全局变量了num = 10title ="黑马程序员"name ="小明"demo()

def 函数名():函数封装的代码...def 是英文 define 的缩写函数名称应该能够表达函数封装代码的功能，方便后续的调用函数名称的命名应该符合标识符的命名规则1.可以由 字母、下划线和数字 组成2.不能以数字开头3.不能与关键字重名。

第十二章：列表第十三章：元组第十四章：字典第十五章：集合第十六章：函数

print方法的作用 : 把想要输出的内容打印在屏幕上注释的作用 ： 对其中部分代码的作用进行说明，增强程序的可读性实例：单行注释多行注释debug调试利用单步执行来验证#号右边的不会被当做程序执行（debug调试）点击行号和代码执行的空白处，生成断点，然后点击右上角瓢虫式的按钮，打开debug调试模式，点击console控制台，蓝色行首先选中第一行，代表正在准备执行，单击执行下一步，发现直接跳过注释代码，选中下一个即将执行的代码print(“hello”)python算数运算符重点记忆：