qq_39842253的博客

爬虫的总结汇总爬虫介绍1.爬虫是否违法？​ ~ 法不禁止即为许可​ ~ 隐匿自己的身份 ---> 商业IP代理​ ~ 不要被目标网站举证有破坏动产行为2.爬虫的分类和作用？​ ~ 通向爬虫 ---> 搜索引擎​ ~ 定向爬虫 ---> 有具体的爬取目标​ ~ 尽量遵守爬虫协议 ---> robots.txt3.爬虫怎么写​ ~ 抓取页面 ---> requests / aiohttp​ ~ 解析页面 - 正则表达式 ---> re (reg

1.爬虫是否违法？​ ~ 法不禁止即为许可​ ~ 隐匿自己的身份 —> 商业IP代理​ ~ 不要被目标网站举证有破坏动产行为2.爬虫的分类和作用？​ ~ 通向爬虫 —> 搜索引擎​ ~ 定向爬虫 —> 有具体的爬取目标​ ~ 尽量遵守爬虫协议 —> robots.txt​ 对中小企业来说，数据一定是短板，要么花钱买数据，要么写爬虫3.爬虫怎么写​ ~ 抓取页面 —> requests / aiohttp​ ~ 解析页面正则表达式 —> re

认识python基本语法（注释，语句，标识符，关键字，常用数据和数据类型，print和input）变量编程 —— 通过计算机指令指挥计算机干活Python的优缺点优点：简单和明确，做一件事只有一种方法开放源代码，有用强大的社区和生态圈解释型语言，完美的平台可移植性。——因为解释器多种支持两种主流的编程范式，可以使用面向对象和函数式编程可扩展性和可嵌入型，可以调用C/C++代码也可以在C/C++中调用代码规范程度高，可读性强。缺点：执行效率低下，因此计算密集型任务可以由.

今天学习内容：变量底层，运算符，if分支结构运算符：数学运算符(±*/)，比较运算符(<>=)，逻辑运算符(||,&&)，赋值运算(=,=+,=-)变量底层# python 中a = 100 # 申请地址空间，保存100，关联aa = 200 # 申请更大的自制空间，保存200，关联a# 自己选择容器的大小，还会选择容器的性质# C 中int a = 100 # 申请一个4字节地址空间，关联a保存100a = 200 # 将100移除，放入200，

列表list 列表是容器型数据类型将[]作为容器标志，里面多个数据用逗号隔开：[元素1, 元素2, 元素3, 元素4]作为容器的特征：1.列表是否可变（可变值得是元素的个数可变；元素的值变量：元素的顺序可变） 2.列表是有序的（每个元素都有一个表示元素在列表中位置的序号）元素（容器中的每个独立的数据就是元素）：没有要求（任何类型的数据都可以作为列表的元素）list1 = [1, 2, [2, 3], {'a': 10}]这个列表是四个元素print([12, 123][0]) #

学习内容大纲：列表推导式，列表函数，元组，字典今日学习函数：列表推导式：[表达式 for 变量 in 序列][表达式 for 变量 in 序列 if 条件语句]表达式1 if 条件语句 else 表达式2列表中的函数：列表.cleear()列表.copy()列表.count(元素)列表.extend(序列)列表.index(元素)列表.reverse()列表.sort()列表.sort(reverse=True)元组中的函数：元组.count(元素)元组.index(元

认识字符串相关函数 hex(x)转十六进制 chr(编码值) —— 获取指定编码对应的字符 ord(字符) —— 获取字符编码值（字符用长度是1的字符串表示） 字符串1.count(字符串2) —— 返回字符串1中字符串2出现的次数 字符串.upper() —— 小写变大写 字符串.join(序列) —— 将序列中的元素用指定的字符串拼接产生一个新的字符串 字符串1.split(字符串2) —— 将字符串1中所有字符串2作为切割点切割字符串1 字符串1.

高阶函数(实参高阶函数，返回追高阶函数)+装饰器高阶函数1.实参高阶函数 —— 如果一个函数的参数是函数，那么这个函数就是实参高阶函数（怎么使用系统提供的实参高阶函数）2.返回值高阶函数 —— 如果一个函数的返回值是函数，那么这个函数就是返回值高阶函数（会写装饰器）常用实参高阶函数：max、min、sorted、map、reduce'''max(序列, key=函数)函数的要求：1）有且只有一个参数，这个参数指向的是数前面序列中的每个元素 2）需要一个返回值，返回值决定求最大值的时候比

迭代器1.什么是迭代器迭代器作为序列无法获取元素的个数，打印迭代器的时候也没法查看所有的元素如果要获取元素的值必须将元素从迭代器中取出来，而且某个元素如果取出来就无法再放回迭代器了，取出来一个就少一个2.创建迭代器 1）将其他序列转化成迭代器 - 所有序列都可以转换成迭代器 2）创建生成器3.获取元素不管以什么样的方式获取到了迭代器的元素，那么这个元素就会从迭代器中消失(取出来没法放回去了) 1）next(迭代器) —— 返回指定迭代器最前面的元素 2）遍历生成器1.什么是生成器

利用正则表达式完成下面的操作:一、不定项选择题能够完全匹配字符串"(010)-62661617"和字符串"01062661617"的正则表达式包括（A C）A.r"\(?\d{3}\)?-?\d{8}" B. r"[0-9()-]+" C.r"[0-9(-)]*\d*" D.r"[(]?\d*[)-]*\d*"能够完全匹配字符串“c:\rapidminer\lib\plugs”的正则表达式包括（BC ）A. “c:\rapidminer\lib\plugs”B. “c:\rap

对角数组np.diag()结构数组的创建a。利用字典来定义结构import numpy as nppersonType = np.dtype({ 'name': ['name', 'age', 'weight'], 'formats': ['U30', 'i8', 'f8']})a = np.array([('Liming', 24, 63.9), ('Mike', 15, 67.8), ('Jan', 34, 45.8)], dtype=personType)print

import csvimport json# test文件操作class FileText: def __init__(self, address): self.address = address def read_text_file(self): try: with open(self.address, encoding='utf-8') as f: return eval(f.read())

爬虫中 有关 selenium 的类操作from selenium import webdriverclass SeleniumCrawling: def __init__(self, url): self.wb = Chrome() self.url = url self.options = ChromeOptions() self.cookie_address = None self.content_addre