- 博客(39)
- 收藏
- 关注
RSS订阅原创 Python数据分析----Numpy函数应用(二)
用于指定随机数生成时所用算法开始的整数值，如果使用相同的seed()值，则每次生成的随即数都相同，如果不设置这个值，则系统根据时间来自己选择这个值，此时每次生成的随机数因时间差异而不同。通过改变axis的值（0或者1）来选择是上下还是左右拼接。,生成的是均值为0 标准差为1 正太分布的随机数组。不同之处在于，它可以自主选择生成的数的均值和方差。，随机抽取数组中一个或者多个数形成一个新数组。我们也可以规定随机产生几行几列的多维数组。,默认随机产生[0,1) 间的数组。0是行拼接，1是列拼接。......
2022-08-17 14:10:15
688
3
原创 Python数据分析----Numpy介绍与安装
使用jupyter进行编写提示：以下是本篇文章正文内容，下面案例可供参考Numpy(Numerical Python)是目前Python数值计算中最为重要的基础包。大多数计算包都提供了基于Numpy的科学函数功能，将Numpy的数组对象作为数据交换的通用语。...
2022-08-16 10:19:04
565
原创 Python爬虫——MongoDB入门到精通（二）
命令提示：按tabmongodb中文社区：https://docs.mongoing.com/mongo‐introduction非手动创建集合的方式手动创建集合 name 集合名字是必须要传的除此之外 还有一些可选参数：1、需要先切换到具体的数据库 use xxx2、db.user.insert({}) 直接往一个不存在的集合中插入数据 会默认创建 这个集合(非手动的)手动创建集合 集合名字必须要穿 可选参数能够限制创建的集合大小是一个12字节的十六进制4（ 当前的时间戳） + 3 （机器ID）+
2022-06-09 14:29:59
491
原创 Python爬虫——MongoDB入门到精通（一）
数据库分为关系型和非关系型数据库爬虫里面用得比较多的菲关系型数据库:，是介于关系型和非关系型数据库之间的产品 关系型的 数据库–> 表–> 数据 字段 id name age 非关系型 数据库–> 集合–> 数据(文档)记录 采取的是来进行数据存储和编码运输的是的改进版本会把每个字段长度存储在字段的头部(仅作了解即可)MongoDB的中文帮助文档网址MongoDB下载地址推荐下载xxx.msi 因为一般会自动配置环境变量选择 MongoDB Community Server 然后在Package这
2022-06-09 13:52:36
871
原创 Python爬虫——多线程（一）
pycharm 腾讯课堂 浏览器n个cpu核心 可以同时执行多个任务线程 进程中的执行单位就是线程（进程中所包含的执行单位就是线程）一个进程可以包含多个线程在python中 实际上一次只能执行一个线程存在线程锁 用来解决资源竞争的问题主要用来解决效率问题I/O操作 网络IO 磁盘IO需要把多线程需要完成的工作写入到事件函数中可以同时进行多个线程的事件2.类创建多线程线程锁利用线程锁解决资源竞争问题得先找到可能会出现资源竞争问题得地方找到之后给这个可能得地方上把锁上锁要记得解锁不然
2022-06-05 15:18:10
819
原创 selenium知识点（二）
selenium知识点（二）文章目录selenium知识点（二）页面等待为什么需要页面等待如何处理页面等待的问题？代码案例实现操作多窗口页面等待为什么需要页面等待1、网页元素需要加载时间2、有时候一些操作只有在某种条件成熟的情况下才能做如何处理页面等待的问题？time.sleep(3)selenium有自己的等待方式提供了隐式等待和显示等待代码案例实现from selenium import webdriverimport timefrom selenium.webdriver.
2022-05-30 11:32:03
282
原创 selenium知识点案例
系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加例如：第一章 Python 机器学习入门之pandas的使用提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录系列文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例
2022-05-29 22:07:46
146
原创 selenium入门知识（一）
selenium入门知识（一）文章目录selenium入门知识（一）selenium基本使用方法驱动Phantomjs快速入门Chorme快速入门select选择下拉框索引下拉框扩展知识补充selenium操作总结selenium基本使用方法from selenium import webdriver# 实例化浏览器driver = webdriver.Chrome()# 发送请求driver.get('https://www.baidu.com')# 退出浏览器driver.q
2022-05-28 19:56:26
996
原创 Html文件读取与爬取（个人笔记篇）
Html文件读取与爬取（个人笔记篇）文章目录Html文件读取与爬取（个人笔记篇）html文件读取解析html数据存储爬取到的数据完整代码展示html文件读取1.通过open：打开文件地址，‘r’：读取文件，encoding：读取文件的格式2.再通过html.read()3.获取到htmldef get_html(self, url): html = open(url, 'r', encoding='utf-8') h = html.read() # print(h
2022-05-22 16:59:55
2406
原创 Python爬虫----bs4入门到精通（二）
Python爬虫----bs4入门到精通（二）文章目录Python爬虫----bs4入门到精通（二）一、修改文档树二、使用步骤提示：以下是本篇文章正文内容，下面案例可供参考一、修改文档树修改文档树● 修改tag的名称和属性● 修改string 属性赋值,就相当于用当前的内容替代了原来的内容● append() 像tag中添加内容,就好像Python的列表的 .append() 方法● decompose() 修改删除段落，对于一些没有必要的文章段落我们可以给他删除掉from bs
2022-05-18 16:36:00
1115
原创 Python爬虫----bs4入门到精通（一）
Python爬虫----bs4入门到精通（一）文章目录Python爬虫----bs4入门到精通（一）BeautifulSoup4介绍基本概念源码分析bs4快速入门一、安装二、导入模块三、创建soup对象bs4对象种类代码演示，详细注解遍历文档树contents，children，descendants代码演示，详细注解string ，strings，stripped_strings代码演示，详细注解parent 和 parents代码演示，详细注解find() 和 find_all()----[重点学习
2022-05-14 19:14:41
517
原创 Python----Xpath入门到精通与案例详解
Xpath入门到精通与案例详解文章目录Xpath入门到精通与案例详解Xpath介绍为什么学习XpathXpath原理Xpath工具使用Xpath语句介绍lxml的使用提示：以下是本篇文章正文内容，下面案例可供参考Xpath介绍为什么学习Xpath正则比较复杂，根据不同网页结构 灵活的选择解析方法Xpath原理X path根据路径找到数据的技术xml path languagehtml是xml的一个子集根据元素和属性进行导航Xpath工具使用Xpath语句介绍lxml的使用.
2022-05-12 22:05:52
762
原创 正则补充，csv读取和写入，案例讲解
@[TOC](正则补充，csv读取和写入，案例讲解)---# 正则表达式----正则补充```pythonimport re# s为待匹配的数据s = "apple price is $22, banana price is $33"# 需求--匹配到价格$22 $33# .+匹配出换行符以外任意数量字符# 一个括号就是一个分组result = re.search(r'.+(\$\d+).+(\$\d+)',s)print(result.group(0))print(resu
2022-05-10 20:18:49
604
原创 cookie--反反爬和模拟登陆简单案例
文章目录前言一、cookie案例二、使用步骤1.引入库2.读入数据总结前言提示：以下是本篇文章正文内容，下面案例可供参考一、cookie案例示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。二、使用步骤1.引入库代码如下（示例）：import numpy as npimport pandas as pdimport matplotlib.pyplot as pltimport seaborn as snsimport warningswar
2022-05-07 14:08:02
417
原创 正则表达式
文章目录正则表达式概述正则是什么？为什么要学习正则？正则的应用场景？一、正则入门1、普通字符2、元字符3、预定义匹配字符集4、重复匹配二、使用步骤1.引入库2.读入数据总结正则表达式概述正则是什么？.? 是由一些特殊的符号组合在一起的字符串*为什么要学习正则？去网页源码中解析出我们想要的数据正则的应用场景？爬虫提示：以下是本篇文章正文内容，下面案例可供参考一、正则入门1、普通字符字母，数字，汉字，下划线，以及没有特殊定义的符号，都是“普通字符”。正则表达式中的普通字符，在匹配的时
2022-05-04 21:03:35
167
原创 爬虫——requests详细介绍，案例演示
# requests模块---@[TOC](文章目录)---# requests介绍是第三方 需要安装的```pythonpip install requests -i https://pypi.tuna.tsinghua.edu.cn/simple```但是需要注意的是 在pycharm里面 最好不要用虚拟环境(如果解释器的路径中包含单词venv 就证明可能用的是虚拟环境)> File-->settings-->Project:xxx-->project Interpret
2022-04-28 22:47:59
248
原创 网络请求模块补充
网络请求模块补充文章目录网络请求模块补充一、urllib.parse的补充二、百度贴吧案例1.百度 贴吧改写函数式2.百度 贴吧改写成面向对象式三、百度案例四、有道翻译提示：以下是本篇文章正文内容，下面案例可供参考一、urllib.parse的补充二、百度贴吧案例1.百度 贴吧改写函数式
2022-04-20 14:44:08
557
原创 蓝桥杯----历届试题（一）
蓝桥杯----历届试题文章目录蓝桥杯----历届试题一、试题 历届真题 杨辉三角形【第十二届】【省赛】【C组】问题代码解析二、时间显示问题代码解析三、双向排序问题代码解析提示：以下是本篇文章正文内容，下面案例可供参考一、试题 历届真题 杨辉三角形【第十二届】【省赛】【C组】问题代码解析我的代码，显示内存超限，但结果可行listA = [] listC = []N = int(input()) for i in range(N + 1): listB = []
2022-04-02 16:04:42
453
原创 蓝桥杯----基础题运算下
蓝桥杯----基础题运算下文章目录蓝桥杯----基础题运算下一、 查找整数问题描述代码解析index函数拓展二、数列特征问题描述代码解析sort()函数拓展三、字母图形问题描述代码解析四、 01字串问题描述代码解析rjust，ljust函数拓展rjust格式ljust格式五、闰年判断问题描述代码解析六、Fibonacci数列问题描述代码解析圆的面积问题描述代码解析round函数和format函数round函数format函数序列相加问题描述代码解析提示：以下是本篇文章正文内容，下面案例可供参考一、
2022-04-02 11:26:17
1393
原创 蓝桥杯----基础题运算上
蓝桥杯----基础题运算文章目录蓝桥杯----基础题运算一、a+b运算问题描述：代码解析split函数拓展二、数列排序问题描述代码解析sort函数拓展map拓展三、十六进制转八进制问题描述代码解析四、十六进制转十进制问题描述代码解析进制的拓展五、十进制转十六进制问题描述代码解析replace（）函数拓展upper() 函数拓展六、特殊回文数问题描述代码解析七、回文数问题描述代码解析八、特殊的数字问题描述代码解析九、杨辉三角形问题描述代码解析提示：以下是本篇文章正文内容，下面案例可供参考一、a+b运
2022-04-01 20:56:58
339
原创 爬虫----request简介（以及urllib模块和request模块保存图片区别）
这里写自定义目录标题欢迎使用Markdo4wn编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdo4wn编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用M
2022-04-01 16:46:28
6078
原创 爬虫----网络请求模块（urllib模块）
系列文章目录提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加例如：第一章 Python 机器学习入门之pandas的使用提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录系列文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结学习目标：学习内容：学习时间：学习产出：前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。
2022-04-01 16:43:06
337
原创 爬虫前导知识
文章目录爬虫简介一、通讯协议二、网络参考模型1.引入库2.读入数据三、请求和响应四、请求方式&url五、ua、referer和cookie六、状态码和抓包工具总结爬虫简介提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考一、通讯协议示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。二、网络参
2022-03-30 14:02:59
1178
原创 Python迭代器 生成器
迭代器迭代器指的是迭代取值的工具，迭代是指一个重复的过程，每一次重复都是基于上一次结果而来迭代提供了一种通用的不依赖索引的迭代取值方式。可迭代对象可以用for循环遍历的对象都是可迭代对象。~str，list，tuple，dict，set等都是可迭代对象~generator（生成器和yield的生成器函数）也是可迭代对象迭代器~有内置的__iter__()方法的对象，执行迭代器的__iter__()方法得到的依然是迭代器本身~有内置的__next__()方法的对象，执行该方法可
2022-02-12 16:22:20
343
原创 Python 文件操作
文件操作在实际操作中，通常需要将数据写入到本地文件或者从本地文件中读取数据等操作，那么作为Python爱好者的我们，必须掌握用Python语言对本地文件进行操作。本地文件操作步骤~找到文件所在位置~打开文件~操作文件~关闭文件open（）函数open函数语法open（file，mode = ‘r’，encoding = None） --->打开文件· file ---->文件路径·mode ---->操作文件模式~ r ---->只读模
2022-02-11 22:02:58
400
原创 Python模块
time模块%Y Year with century as a decimal number.%m Month as a decimal number [01,12].%d Day of the month as a decimal number [01,31].%H Hour (24-hour clock) as a decimal number [00,23].%M Minute as a decimal number [00,59].%S Second as a deci
2022-02-10 17:19:41
441
原创 Python 异常捕获
异常当Python无法正常处理程序时就会发生一个异常，会影响程序的正常执行。异常也是python对象，表示一个错误。异常捕获当python脚本有发生异常的可能时，就需要捕获异常，避免程序终止执行。语法try： 正常程序执行的代码块except： 异常程序执行的代码块 #虽然不会报错终止程序，但无法记录下具体异常种类try: ipt = input('qingshuru') i = int(ipt) #程序出错，i=...
2022-02-09 15:56:51
871
原创 Python面向对象----多继承，多态
多继承所谓多继承，即子类有多个父类，并且具有它们的特征。情景一，多个父亲class Father(GrandFather): def Car(self): print("继承父亲的房子")class Father1(object): def House(self): print("继承干爹的房子")class Son(Father, Father1): # 用有相同的方法时，左边优先执行s = Son()s.House()#
2022-02-08 12:28:27
551
原创 python面向对象----成员
私有属性与私有方法私有属性私有属性：就是对象不希望公开的属性定义方式：在属性名前面增加两个下划线 （例如：__name）class People: def __init__(self, name, age): self.name = name self.__age = age def print_info(self): # 私有属性在类的内部方法是可以访问的 print(self.name, self.__a
2022-02-07 13:35:00
875
原创 python面向对象
推导式 （对前一章的推导式的补充）字典推导式｛out_exp_key:out_exp_value for out_exp in input_list｝li = ['age','name','gender']dic = {i:li.index(i) for i in li} # i 是值还是索引？i 是值print(dic) # 可以形成字典形式for i in li: print(li.index(i)) #输出索引值集合推导式｛out_exp_res for out_
2022-02-05 20:03:37
574
原创 python运算符
算数运算符/ 除 为 float类型// 整除 为 int类型 向下取整，比实际结果要小的整数，不会四舍五入*跟字符串搭配print('---')print('-'*3)两种结果相同% 余除 ，取余数比较运算符返回值均为bool类型== 比较值是否相等!= 比较值是否不相等>,< 大于，小于>=,<= 大于等于，小于等于True == 11.0 == 1 为true 比较运算符，仅比较数值，字符串比较ASCII值‘1.0
2022-01-17 19:02:19
255
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人