![](https://img-blog.csdnimg.cn/04f4f6ddefe748cf9bc88d1968720ccb.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Python进阶学习篇
python进阶知识,提升个人技能,涉及数据分析,数据挖掘,爬虫
AI算法联盟
用数学思维解决人工智能问题
展开
-
excel表格设计模块openpyxl使用案例实战
excel表格设计模块openpyxl使用案例实战原创 2022-04-01 22:04:59 · 487 阅读 · 0 评论 -
Python使用遇到的一些小技巧汇总《一》
1、np.expand_dims(a,axis=0):用于扩展数组的形状2、np.argmax():返回沿轴最大值的索引值3、os模块import os print(os.getcwd()) #获取当前工作目录路径os.chdir(path) #修改当前工作目录路径os.path.join('file1','file2','file3') #合并路径,得到file1/...原创 2019-09-30 15:39:23 · 120 阅读 · 0 评论 -
Python使用遇到的一些小技巧汇总《二》
1、Counter类,统计容器中各元素出现的次数。from collections import Countera = Counter('good') #以字符串创建Counter对象b = Counter(['Python','C++','Python','Java','Python','C++']) #以列表创建Counter对象c = Counter({'Apple':8,'ba...原创 2019-11-25 19:59:12 · 106 阅读 · 0 评论 -
Python 多线程Multiprocessing模块的使用
一、实例演示。Process方法在windows的IDEL上没有显示,在终端上执行就没问题。语法:Process(target,args,name),其中target是指定分配的函数,args为函数的实参,必须为元组类型,name为进程命名。打开cmd终端,cd到python脚本所在路径下,输入命名python test.pyfrom multiprocessing imp...原创 2019-09-26 18:15:11 · 696 阅读 · 0 评论 -
Python 数据库编程SQLite的使用介绍(超详细)
一、核心语法connect() 连接数据库,并返回数据库连接对象。 cursor() 打开游标。用于执行各种SQL语句,包括DDL、DML、select查询语句等。 commit() 提交事务。 rollback() 回滚事务。 close() 关闭数据库连接。 isolation_level 返回或设置数据库连接中事务的隔离级别。 in_transaction 判断...原创 2019-11-26 16:29:39 · 2361 阅读 · 0 评论 -
Python连接MySQL数据库及数据库的常规操作
一、安装mysql.connector库1、在命令行窗口中输入如下命令(mysql.connector-python是MySQL官方提供的纯Python驱动):pip install mysql-connector-python2、Windows 的“开始”菜单中看到“MySQL”→“MySQL 8.0 Command Line Client”菜单项,单击该菜单项将启动 MySQL...原创 2019-11-27 11:39:11 · 2442 阅读 · 0 评论 -
Python MySQL数据库执行查询语句
使用 MySQL 数据库模块执行查询语句,与使用 SQLite 数据库模块执行查询语句基本相似,只需注意 SQL 语句中的占位符的差别即可。例如,如下程序示范了查询 MySQL 数据库中的数据:import mysql.connectorconn = mysql.connector.connect(user='root', password='123456', host='loca...原创 2019-11-27 18:20:11 · 5381 阅读 · 0 评论 -
实例——Python爬虫requests百度360搜索关键词提交
搜索引擎关键词提交接口百度的关键词接口:http://www.baidu.com/s?wd=keyword(百度需要安全验证码,这里不做演示)360的关键词接口:http://www.so.com/s?q=keyword使用requests库获取相关内容。import requestskv = {'q':'python'}r = requests.get('http://ww...原创 2020-02-07 16:20:53 · 922 阅读 · 0 评论 -
实例——Python爬虫requests库IP地址归属地的自动查询
IP138网站提供IP地址归属地查询。IP138网站IP地址归属地查询提交接口:http://ip138.com/iplookup.asp?ip=ipaddress,手动查询一个ip即可知道提交搜索的接口。import requestsurl = "http://ip138.com/iplookup.asp?ip="r = requests.get(url + '113.80....原创 2020-02-07 17:15:44 · 7882 阅读 · 3 评论 -
Python爬虫requests库和BeatifulSoup库对中国大学排名定向爬虫源码实例
import requestsfrom bs4 import BeautifulSoupimport bs4#获取所有网页内容def getHTMLText(url): try: r = requests.get(url,timeout = 30) r.raise_for_status() r.encoding = r.appar...原创 2020-02-08 23:09:14 · 314 阅读 · 0 评论 -
Python爬虫requests模块学习笔记
一、语法requests.get(url,params=None,**kwargs)url:拟获取页面的url链接params:url中的额外参数,字典或字节流格式,可选**kwargs:12个控制访问的参数。import requestsr = requests.get("http://www.baidu.com")print(r.status_code) #结果放回是2...原创 2020-02-06 03:35:22 · 304 阅读 · 0 评论 -
实例——Python爬虫requests网络图片的爬取和存储
百度搜索图片,获取一张图片URLimport requestspath = "F:/abc.jpg" #图片存储在F盘,并命名为abc。url = "https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1581074128479&di=7b4201fe178fedad...原创 2020-02-07 16:47:38 · 1035 阅读 · 0 评论 -
实战:利用面向对象思想实现简单的搜索引擎
所谓搜索引擎,就是根据用户需求与一定算法,运用特定策略从互联网检索出制定信息反馈给用户的一门检索技术。搜索引擎依托于多种技术,如网络爬虫技术、检索排序技术、网页处理技术、大数据处理技术、自然语言处理技术等,为信息检索用户提供快速、高相关性的信息服务。搜索引擎技术的核心模块一般包括爬虫、索引、检索和排序等,同时可添加其他一系列辅助模块,以为用户创造更好的网络使用环境。通常,一个搜索引擎由搜索器、...原创 2019-11-22 16:18:53 · 654 阅读 · 0 评论 -
实例——Python爬虫requests爬取亚马逊商品页面
1.打开亚马逊官网,随机浏览一商品详细页,复制URL。2.用requests.get()方法获取网页相关信息import requestsr = requests.get("https://www.amazon.cn/dp/B07TLJS1HH/ref=s9_acsd_hps_bw_c2_x_0_i?pf_rd_m=A1U5RCOVU0NYF2&pf_rd_s=me...原创 2020-02-07 15:24:16 · 7853 阅读 · 3 评论 -
BeatifulSoup库的基本元素
一、BeautifulSoup库解析器解析器 使用方法 条件 bs4的HTML解析器 BeautifulSoup(mk,'html.parser') 安装bs4库 lxml的HTML解析器 BeautifulSoup(mk,'lxml') pip install lxml lxml的XML解析器 BeautifulSoup(mk,'xml'...原创 2020-02-07 22:50:06 · 248 阅读 · 0 评论 -
基于bs4库的HTML内容遍历方法、格式输出和内容查找
一、HTML基本格式从图中看出,HTML遍历有三种方法:下行遍历、上行遍历、平行遍历1.标签树的下行遍历属性 说明 .contents 子节点的列表,将<tag>所有儿子节点存入列表 .children 子节点的迭代类型,与.contents类似,用于循环遍历儿子节点 .descendants 子孙节点的迭代类型,包含所有子孙节点...原创 2020-02-08 00:55:10 · 978 阅读 · 0 评论 -
Python爬虫BeautifulSoup库的安装与测试
打开Anoconda Prompt 终端,输入pip install beautifulsoup4安装即可。演示HTML页面地址:http://python123.io/ws/demo.html右击,查看网页源代码。import requestsr = requests.get("https://python123.io/ws/demo.html")r.text打印结...原创 2020-02-07 21:51:42 · 765 阅读 · 0 评论 -
Python的正则表达式语法及Re库的应用
一、正则表达式的常用操作符操作符 说明 实例 . 表示任何单个字符 [] 字符集,对单个字符给出取值范围 [abc]表示a、b、c,[a-z]表示a到z单个字符 [^] 非字符集,对单个字符给出排除范围 [^abc]表示非a或b或c的单个字符 * 前一个字符0次或无限次扩展 abc*表示ab、abc、abcc、ab...原创 2020-02-12 23:51:42 · 245 阅读 · 0 评论 -
Python pdf2image
import fitzimport tracebackdef pdf_to_image(pdf_path,save_path,zoom_x=5,zoom_y=5,rotation_angle=0): ''' pdf_path file path save_path save path zoom_x x direction zoom in zoom_y y direction zoom in rotation_angle rotation angle.原创 2021-04-14 14:14:09 · 464 阅读 · 0 评论