python学习笔记
从入门到实战
寻找微光的鱼
这个作者很懒,什么都没留下…
展开
-
Python爬虫
用Python爬取网页数据 通常使用两个库:requests和BeautifulSoup 安装很容易pip就行了 #导入包 import requests from BeautifulSoup import BeautifulSoup as BS 主要记录一下.text的用法解释: 在看代码的过程中.text无法看懂是什么意思 .text就是解析html文件的过程中将文本内容进行拼接,其实就是去...原创 2020-03-31 12:57:52 · 83 阅读 · 0 评论 -
Python并行化
futures包的使用 当处理的数据很小时大可不必考虑并行的问题,但是一但处理可并行化的任务以及大文件时,让程序并行化无疑能提高很大的性能。 需要并行的任务很多,比如IO密集型的爬数据,读写磁盘等,CPU计算密集型的计算任务等等。而Python由于GIL的原因,默认情况下只能单线程运行,无法直接利用硬件的多核多线程,因此效率较低,python也早提供了一些列的多线程多进程的库可以用来使用,比如mu...原创 2020-03-31 12:33:10 · 260 阅读 · 0 评论 -
pip使用
pip指令失败的解决 通常情况下python3自带的pip模块总是会出问题要么速度过慢要么报错 #常规指令经常失败 pip install XX 解决方案一、 从两个网址中找到自己需要的包下载到本地 Python安装包和Pypi #安装命令 pip install 文件的路径 解决方案二、 通常一的方法仍然很慢,第二种方案就是将包源更改更改成其他镜像网站 网上有很多可用的源,例如豆瓣和清华镜像...原创 2020-03-31 12:24:54 · 184 阅读 · 0 评论 -
Python做数据处理
Python做数据匹配 一、需要满足的需求:将两个数据库进行内联 二、需要用到的包:pandas、fuzzywuzzy(进行字符串的模糊匹配) 安装非常容易pip一下就完事了 Pandas用于数据库的处理等都非常的方便 通常的用法是 pandas将数据库数据封装进DataFrame对象 pandas #导入pandas包的标准用法 import pandas as pd pandas的具体函数使...原创 2020-03-31 11:51:34 · 137 阅读 · 0 评论 -
Python访问数据库
使用SQLite SQLite是一种嵌入式数据库,数据库就是一个文件。 要操作关系型数据库,首先需要连接数据库,一个数据库连接称为Connection;连接到数据库后需要打开游标——Cursor,通过Cursor执行Sql语句,然后获得执行结果。 数据库要连接到Python只需要提供符合Python标准的数据库驱动即可。 Python标准库中有SQLite的驱动内置,所以可以直接操作SQLite数...原创 2020-03-01 16:19:27 · 210 阅读 · 0 评论