Python开发笔记
文章平均质量分 64
FLY-DUCK
距离产生错误的美!
展开
-
Python使用pandas从mysql数据库读取数据并导出到Excel
工作中我们经常会从数据库中提取数据,处理之后,将结果整理为excel输出。本文主要介绍使用python的pandas工具从mysql数据获取数据,按要求处理之后,导出到excel文件。安装依赖首先确定已经安装PyMySQL,pandas,sqlalchemy,openpyxl包,本文会使用这几个包:pip install PyMySQLpip install pandaspip install sqlalchemypip install openpyxl程序代码程序中先从m.原创 2021-11-26 16:02:55 · 5393 阅读 · 1 评论 -
Python常用数据库连接以及常用数据操作
使用python处理数据的时候,数据经常会由数据库提供而来。python连接不同的数据库使用的驱动以及连接方式都有所差异,本文主要记录python3连接不同数据库的方式。包含mysql, sqlite, access, sql server, neo4j和redis数据库的连接以及获取数据的使用方式。mysql数据库这里介绍使用pymysql连接mysql数据库,首先安装pymysql包:pip install pymysqlpython代码中初始化数据库连接以及查询数据:imp原创 2021-11-24 14:30:49 · 1761 阅读 · 0 评论 -
Python pandas数据分析以及处理的常用功能
在项目开发过程中或者生活上,我们经常会处理和分析数据,使用pandas可以大大的提高分析和处理数据的效率,将数据分析和数据处理过程中常用的方法以及经验做一个记录。pandas官方Get Start使用文档:https://pandas.pydata.org/docs/getting_started/index.htmlpandas官方接口文档:https://pandas.pydata.org/docs/reference/读取数据保存数据分析数据...原创 2020-09-10 21:46:05 · 767 阅读 · 0 评论 -
Scrapy爬取重庆安居客二手房并存入mysql数据库(下)
上篇中我们获取了重庆的一二级区(Scrapy爬取重庆安居客二手房并存入mysql数据库(上)),这一篇我们根据二级区获取相应的二手房信息。初始化数据库创建二手房信息数据库表,house表存放二手房信息,house_price存放价格(定期获取分析价格趋势):CREATE TABLE `house` ( `id` int UNSIGNED AUTO_INCREMENT, `a...原创 2019-12-04 21:28:46 · 1136 阅读 · 1 评论 -
Scrapy爬取重庆安居客二手房并存入mysql数据库(上)
scrapy是什么Scrapy是Python开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。官网地址:https://scrapy.org/官方文档:https://docs.scrapy.org/en/latest/Github:https://github.com/scrapy/scrapy准备工作本项目环境:python...原创 2019-12-04 21:28:40 · 854 阅读 · 0 评论 -
Python中re模块正则表达式
正则表达式的概念正则表达式是对字符串操作的一种逻辑公式,就是用事先定义好的一些特定字符、及这些特定字符的组合,组成一个“规则字符串”,这个“规则字符串”用来表达对字符串的一种过滤逻辑。应用检验字符串是否符合正则表达式的规则;从字符串中通过正则表达式获取我们需要的部分字符串。博主主要是学习python的爬虫,爬虫中会正则表达式的应用非常的广泛,主要从爬取的内容中通过正则表达式获取加工成我...原创 2019-12-01 13:16:47 · 208 阅读 · 0 评论 -
Windows平台安装Python环境
Python是一种跨平台的计算机程序设计语言。是一种面向对象的动态类型语言,最初被设计用于编写自动化脚本(shell),随着版本的不断更新和语言新功能的添加,越来越多被用于独立的、大型项目的开发。Python目前在各个领域的应用都比较广泛,所以博主准备学习一下Python,在学习Python之前必须得安装环境,本文主要记录安装环境中的一个过程以及该过程遇到的问题。Python下载官方下载地...原创 2019-10-20 12:29:24 · 240 阅读 · 0 评论 -
Windows平台安装MySQL数据库
MySQL是目前应用最广泛的开源关系数据库之一。提供了面向C、C++、Eiffel、Java、Perl、PHP、Python、.NET以及Tcl等编程语言的编程接口。在项目程序决定采用MySQL作为数据库后,首先我们得先安装MySQL数据库,本文则主要记录在windows系统中安装MySQL的一个过程,以及遇到的问题以及如何解决的。MySQL数据库下载首先官方提供了多个版本,作为开发我们选...原创 2019-10-20 12:01:05 · 1245 阅读 · 0 评论