Python
文章平均质量分 68
Python数据分析(Pandas、SQL、爬取等)
MrMua
emmmm
展开
-
python爬虫初学 bs4 下载保存天堂网图片
一、查看网页Request URL 天堂网图片自然风光了栏目第一页网址:https://www.ivsky.com/tupian/ziranfengguang/ 第二页 :https://www.ivsky.com/tupian/ziranfengguang...原创 2019-06-26 21:44:15 · 3238 阅读 · 0 评论 -
处理urllib.request.urlopen报错UnicodeEncodeError:‘ascii‘
UnicodeEncodeError: 'ascii' codec can't encode characters in position 22-23: ordinal not in range(128)原创 2023-12-27 14:00:45 · 766 阅读 · 0 评论 -
获取各省人口排名数据
获取2016-2022年各省人口排名,附代码原创 2023-07-29 10:23:39 · 226 阅读 · 0 评论 -
Pandas根据某一列筛选另一表中未出现过的行记录
(根据某一列剔除另一表中出现过的记录)通过多列查找另一个DataFrame中不存在的行一、两表结构原创 2021-11-27 16:52:43 · 3432 阅读 · 4 评论 -
Pandas 按另一表中key值替换另一列对应值
tiyyy一、两表说明两表:表A 表B 两表结构两表结构二、要求根据表B中的key值,将表A中对应的properties替换成1,最终结果如下:最终结果三、实现步骤pandas 读取A、B表;Atable = pd.read_excel('A.xlsx')Btable = pd.read_excel('B.xlsx')替换properties对应列值,isin函数内是字典类型所以需要将表二内的关键字转换成list列表;Atable.loc...原创 2021-11-14 09:47:57 · 2947 阅读 · 0 评论 -
数据分析从MySQL开始(Python)(十四、爬虫四十天天气、MongoDB、Excel)
(由于工作要求需要爬虫四十天天气预报并保存到Excel,源网页:http://www.weather.com.cn/ 中国天气网,get 接口 js 提取)(插入两种数据库,mongoDB、mysql)第一部分:字典 插入 MongoDB(mysql)说明: 1、以天气预报作为参考,并不参与主要数据分析工作,因此采用原代码的方式插入mongoDB数据库(从网上找的源代码进行了关键字等修改) 2、然后需要从数据库中保存一份Excel做透视图就用到了mon...原创 2021-04-30 18:26:12 · 841 阅读 · 0 评论 -
数据分析从MySQL开始(Python)(十三、MySQL 数据库导出到excel)
(还是一样,有 xlwt 和 openpyxl 两种方式,openpyxl容量比xlwt更大;(建议 openpyxl 的方式导出,但是xlwt的代码我也会一起给出来)目录一、openpyxl导出二、xlwt导出一、openpyxl导出py代码如下:import datetimeimport sql_orderimport openpyxl# 初始化数据库连接operate_sql = sql_order.OperationMysql() # 连接原创 2021-03-28 15:13:58 · 187 阅读 · 0 评论 -
数据分析从MySQL开始(Python)(十二、MySQL excel导入数据库)
(跟数据库查找导出的数据不同,导入的数据是按每天的数据进行导入;(xlwt虽然不能超过65535行,但是现在暂时每天的数据量并没有这么大;(如果是导入每月每年的xlwt就不够了,换成openpyxl的十万行也够呛,建议直接navicat百万级导入;(如果可以的话还是建议直接openpyxl导入,这里先xlwt的方式,后续会补充openyxl的导入)一、xlwt导入直接给代码了:注意库名和表名import datetimeimport pandas as pdfrom sq.原创 2021-03-28 15:11:17 · 139 阅读 · 0 评论 -
数据分析从MySQL开始(Python)(九、MySQL事务问题基础)
区别可参考https://blog.csdn.net/weixin_42474537/article/details/113421872目录一、开启和关闭二、场景问题(自动提交开启状态)MySQL5.7默认是开启自动提交的,某些情况下会对性能有一些影响。如果用户插入十条数据,自动提交会提交十次,但关闭自动提交用代码提交只需要一次;如果基本上是在代码中对MySQL操作可以关闭自动提交,其他情况我建议开着,进入MySQL中写完SQL都需要commit一下感觉还是有点麻烦的,但是相对来说会原创 2021-03-23 16:23:13 · 129 阅读 · 0 评论 -
数据分析从MySQL开始(Python)(四、百万级数据匹配)
(接下来的操作都是在数据库表上了)目录一、源数据表结构二、处理说明及要求三、实操匹配语句思路一、源数据表结构下面给一个简单的表格示意:交易表(下面简称钱表) 交易日期 名 货id 件数 售价 成本 上架日期 y/y/d 文字 字母+数字 int int null y/y/d 货表 货id 成本 上架日期 字母+数字 int y/y/d ...原创 2021-03-17 15:45:44 · 592 阅读 · 0 评论 -
数据分析从MySQL开始(Python)(二、python与sql操作)
(补充说明:慢慢的会经常接触到百万级数据的处理和优化,刚开始工作七八天了,这几篇算是回忆吧)目录一、基本SQL命令语句汇总(标准是用大写)二、PyCharm中连接数据库与数据库操作1、(需要用到pymysql库,建议给pycharm换源,网上很多)2、 代码段说明(按本地代码的顺序来的)三、sql_order源码一、基本SQL命令语句汇总(标准是用大写)INSERT INTO,UPDATE,CREATE,CREATE TEMPORARY TABLE,ALTER TABLE原创 2021-03-17 12:28:56 · 215 阅读 · 0 评论