![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python
White_Mountain
爱好学术
展开
-
Python一键升级所有Package的办法
一键升级python所有的库原创 2023-12-17 17:16:07 · 413 阅读 · 0 评论 -
伙伴云_本地SQL与伙伴云API接口链接实战_表格操作
伙伴云API接口的上传,更新,删除的封装原创 2023-04-02 17:29:10 · 415 阅读 · 0 评论 -
python调用execjs,运行本地js脚本出现JSON 未定义的错误
python 调用execjs 运行本地js脚本出现 JSON 未定义的错误,windows安装配置nodejs原创 2023-03-28 09:24:05 · 1146 阅读 · 0 评论 -
SQL_Server查询类封装
建立SQL_Server查询封装的类原创 2023-03-27 09:47:33 · 239 阅读 · 0 评论 -
抓取企业微信打卡数据并另存为excel文件
【代码】抓取企业微信打卡数据并另存为excel文件。原创 2022-11-02 08:45:34 · 1382 阅读 · 0 评论 -
使用pymssql从SQL Server中取数并生成DataFrame及乱码解决方案
解决pymssql从SQL读取数据时,出现乱码的问题。提供pymssql读取SQL数据生成DataFrame的代码。原创 2022-10-29 14:37:53 · 755 阅读 · 0 评论 -
Python中的各种容易忽略的知识点
用于记录python学习过程中各种不常用的知识点原创 2022-10-01 11:17:36 · 151 阅读 · 0 评论 -
Python_xlwings小技巧(range,带格式复制粘贴)
简述了xlwings中单元格的表达方式原创 2022-10-01 10:45:27 · 5599 阅读 · 1 评论 -
1.1 二次项函数及其应用_伯努利函数
伯努利分布定义伯努利分布指的是对于随机变量X有, 参数为p(0<p<1),如果它分别以概率p和1-p取1和0为值,EX(期望值)= p, DX(方差)=p*(1-p)。Python中的表现形式np.random.binomial(n,p,size=None)# 参数说明# n 单次实验中的组数,整数,即使输入浮点数,也会被截断# p 概率,0<=p<=1, 一个或者一组# size 应用意义是实验的次数,整数或者整数的元组,单个整数,返回一维数组,(X,Y)形式,返回原创 2022-05-14 11:51:11 · 608 阅读 · 0 评论 -
Python编程实战_办公自动化_整型、浮点型和字符串数据类型(3)
Python的数字类型Python中,数据类型是很简单的,常见的就3种:整型,浮点型,字符串。每个Python中的值,都必然属于也仅属于某一种类型, 以下是常见数据类型及一些例子:———————————————————————————————数据类型 例子整型 -2,-1,0,1,2,100,1000浮点型 -2.1,原创 2021-08-21 22:36:28 · 207 阅读 · 0 评论 -
Python中浮点型数据计算中一个有意思的现象
浮点数计算需注意的事项在Python中,我们可能需要经常使用浮点型(带小数点的数字)数据进行计算,这里有一个小小的坑,许多新手很容易踩进来。浮点数据四则运算的小坑从常识上来讲,3.2 + 2.1 = 5.3,但是,在Python中并不是这个结果,我们实际操作一下:a = 3.2b = 2.1print(a+b)你会发现,结果是5.300000000000001有没有毁三观?计算机居然连这么简单的计算都会算错!其实,这是因为二进制与十进制的区别。底层的计算机语言,都是用二进制编写的,比如原创 2021-08-16 09:53:33 · 118 阅读 · 0 评论 -
在Python中使用Pyecharts绘制BI大屏
做一个面积图和折线图import pyecharts.options as optsfrom pyecharts.charts import Line,Pagefrom pyecharts.commons.utils import JsCodefrom pyecharts.globals import ThemeTypedef line_gongguan(): data_y = ['1.11%','0.36%','0.87%','0.30%','0.93%','1.09%','0.33%原创 2021-07-11 22:51:46 · 735 阅读 · 0 评论 -
Python编程实战_办公自动化_前言(1)
前言 自毕业入行,稀里糊涂干起了市场分析师这个岗位,跟各种Office办公软件打交道成为我工作中必不可少的一部分。为了提高效率,同时也为了减少错误,自动化工具成为我必备的武器。然而,这的确是一段漫长而艰辛的旅程。非科班出身,没有系统接触过编程;囊中羞涩,付不起动辄上万的培训费;参考书与视频不配套,知识体系呈现碎片化的分布。 经过多年不停的实践与学习,总算在这条充满荆棘的道路上摸索出了一点属于自己的行走办法,我迫不及待地想要将其与所有人分享,让那些与当年的我一样迷茫和困惑的伙伴们,少走一些弯路,少扯断原创 2021-04-27 14:20:05 · 252 阅读 · 0 评论 -
Python编程实战_办公自动化_Python安装与调试(2)
Python安装与调试下载Python 任何情况下,我都推荐你上官网https://www.python.org/downloads/下载Python并安装,Python是一个开源软件,因此并不存在收费版本,从官网下载可以确保安装程序的安全性。 Python同时也是一个跨平台软件,在Windows、MAC、Linux下都有对应的版本,本书主要介绍的是Windows下的操作。 注意 Python的大版本有2.X和3.X,在本书中,都是基于Python 3.X来进行说明和示例。同一个大版本下,代码原创 2021-07-10 23:58:08 · 220 阅读 · 2 评论 -
使用Pyecharts与pandas制作简单的折线图
单纯做一个折线图是很简单的,但是在实战中,使用数据来制作就需要转弯了。源数据如下: 区域 1号 2号 3号 4号 5号0 福建 599.000 699.0 857.4 656.400 775.81 上海 189.200 81.4 285.2 283.800 189.22 北京 332.200 203.0 186.8 253.367 292.43 天津 366.300 63.8 238.1 239.8原创 2021-06-20 21:45:45 · 876 阅读 · 0 评论 -
Automate the Boring Stuff with Python Chat 6 MANIPULATING STRINGS
用Python让繁琐工作自动化,第6章 6.7 实践项目以下是题目:表格打印编写一个名为 printTable()的函数, 它接受字符串的列表的列表,将它显示在组织良好的表格中, 每列右对齐。假定所有内层列表都包含同样数目的字符串。例如,该值可能看起来像这样:tableData = [[‘apples’, ‘oranges’, ‘cherries’, ‘banana’],[‘Alice’, ‘Bob’, ‘Carol’, ‘David’],[‘dogs’, ‘cats’, ‘moose’, ‘g原创 2021-03-09 15:53:33 · 199 阅读 · 1 评论 -
使用Python截图抓取厦门房地产网签数据之三
经历了只能整个页面截图,到可以抓取图片链接进行截图之后,发现“使用Python截图抓取厦门房地产网签数据之二”里的代码太繁杂了,于是尝试精简,以下为精简后的代码import requestsfrom bs4 import BeautifulSoupfrom datetime import datefrom time import sleepheaders = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) Ap原创 2021-02-21 10:09:22 · 264 阅读 · 1 评论 -
厦门房地产网签备案的图片识别之三
这章主要讲的是对一手房备案的图片进行处理一样使用openpyxl进行excel的处理from datetime import datefrom openpyxl import load_workbookdef yishoufang(pngpath,datapath): pngwb = load_workbook(pngpath) pngsht = pngwb['data'] yishoufang = [str(date.today()),pngsht['c2'].valu原创 2021-02-21 09:58:41 · 162 阅读 · 0 评论 -
厦门房地产网签备案的图片识别之二
本文主要讲,在对图片的文本进行识别后,如何存入excel文件先从二手房每天成交开始主要使用openpyxl来对excel进行处理import pandas as pdfrom openpyxl import load_workbookfrom datetime import datedef ershoufang(pngpath,datapath): # 先获取当天的二手房成交数据 wb = load_workbook(pngpath) zhuzhai_number =原创 2021-02-21 09:56:42 · 191 阅读 · 0 评论 -
HTTPSConnectionPool(host=‘finance.yahoo.com‘, port=443解决方案
使用pandas_datareader.data读取雅虎财经的数据时,偶尔会报错,问题为:HTTPSConnectionPool(host=‘finance.yahoo.com’, port=443,不过不用紧张,一般来说,这不是代码的问题(这个代码实在太简单了),是雅虎财经服务器的问题,去喝口水,吃点零食等个几分钟就好了。...原创 2021-02-18 10:38:27 · 4224 阅读 · 6 评论 -
python写入csv或excel时,数字0开头丢失的解决方案
今天尝试抓了几个股票的代码,深证的代码都是以00或000开头,虽然已经转化为str,但写入csv或excel仍出现0丢失的问题,尝试了多种办法,最后发现,在代码前加入’\t’是最优解决方案。代码如下:code = '000123'with open(stock.csv,'w') as f: f.write('\t'+code)f.clsoe()...原创 2021-02-17 23:22:31 · 8179 阅读 · 11 评论 -
厦门房地产网签备案的图片识别之一
1. 本文写于2021年2月11日,鼠年除夕夜,祝所有看到本文的朋友们身体健康,万事如意!2. 之前已经搞定了厦门房地产网签备案的图片下载,接下来就是识别图片的内容。3. 关于图片识别,网上大量的使用pytesseract进行识别的文章,但是使用了之后,发现对于中文的识别并不好,无奈之下另寻他途,发现百度的OCR还不错,每天5000次的免费额度,对于普通个人来说已经足够了,关于如何使用百度OCR,可见这篇文章https://zoutao.blog.csdn.net/article/details/867原创 2021-02-11 20:13:07 · 411 阅读 · 2 评论 -
使用Python截图抓取厦门房地产网签数据之二
有了链家的房源数据,另一个重要的需求是希望获取每天的成交数据,这个数据在厦门网上房地产“http://fdc.zfj.xm.gov.cn/Home/Index”。这个网站有三个数据是很有用的,分别是“一手房情况”,“一手房网签情况”,“二手房情况”,研究了网页代码后,发现src里没有完整链接,所以一开始只能用最蠢的把整个网页截屏的办法来做,见上一篇“使用python进行截图”。 今天继续研究,找到了整个完整的链接路径,这下好办了,可是用EDGE打开是乱码,试了FireFox和Chrome,都是乱...原创 2021-02-10 19:45:59 · 541 阅读 · 1 评论 -
使用Python截图抓取厦门房地产网签数据之一
初衷是希望获取厦门房地产的几个数据,但是发现数据是用图片形式展示出来,而且链接藏在“/CImg/spfjsimg?id=1283788900”这里面,没法拿到真实的链接,只能走另一条路,对页面进行截图from PIL import ImageGrabimport timefrom selenium import webdriverfrom selenium.webdriver.support.ui import WebDriverWaitclass Open_web: def __in原创 2021-01-19 13:35:41 · 244 阅读 · 0 评论 -
使用爬虫抓取浦城房产信息
一个朋友让我帮忙找老家的房子,可是链家,安居客这些地方都没有浦城的房产信息,后来在一个论坛里找到了还算比较活跃的房地产板块,于是以此为基础抓取信息。遇到的坑:1、论坛帖子式的帖子,格式不太规范2、信息中包含出售,出租import requestsfrom bs4 import BeautifulSoupwith open(r'c:\pc.csv','a',encoding='utf-8') as f: f.write('{},{},{},\n'.format('链接','更新时间'原创 2021-01-12 15:40:46 · 110 阅读 · 0 评论 -
使用爬虫抓取淘宝商品数据
没写完,跟着别人的教程写的from bs4 import BeautifulSoupimport timefrom selenium import webdriverfrom selenium.webdriver.support.ui import WebDriverWaitclass taobao_infos: def __init__(self): url = 'https://login.taobao.com/member/login.jhtml'原创 2021-01-10 21:10:56 · 1672 阅读 · 0 评论 -
爬虫:使用beautifulsoup和requests抓取链家数据之二:抓取所有房源
趁着元旦假期,总算把一直想做但一直没做的爬虫起了个头,上一篇写了爬虫的基础代码,这一篇,就是正儿八经开始抓所有的房子信息了。先说遇到的坑:1、按第一篇直接进二手房的链接,只有3000个房源,这已经提过了。2、房源里是没有房源位于哪个区的信息的,对数据分析而言,等于缺了一个重要信息,完全没法用了。3、原来的想法是在title这个class里面抓房源ID,但是发现有一些房源,在这里是没有房源ID的,必须另找。4、在跑的时候有报错,不知道是什么原因,直接暴力用try跳过去了。5、有很多车位信息,其实我原创 2021-01-03 23:20:54 · 433 阅读 · 0 评论 -
爬虫:使用beautifulsoup和requests抓取链家数据之一:基础代码
本办法只考虑抓取链家二手房100页的基础数据import requestsfrom bs4 import BeautifulSoupimport re# 链家的二手房基础页面只显示最多100页,每页30个房源的数据,也就是用这个办法,最多可以拿到3000家房源的数据page = 2 # 用于定义页数# 先打开一个csv文件,定义好标题,以备数据插入with open(r'c:\lianjia.csv','a') as f: f.write('{},{},{},{},{},{},{}原创 2021-01-02 00:14:22 · 565 阅读 · 2 评论 -
使用pandas将excel数据导入Mysql
有大概几百万行数据,每行40多列,要导入MYSQL,之前写了一个逐行读取的,但是速度偏慢,而且代码复杂,看着头晕,今天改用pandas进行读取写入,速度显著见快,而且代码极简洁。过程中也遇到了若干坑,会一一说明# 先要安装几个库 sqlalchemy, pandas,mysqlconnectorfrom sqlalchemy import create_engineimport pandas...原创 2020-03-29 11:51:39 · 1885 阅读 · 7 评论 -
Python中使用win32com调用Outlook发送带附件以及正文带图片的邮件
其实使用win32com调用outlook已经有很多文章了,但是我发现里面极少有介绍正文带图片的发送办法,以及如何避免踩坑,今天我把自己的心得发一下import win32com.client as win32outlook = win32.Dispatch('Outlook.Application')Mail_Item = outlook.CreateItem(0)Mail_Item.R...原创 2020-02-26 23:02:05 · 8151 阅读 · 10 评论 -
pandas中对中文月份进行排序
最近在用pandas对数据做处理,可是发现一个很bug的问题源数据中,月份是用“1月,2月,3月 … 12月”来表示的,这样做完pivot_table以后,就编程了“10月,11月,12月,1月,2月 … 9月"这样的顺序。尝试使用sort_index,sort_value都没办法修正,网上搜了一下关键字也没有人给出解决方案,最后只能用一个迂回的方式来解决即先做出Pivot,然后把1月,2月...原创 2020-02-20 20:43:29 · 1610 阅读 · 0 评论 -
使用pyecharts从excel取数建立堆积柱状图
pyecharts本身其实并不难,代码简单,语法简单,网上教程很多,文档也是中文的,并不难看懂,但是并没有一个教程教我们怎么把数据从excel里提取出来,再放到pyecharts里对应的参数里面区,花了大半天时间写了一个自动从excel取数并生成堆积柱状图的自定义函数,供各位入门小白参考。excel图表格式如下:对于这个堆积柱状图,我想做到这几点:1、以“区”和“大品类别”作为维度,做出两...原创 2020-02-18 00:53:53 · 3933 阅读 · 2 评论 -
使用xlwings合并同一目录下多个Excel文件
其实合并同一目录下的多个Excel文件,理论上用VBA是最好的,因为可以在复制粘贴的时候连格式一起,用python不好的地方就在于要把格式一起复制过去是很困难的。当然如果对格式没什么太高的要求,那么使用xlwings合并Excel就绝对是一个很好的选择了以下是实现代码,考虑到了excel内有多个sheet和标题行只需要复制一次的情况。import xlwings as xwimport o...原创 2020-02-14 20:51:43 · 4282 阅读 · 0 评论 -
用Python的xlwings库分解报表并调用Outlook发送
为了公司DSR写的,就不公开了,自己以后需要用的时候再来扒import xlwings as xwimport win32com.client as win32import datetime# 程序运行的时候不显示在前端,也不新建Excel窗口app = xw.App(visible=False, add_book=False)# 定义一个时间函数,用来生成文件名的一部分def...原创 2020-02-13 22:54:16 · 350 阅读 · 0 评论 -
使用xlwings拆分excel并调用outlook进行邮件发送
写这段代码的起因是因为公司要下发一个销售日报表,但是由于不同部门的销售区域老总看到的只能是自己区域的数据,每个工作簿有10多个工作表,如果靠手工来做工作量极大,因此,有迫切的需求要对报表做一些自动化操作,并能自动发送邮件。在做到以上的基础上,还要顾及美观。import xlwings as xwimport win32com.client as win32 程序运行的时候不显示在前端,也不...原创 2020-02-02 14:16:32 · 1146 阅读 · 0 评论 -
Python调用Outlook多帐号发邮件
微软 Office 提供基于 COM 接口的编程。Python 通过 pywin32 可以方便地调用各组件。如果下载和安装 pywin32 有困难,可以到 Sourceforge 的镜像网摘查找合适的版本。单一账号‘’’import win32com.client as win32def send_mail():outlook = win32.Dispatch(‘Outlook.Appl...转载 2020-01-23 09:37:21 · 1692 阅读 · 0 评论 -
openpyxl的一个坑
这几天一直尝试用Python来做一些Excel的自动化,xlrd,openpyxl,xlwings都尝试了,其中openpyxl有一个很奇葩的问题,即我发现无法使用load_wrokbook打开excel, xlrd和xlwings都可以。系统的提示是:Traceback (most recent call last): File "C:\Users\asus\AppData\Local\P...原创 2020-01-22 20:58:18 · 10220 阅读 · 2 评论 -
导入深交所年报代码
-- coding: utf-8 --“”"Created on Sat Sep 14 15:34:11 2019@author: gogogo“”"import requestsimport timeimport pandas as pdimport randomimport osimport json定义爬取函数def get_pdf_address(pageNum,s...转载 2020-01-21 16:26:33 · 684 阅读 · 1 评论 -
使用Python把Excel里的数据导入MYSQL
使用Python把Excel里的数据导入MYSQL大概有几百万行的数据,Excel分类7个文件保存,想要汇总起来,Excel肯定是用不了的,之前用Access做,但是Access不支持超过2G的文件,所以只好用MYSQL,想要把数据导入MYSQL,想来想去还是Python最方便踩过的坑先讲踩过了哪些坑:def定义函数的时候,一直不知道可以用return返回值,在这里折腾了很久,所幸最后发...原创 2020-01-12 11:59:21 · 573 阅读 · 0 评论 -
在python中使用openpyxl和xlrd创建一个新Excel并把原表格数据复制到新表中
在Python中使用openpyxl和xlrd创建一个新Excel并把原表格数据复制到新表中新的开始文科出生,经济学专业,年近四旬,纯粹是把这个当成一个兴趣在学。很早之前就打算学Python,但是一直停留在安装好Python,这几天比较空闲,开始从最最基础自学,期间遇到很多坑,不少是靠CSDN的学习笔记填上的,所以也在这里开一个,完整记录一个0基础小白的学习历程,也希望能对后来者有一点帮助。...原创 2018-10-16 12:02:04 · 6806 阅读 · 7 评论