![](https://img-blog.csdnimg.cn/direct/af46ce2b030d4cd68d4ce6a319cc0ed6.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Python系列
文章平均质量分 68
积累Python研发功底
xsimah
再见少年拉满弓,不惧岁月不惧风。
1.近4篇专利、科技先进工作者、E类人才,通过高项等;
2.参与管理6+人数据分析(AI)团队;
3.多次荣获数据分析模型比赛单位一等奖、作品一等奖/三等奖、个人一等奖等;
展开
-
【python014】Python爬取并解析潮汐天气简报-潮历数据
1.爬取解析潮汐表数据,做进一步层次应用。2.发现大语言模型写的并不能解决问题,也可能是没付费的原因,haha3.趁着空闲的时间撸了段代码,供已参考。原创 2024-07-27 13:55:05 · 973 阅读 · 1 评论 -
【python013】pyinstaller打包PDF提取脚本为exe工具
1.在日常工作和学习中,遇到类似问题处理场景,如pdf文件核心内容截取,这里将文件打包成exe可执行文件,实现功能简便使用。原创 2024-06-25 21:56:48 · 963 阅读 · 0 评论 -
【python012】Python根据页码处理PDF文件的内容
在日常工作和学习中,需要从PDF文件中提取特定页面的内容,以便进行知识、材料压缩等。原创 2024-06-25 16:22:32 · 950 阅读 · 0 评论 -
【python011】经纬度点位可视化html生成(有效方案)
1.熟悉、梳理、总结项目研发实战中的`Python`开发日常使用中的问题、知识点等,如获取省市等边界区域经纬度进行可视化,从而辅助判断、决策。2.欢迎点赞、关注、批评、指正,互三走起来,小手动起来!原创 2024-06-21 09:29:04 · 1617 阅读 · 0 评论 -
【python010】获取任意多边形区域内的经纬度点并可视化
1.熟悉、梳理、总结项目研发实战中的Python开发日常使用中的问题、知识点等,如获取任意多边形区域内的经纬度点并可视化,找了N篇文章没发现有效的解决方案。原创 2024-06-05 17:52:27 · 1298 阅读 · 1 评论 -
【python009】Python处理某区域边界经纬度数据至geohash
1.熟悉、梳理、总结项目研发实战中的Python开发日常使用中的问题、知识点等,如Python处理某区域边界经纬度数据至geohash,便于时空交集。原创 2024-06-04 16:11:44 · 886 阅读 · 0 评论 -
【python008】excel表格转markdown文档表格
1.写文过程中,针对梳理出来的execl知识表格矩阵,想要处理成markdown表格,便于研发等过程中的复用,所以参考了类似需求的代码。后续可以扩展开发功能,。原创 2024-06-01 23:48:49 · 615 阅读 · 0 评论 -
【python007】读取csv文件url多进程下载图片数据(部分更新中)
1.熟悉、梳理、总结项目研发实战中的`Python`开发日常使用中的问题、知识点等,如多进程,实际部署过程中可能存在调用问题,还存在较大的优化空间。1.1【并行计算】如,计算一组数字的平方和,将任务分配给多个进程并行计算,然后汇总结果。1.2【IO密集型任务】如,同时下载多个文件,可以将每个文件的下载任务分配给不同的进程并行执行,从而提高下载效率。1.3【并行任务处理】如,处理一批图片文件,包括压缩、调整大小、加水印等操作,可以将每个图片文件的处理任务分配给不同的进程并行处理,从而提高处理速度。原创 2024-05-29 22:56:42 · 457 阅读 · 4 评论 -
【python006】miniconda3环境搭建(非root目录,最近更新中)
1.熟悉、梳理、总结项目研发实战中的`Python`开发日常使用中的问题。2.欢迎点赞、关注、批评、指正,互三走起来,小手动起来!原创 2024-05-26 19:24:35 · 206 阅读 · 0 评论 -
【python005】python批量、动态调参请求接口(已更新)
1.熟悉、梳理、总结项目研发实战中的`Python开发`日常使用中的问题。随着版本更新,做了一些变动,如商业化限制,取消一些语法等。2.欢迎点赞、关注、批评、指正,互三走起来,小手动起来!原创 2024-05-24 22:16:37 · 1118 阅读 · 0 评论 -
【python004】miniforge可行替代方案实战总结(最近更新中)
1.熟悉、梳理、总结项目研发实战中的`miniforge`日常使用中的问题。随着版本更新,做了一些变动,如商业化限制,取消一些语法等。2.欢迎点赞、关注、批评、指正,互三走起来,小手动起来!原创 2024-05-24 21:50:00 · 514 阅读 · 0 评论 -
【python003】jupyter notebook配置经验及ModuleNotFoundError: No module named ‘notebook.auth‘
1.熟悉、梳理、总结项目研发实战中的anaconda日常使用中的问题。随着版本更新,做了一些变动,如商业化限制,取消一些语法等。原创 2024-05-24 00:47:56 · 612 阅读 · 0 评论 -
【Python001】python批量下载、插入与读取Oracle中图片数据(已更新)
1.熟悉、梳理、总结数据分析实战中的`python、oracle`研发知识体系2.欢迎点赞、关注、批评、指正,互三走起来,小手动起来!原创 2024-05-21 23:42:22 · 889 阅读 · 0 评论 -
【PyQt】Qt Designer工具日常使用总结(最近更新中)
1.熟悉、梳理、总结下PyQt相关知识体系。2.日常研发过程中使用较少,随着时间的推移,很快就忘得一干二净,所以梳理总结下,以备日常使用参考(之前一直手动修改GUI界面的一些参数,显得很是笨拙,后面了解到有专门的设计工具,顿时打开了新世界的大门)。原创 2024-05-19 22:44:05 · 112 阅读 · 0 评论 -
【superset】 A Default SECRET_KEY was detected, please use superset_config.py to override it. Use a st
1.在基于Linux搭建superset环境时,无论是创建docker容器初始化,还是虚拟机搭建均出现该错误,所以再次记录下。2.欢迎批评指正,跪谢一键三连!原创 2024-05-06 01:15:08 · 946 阅读 · 0 评论 -
conda: error: argument COMMAND: invalid choice: ‘activate‘ (choose from ‘clean‘, ‘compare‘, ‘config‘
1.在基于Linux搭建Python环境时,可能由于 rm 了已安装的 anaconda 包,导致部分命令使用失败。2.欢迎批评指正,跪谢一键三连!原创 2024-05-06 00:43:10 · 307 阅读 · 1 评论 -
【Django】django.core.exceptions.AppRegistryNotReady: Apps aren‘t loaded yet.
django.core.exceptions.AppRegistryNotReady: Apps aren't loaded yet.原创 2024-04-21 00:37:52 · 607 阅读 · 1 评论 -
TypeError: Cannot interpret ‘<attribute ‘dtype‘ of ‘numpy.generic‘ objects>‘ as a data type 解决方案
无法将’numpy.generic’ objects>’的’原创 2024-04-09 15:53:43 · 197 阅读 · 0 评论 -
django.core.exceptions.ImproperlyConfigured: Requested setting INSTALLED_APPS, but settings are not
django.core.exceptions.ImproperlyConfigured: Requested setting INSTALLED_APPS, but settings are not configured. You must either define the environment variable DJANGO_SETTINGS_MODULE or call settings.configure() before accessing settings.原创 2024-03-31 12:21:13 · 765 阅读 · 0 评论 -
Error in loadNamespace(i, c(lib.loc, .libPaths()), versionCheck = vI[[i]]) : 'digest'
α 写在前面如何利用R语言进行有效数据分挖掘eclipse + StatET实际开发中感觉有些繁琐R语言开发工具之eclipse+StatETJupyter + R推荐Jupyter 安装 R内核β 问题描述基于Jupyter,R语言开发过程中,通过 install.packages('xxxx') 命令安装某些包后,R内核启动失败。具体异常如下所示...原创 2018-10-10 15:20:42 · 15931 阅读 · 2 评论 -
【python002】数据分析-常用脚手架代码片,20多个引入包(已更新)
1.`Python`数据分析/挖掘,项目日常研发过程中,常用Py脚手架代码积累。2.欢迎点赞、关注、批评、指正,互三走起来,小手动起来!原创 2022-12-22 20:26:33 · 559 阅读 · 1 评论 -
Unsupported format, or corrupt file: Expected BOF record; found b‘[Localiz‘
写在前面批量解析execl文件,循环异常停止,报错RT异常定位耗费较多时间,大多无果,特此记录问题解决异常描述:xlrd.biffh.XLRDError: Unsupported format, or corrupt file: Expected BOF record; found '\xd6\xb8\xb1\xea\\\xc8\xd5\xc6'Unsupported form...原创 2020-04-25 16:41:21 · 9378 阅读 · 0 评论 -
Flask python3 UnicodeEncodeError 'ascii' codec can't encode characters in position
写在前面Python Web项目开发过程中遇到的重大Bug,项目已进行80%,Deadline最迟当天,,,历史版本发布无异常,可能是安装前端软件导致编码等环境异常尝试各种方法、几近抓狂近8小时问题详情Flask Web项目,包含中文注释、查询Oracle数据库返回字段包含中文无效尝试总结如下:重启发布,无效去掉代码中的所有中文,无效设置环境变量LANG,无效expo...原创 2020-04-20 13:33:30 · 1093 阅读 · 1 评论 -
python访问oracle内网搭建,linux环境(1)
写在前面针对10万内数据完成特定目标统计,并定时更新。真的是开发2分钟,环境搭建2小时,,,依据实际经验,搭建环境往往是较为繁琐、费时的!搭建步骤1 软件包准备黄色部分表示待下载软件包,Linux系统默认集成Python22 安装并配置 oracle-instantclientrpm -ivh oracle-instantclient11.2-basic-11....原创 2020-03-26 20:59:05 · 1380 阅读 · 4 评论 -
ValueError: cannot convert float NaN to integer解决办法
写在前面数据处理过程中,数值型和字符串型转换经常遇到空值 / NaN值处理,稍许浪费多些时间,特此总结多次遇到,必要总结问题描述整型数据 -> (自动转换)浮点型数据,后缀类型自动转换多余 .0样例数据处理方法方法1: 手动转换数据类型再处理final_results['float_id'] = final_results.float_id.astype('s...原创 2020-03-17 19:40:03 · 29288 阅读 · 1 评论 -
7位号段、运营商、归属地数据爬取与解析
写在前面批量获取与解析单个爬取,数据量大,难度大多线程、url禁止访问,,,映射数据查询网站较多,多为单个查询存在错误映射数据爬取与解析import reimport timeimport randomimport requestsimport warningsimport datetimeimport pandas as pdfrom numpy...原创 2020-02-22 15:53:19 · 953 阅读 · 0 评论 -
号段、运营商辅助数据爬取与解析
写在前面数据分析场景需要该类字典数据大多网站不全、未更新,脑壳疼,,,废话省略搜可用站点、撸代码、解析数据必备信息爬取与解析import reimport timeimport randomimport requestsimport warningsimport datetimeimport pandas as pdfrom numpy import NA...原创 2020-02-22 15:20:11 · 734 阅读 · 0 评论 -
批量处理DataFrame行数据(pandas)
写在前面批量处理 pandas.DataFrame 行列数据20200212,效率不怎么高代码实现方法1: 按列格式化处理数据import reimport numpy as npimport pandas as pd"""只要字符串中的中文,数字"""def hq_zw_zm_sz(ss): if ss is not None and (ss is no...原创 2020-02-12 16:15:00 · 3976 阅读 · 0 评论 -
最新行政区划码表数据csv
写在前面数据码表,脚本解析并整合行政区划编码,使用时请更新最新链接目标任务产出结果1省编码/ 市编码/ 省名称/ 市名称示例数据产出结果2省编码/ 市编码/ 区县编码/ 省名称/ 市名称/ 区县名称示例数据实现代码产出结果1import requestsimport warningsimport pandas as pdfrom bs4...原创 2020-02-11 14:23:15 · 2438 阅读 · 0 评论 -
python循环跳过异常示例(IndexError)
写在前面python 处理异常示例循环处理数据,跳过异常情况开发小笔记代码示例示例代码df = pd.DataFrame(["hdfs://hive/user/prod.db","hdfs:","hdfs://hive/user/test.db"], columns=['location'])for rw in df.iterrows(): try: ...原创 2019-06-24 19:17:25 · 12935 阅读 · 0 评论 -
Python爬虫系列之二:爬取2018公务员招考职位信息
1 开发场景爬取公务员招考职位(2018)信息,积累知识、锻炼动手能力等等。2 详细描述基于 Python 爬取 华图教育 官网有关公务员招考职位信息数据。通过request请求数据,利用bs4进行解析;由于实现较简单,请(bu)参(zai)考(zhui)代(su)码。3 具体代码# coding: utf-8# ### 爬取浙江公务员职位信息impor原创 2018-01-24 23:13:57 · 2666 阅读 · 0 评论 -
利用Python读取网络数据文件
场景在实践机器学习算法过程中,有的数据源可以通过网络获取。于是,想利用Python代码直接加载到程序中,省去下载的操作。一方面是可能是由于懒,另一方面还可以秀一下“肌肉”,哈哈哈 …作为一名实在的假“程序猿”,手动下载资源如果被小弟们看到,太跌份儿不是!开发工具 Anaconda 2Python 3描述在贝叶斯分类器学习过程中,积累了问题。文章涵盖以下3方面内容:原创 2018-01-30 21:07:28 · 13988 阅读 · 0 评论 -
Python爬虫系列之一:爬取糗事百科段子(24小时)
场景没有爬数据的能力,更谈不上做好数据分析!网上虽有很多文档参考,但一直感觉:纸上得来终觉浅!啊哈, 有点儿假文艺了。其实最大的痛就是,毕竟网上的都是别(zi)人(ji)家(tai)的(cai)文档;通过总结,一方面希望积累知识,另一方面希望有所帮助。描述基于 Python 爬取 糗事百科段子 数据。代码1 主要部分import reimport原创 2018-01-21 19:35:27 · 1330 阅读 · 0 评论 -
[PAT]1003. 我要通过! (Python)
Introduction【背景】最近虽从事数据分析工作,但总感觉每天的进步比较慢,有时候心里不免有些失落。也由于个人需要(PAT考试),因此近期开始在计算机程序设计能力考试(Programming Ability Test,简称PAT)网站刷算法试题。目前主要使用Python进行开发,因此大多数PAT解题思路将通过Python展示、实现。Descriptioin问题如图 1-1 所示。 ps原创 2017-11-06 17:17:14 · 1944 阅读 · 0 评论 -
格式错误 1008. 数组元素循环右移问题
Python 解决 PAT . 1008, 提交后测试结果中存在 “格式错误” 问题。分析、定位问题,提交正确结果。原创 2017-11-12 22:44:54 · 338 阅读 · 0 评论 -
Python 解析爬取的车次数据(12306)
利用 Python 更好、高效地加工、解析大数据量文件原创 2017-10-29 01:11:00 · 4838 阅读 · 1 评论 -
Unreadable Notebook NotJSONError('Notebook does not appear to be JSON: u\'{\\n
偶然的错误操作(一脸懵逼,我确实不知道我对她做了什么!),耗费了很长时间使用 Jupyter 完成的脚本忽然打不开了。尝试很多次依然“面不改色”地提示错误如下:Unreadable Notebook NotJSONError('Notebook does not appear to be JSON: u\'{\\n “cells”: [\\n {\\n “cell_type”: "…',)首先想到原创 2017-08-29 23:33:04 · 27887 阅读 · 3 评论 -
pandas 数量增加趋势图
绘制某时段内用户增量趋势图原创 2017-08-25 00:28:33 · 4424 阅读 · 0 评论 -
Python爬虫系列之四:利用Python爬取PyODPS页面并整合成PDF文档
文章架构开发场景在日常开发过程中, 经常需要参考一些文档。对于在线文档,往往由于网速等原因,用起来总不是那么(ma)顺(fan)心。博文以爬取 PyODPS Docs 为例,整理页面爬取、转换(PDFKit)、文档整合(PyPDF2)的过程。开发工具 AnacondaPython 2实现方案基于 bs4 模块标签解析 爬取页面,逐层获取获取子链接弃原创 2018-02-03 19:30:48 · 1188 阅读 · 1 评论 -
Python爬虫系列之三:根据名称爬取经纬度信息并Geohash编码
1 开发场景安装geohash模块并根据经纬度计算geohash值.爬取某些名称(地名)的经纬度等信息.开发语言及工具 Python 2Anaconda mzgeohash 安装包(tar.gz)下载 / 安装 Link 1源码下载 / 安装 Link 2注意: 个人尝试,mzgeohash支持Python 2, Python 3 下会提示语法错误. 为了便于使用,开发原创 2018-01-27 22:32:28 · 6428 阅读 · 4 评论