Python系列
文章平均质量分 65
积累Python研发功底
xsimah
再见少年拉满弓,不惧岁月不惧风。
1.科技先进工作者、省级评审专家库、参与4篇专利、杭州E类人才;
2.参与管理6+人数据分析与挖掘(AI)团队;
3.多次带领团队荣获数据应用模型创新大赛单位一等奖、作品一等奖、个人一等奖;
展开
-
【PLW004】基于Python网络爬虫与推荐算法的新闻推荐平台v1.0(Python+Django+NLP+Vue+MySQL前后端分离)
基于Python网络爬虫与推荐算法的新闻推荐平台。网络爬虫:通过Python实现新浪新闻的爬取,可爬取新闻页面上的标题、文本、图片、视频链接(保留排版)推荐算法:权重衰减+标签推荐+区域推荐+热点推荐+融合推荐算法。原创 2024-09-18 21:25:07 · 801 阅读 · 0 评论 -
【Py Error002】python rarfile解压 Cannot find working tool
了解、学习Python批量解压zip、rar压缩包文件,并结合日常的场景进行测试。原创 2024-08-20 17:37:27 · 218 阅读 · 0 评论 -
【Py Error001】ImportError: cannot import name ‘Markup‘ from ‘jinja2‘
了解、学习OCR相关技术知识领域,结合日常的场景进行测试、总结。flask + ai算法 + bootstrap快速搭建算法服务技术路线实践探索。原创 2024-08-13 10:10:04 · 201 阅读 · 0 评论 -
【ocr识别002】easyocr和paddleocr使用与对比总结(更新中)
了解、学习OCR相关技术知识领域,结合日常的场景进行测试、总结。原创 2024-08-03 00:30:06 · 115 阅读 · 0 评论 -
【python014】Python爬取并解析潮汐天气简报-潮历数据(已更新)
1.爬取解析潮汐表数据,做进一步层次应用。2.发现大语言模型写的并不能解决问题,也可能是没付费的原因,haha3.趁着空闲的时间撸了段代码,供已参考。原创 2024-07-27 13:55:05 · 1194 阅读 · 2 评论 -
【python013】pyinstaller打包PDF提取脚本为exe工具
1.在日常工作和学习中,遇到类似问题处理场景,如pdf文件核心内容截取,这里将文件打包成exe可执行文件,实现功能简便使用。原创 2024-06-25 21:56:48 · 994 阅读 · 0 评论 -
【python012】Python根据页码处理PDF文件的内容
在日常工作和学习中,需要从PDF文件中提取特定页面的内容,以便进行知识、材料压缩等。原创 2024-06-25 16:22:32 · 986 阅读 · 0 评论 -
【python011】经纬度点位可视化html生成(有效方案)
1.熟悉、梳理、总结项目研发实战中的`Python`开发日常使用中的问题、知识点等,如获取省市等边界区域经纬度进行可视化,从而辅助判断、决策。2.欢迎点赞、关注、批评、指正,互三走起来,小手动起来!原创 2024-06-21 09:29:04 · 1681 阅读 · 0 评论 -
【python010】获取任意多边形区域内的经纬度点并可视化
1.熟悉、梳理、总结项目研发实战中的Python开发日常使用中的问题、知识点等,如获取任意多边形区域内的经纬度点并可视化,找了N篇文章没发现有效的解决方案。原创 2024-06-05 17:52:27 · 1366 阅读 · 1 评论 -
【python009】Python处理某区域边界经纬度数据至geohash
1.熟悉、梳理、总结项目研发实战中的Python开发日常使用中的问题、知识点等,如Python处理某区域边界经纬度数据至geohash,便于时空交集。原创 2024-06-04 16:11:44 · 931 阅读 · 0 评论 -
【python008】excel表格转markdown文档表格
1.写文过程中,针对梳理出来的execl知识表格矩阵,想要处理成markdown表格,便于研发等过程中的复用,所以参考了类似需求的代码。后续可以扩展开发功能,。原创 2024-06-01 23:48:49 · 696 阅读 · 0 评论 -
【python007】读取csv文件url多进程下载图片数据(部分更新中)
1.熟悉、梳理、总结项目研发实战中的`Python`开发日常使用中的问题、知识点等,如多进程,实际部署过程中可能存在调用问题,还存在较大的优化空间。1.1【并行计算】如,计算一组数字的平方和,将任务分配给多个进程并行计算,然后汇总结果。1.2【IO密集型任务】如,同时下载多个文件,可以将每个文件的下载任务分配给不同的进程并行执行,从而提高下载效率。1.3【并行任务处理】如,处理一批图片文件,包括压缩、调整大小、加水印等操作,可以将每个图片文件的处理任务分配给不同的进程并行处理,从而提高处理速度。原创 2024-05-29 22:56:42 · 486 阅读 · 4 评论 -
【python006】miniconda3环境搭建(非root目录,最近更新中)
1.熟悉、梳理、总结项目研发实战中的`Python`开发日常使用中的问题。2.欢迎点赞、关注、批评、指正,互三走起来,小手动起来!原创 2024-05-26 19:24:35 · 228 阅读 · 0 评论 -
【python005】python批量、动态调参请求接口(已更新)
1.熟悉、梳理、总结项目研发实战中的`Python开发`日常使用中的问题。随着版本更新,做了一些变动,如商业化限制,取消一些语法等。2.欢迎点赞、关注、批评、指正,互三走起来,小手动起来!原创 2024-05-24 22:16:37 · 1173 阅读 · 0 评论 -
【python004】miniforge可行替代方案实战总结(最近更新中)
1.熟悉、梳理、总结项目研发实战中的`miniforge`日常使用中的问题。随着版本更新,做了一些变动,如商业化限制,取消一些语法等。2.欢迎点赞、关注、批评、指正,互三走起来,小手动起来!原创 2024-05-24 21:50:00 · 543 阅读 · 0 评论 -
【python003】jupyter notebook配置经验及ModuleNotFoundError: No module named ‘notebook.auth‘
1.熟悉、梳理、总结项目研发实战中的anaconda日常使用中的问题。随着版本更新,做了一些变动,如商业化限制,取消一些语法等。原创 2024-05-24 00:47:56 · 716 阅读 · 0 评论 -
【Python001】python批量下载、插入与读取Oracle中图片数据(已更新)
1.熟悉、梳理、总结数据分析实战中的`python、oracle`研发知识体系2.欢迎点赞、关注、批评、指正,互三走起来,小手动起来!原创 2024-05-21 23:42:22 · 942 阅读 · 0 评论 -
【PyQt】Qt Designer工具日常使用总结(最近更新中)
1.熟悉、梳理、总结下PyQt相关知识体系。2.日常研发过程中使用较少,随着时间的推移,很快就忘得一干二净,所以梳理总结下,以备日常使用参考(之前一直手动修改GUI界面的一些参数,显得很是笨拙,后面了解到有专门的设计工具,顿时打开了新世界的大门)。原创 2024-05-19 22:44:05 · 126 阅读 · 0 评论 -
【superset】 A Default SECRET_KEY was detected, please use superset_config.py to override it. Use a st
1.在基于Linux搭建superset环境时,无论是创建docker容器初始化,还是虚拟机搭建均出现该错误,所以再次记录下。2.欢迎批评指正,跪谢一键三连!原创 2024-05-06 01:15:08 · 1237 阅读 · 0 评论 -
conda: error: argument COMMAND: invalid choice: ‘activate‘ (choose from ‘clean‘, ‘compare‘, ‘config‘
1.在基于Linux搭建Python环境时,可能由于 rm 了已安装的 anaconda 包,导致部分命令使用失败。2.欢迎批评指正,跪谢一键三连!原创 2024-05-06 00:43:10 · 468 阅读 · 1 评论 -
【Django】django.core.exceptions.AppRegistryNotReady: Apps aren‘t loaded yet.
django.core.exceptions.AppRegistryNotReady: Apps aren't loaded yet.原创 2024-04-21 00:37:52 · 659 阅读 · 1 评论 -
TypeError: Cannot interpret ‘<attribute ‘dtype‘ of ‘numpy.generic‘ objects>‘ as a data type 解决方案
无法将’numpy.generic’ objects>’的’原创 2024-04-09 15:53:43 · 214 阅读 · 0 评论 -
django.core.exceptions.ImproperlyConfigured: Requested setting INSTALLED_APPS, but settings are not
django.core.exceptions.ImproperlyConfigured: Requested setting INSTALLED_APPS, but settings are not configured. You must either define the environment variable DJANGO_SETTINGS_MODULE or call settings.configure() before accessing settings.原创 2024-03-31 12:21:13 · 1053 阅读 · 0 评论 -
Error in loadNamespace(i, c(lib.loc, .libPaths()), versionCheck = vI[[i]]) : 'digest'
α 写在前面如何利用R语言进行有效数据分挖掘eclipse + StatET实际开发中感觉有些繁琐R语言开发工具之eclipse+StatETJupyter + R推荐Jupyter 安装 R内核β 问题描述基于Jupyter,R语言开发过程中,通过 install.packages('xxxx') 命令安装某些包后,R内核启动失败。具体异常如下所示...原创 2018-10-10 15:20:42 · 16054 阅读 · 2 评论 -
【python002】数据分析-常用脚手架代码片,20多个引入包(已更新)
1.`Python`数据分析/挖掘,项目日常研发过程中,常用Py脚手架代码积累。2.欢迎点赞、关注、批评、指正,互三走起来,小手动起来!原创 2022-12-22 20:26:33 · 611 阅读 · 1 评论 -
Unsupported format, or corrupt file: Expected BOF record; found b‘[Localiz‘
写在前面批量解析execl文件,循环异常停止,报错RT异常定位耗费较多时间,大多无果,特此记录问题解决异常描述:xlrd.biffh.XLRDError: Unsupported format, or corrupt file: Expected BOF record; found '\xd6\xb8\xb1\xea\\\xc8\xd5\xc6'Unsupported form...原创 2020-04-25 16:41:21 · 9505 阅读 · 0 评论 -
Flask python3 UnicodeEncodeError 'ascii' codec can't encode characters in position
写在前面Python Web项目开发过程中遇到的重大Bug,项目已进行80%,Deadline最迟当天,,,历史版本发布无异常,可能是安装前端软件导致编码等环境异常尝试各种方法、几近抓狂近8小时问题详情Flask Web项目,包含中文注释、查询Oracle数据库返回字段包含中文无效尝试总结如下:重启发布,无效去掉代码中的所有中文,无效设置环境变量LANG,无效expo...原创 2020-04-20 13:33:30 · 1127 阅读 · 1 评论 -
python访问oracle内网搭建,linux环境(1)
写在前面针对10万内数据完成特定目标统计,并定时更新。真的是开发2分钟,环境搭建2小时,,,依据实际经验,搭建环境往往是较为繁琐、费时的!搭建步骤1 软件包准备黄色部分表示待下载软件包,Linux系统默认集成Python22 安装并配置 oracle-instantclientrpm -ivh oracle-instantclient11.2-basic-11....原创 2020-03-26 20:59:05 · 1404 阅读 · 4 评论 -
ValueError: cannot convert float NaN to integer解决办法
写在前面数据处理过程中,数值型和字符串型转换经常遇到空值 / NaN值处理,稍许浪费多些时间,特此总结多次遇到,必要总结问题描述整型数据 -> (自动转换)浮点型数据,后缀类型自动转换多余 .0样例数据处理方法方法1: 手动转换数据类型再处理final_results['float_id'] = final_results.float_id.astype('s...原创 2020-03-17 19:40:03 · 29354 阅读 · 1 评论 -
7位号段、运营商、归属地数据爬取与解析
写在前面批量获取与解析单个爬取,数据量大,难度大多线程、url禁止访问,,,映射数据查询网站较多,多为单个查询存在错误映射数据爬取与解析import reimport timeimport randomimport requestsimport warningsimport datetimeimport pandas as pdfrom numpy...原创 2020-02-22 15:53:19 · 999 阅读 · 0 评论 -
号段、运营商辅助数据爬取与解析
写在前面数据分析场景需要该类字典数据大多网站不全、未更新,脑壳疼,,,废话省略搜可用站点、撸代码、解析数据必备信息爬取与解析import reimport timeimport randomimport requestsimport warningsimport datetimeimport pandas as pdfrom numpy import NA...原创 2020-02-22 15:20:11 · 770 阅读 · 0 评论 -
批量处理DataFrame行数据(pandas)
写在前面批量处理 pandas.DataFrame 行列数据20200212,效率不怎么高代码实现方法1: 按列格式化处理数据import reimport numpy as npimport pandas as pd"""只要字符串中的中文,数字"""def hq_zw_zm_sz(ss): if ss is not None and (ss is no...原创 2020-02-12 16:15:00 · 3995 阅读 · 0 评论 -
最新行政区划码表数据csv
写在前面数据码表,脚本解析并整合行政区划编码,使用时请更新最新链接目标任务产出结果1省编码/ 市编码/ 省名称/ 市名称示例数据产出结果2省编码/ 市编码/ 区县编码/ 省名称/ 市名称/ 区县名称示例数据实现代码产出结果1import requestsimport warningsimport pandas as pdfrom bs4...原创 2020-02-11 14:23:15 · 2482 阅读 · 0 评论 -
python循环跳过异常示例(IndexError)
写在前面python 处理异常示例循环处理数据,跳过异常情况开发小笔记代码示例示例代码df = pd.DataFrame(["hdfs://hive/user/prod.db","hdfs:","hdfs://hive/user/test.db"], columns=['location'])for rw in df.iterrows(): try: ...原创 2019-06-24 19:17:25 · 12974 阅读 · 0 评论 -
Python爬虫系列之二:爬取2018公务员招考职位信息
1 开发场景爬取公务员招考职位(2018)信息,积累知识、锻炼动手能力等等。2 详细描述基于 Python 爬取 华图教育 官网有关公务员招考职位信息数据。通过request请求数据,利用bs4进行解析;由于实现较简单,请(bu)参(zai)考(zhui)代(su)码。3 具体代码# coding: utf-8# ### 爬取浙江公务员职位信息impor原创 2018-01-24 23:13:57 · 2691 阅读 · 0 评论 -
利用Python读取网络数据文件
场景在实践机器学习算法过程中,有的数据源可以通过网络获取。于是,想利用Python代码直接加载到程序中,省去下载的操作。一方面是可能是由于懒,另一方面还可以秀一下“肌肉”,哈哈哈 …作为一名实在的假“程序猿”,手动下载资源如果被小弟们看到,太跌份儿不是!开发工具 Anaconda 2Python 3描述在贝叶斯分类器学习过程中,积累了问题。文章涵盖以下3方面内容:原创 2018-01-30 21:07:28 · 14066 阅读 · 0 评论 -
Python爬虫系列之一:爬取糗事百科段子(24小时)
场景没有爬数据的能力,更谈不上做好数据分析!网上虽有很多文档参考,但一直感觉:纸上得来终觉浅!啊哈, 有点儿假文艺了。其实最大的痛就是,毕竟网上的都是别(zi)人(ji)家(tai)的(cai)文档;通过总结,一方面希望积累知识,另一方面希望有所帮助。描述基于 Python 爬取 糗事百科段子 数据。代码1 主要部分import reimport原创 2018-01-21 19:35:27 · 1381 阅读 · 0 评论 -
[PAT]1003. 我要通过! (Python)
Introduction【背景】最近虽从事数据分析工作,但总感觉每天的进步比较慢,有时候心里不免有些失落。也由于个人需要(PAT考试),因此近期开始在计算机程序设计能力考试(Programming Ability Test,简称PAT)网站刷算法试题。目前主要使用Python进行开发,因此大多数PAT解题思路将通过Python展示、实现。Descriptioin问题如图 1-1 所示。 ps原创 2017-11-06 17:17:14 · 1965 阅读 · 0 评论 -
格式错误 1008. 数组元素循环右移问题
Python 解决 PAT . 1008, 提交后测试结果中存在 “格式错误” 问题。分析、定位问题,提交正确结果。原创 2017-11-12 22:44:54 · 348 阅读 · 0 评论 -
Python 解析爬取的车次数据(12306)
利用 Python 更好、高效地加工、解析大数据量文件原创 2017-10-29 01:11:00 · 4878 阅读 · 1 评论