软件开发
文章平均质量分 56
python与大数据分析
24年IT工作经验,《IT项目管理那些事儿》一书主编,《剑破冰山-oracle开发艺术》一书合著者,曾在华为、HP、移动、电网等国内外知名IT企业任职;关注领域包括证券、航空、制造、电信、电网等。在数据库开发和优化、大数据平台、数据仓库、系统架构、数据治理、数据分析、机器学习、大中型项目管理、部门管理等方面有一定研究,从0到1完成PB级大数据平台规划、架构、模型、建设、应用。
展开
-
Yolo实用指南(step by step)之三yolov5训练自己的数据集
关于yolov5训练自己的数据集的文章网上已经有一大把,自己之前也摸索了数据标注有一阵子,可一直迟迟未动手,感觉对原理不熟悉,很多东西浮光掠影有些肤浅,思来想去还是花了整整一天实践一下吧,毕竟这是基础。凡是写东西,必然会借鉴别人的内容和代码,毕竟造轮子不是玩的,当然文章中提到的必然是自己经历和解决过的。每个人经历的问题千奇百怪,自己亲自动手解决或者自己到网上找方案解决或者想办法规避,都是解决问题的...原创 2023-01-11 01:38:49 · 2290 阅读 · 2 评论 -
关于OpenCV for Python入门-face_recognition实现人脸识别
face_recognition是世界上最简洁的人脸识别库,你可以使用Python和命令行工具提取、识别、操作人脸。face_recognition的人脸识别是基于业内领先的C++开源库 dlib中的深度学习模型,用Labeled Faces in the Wild人脸数据集进行测试,有高达99.38%的准确率。但对小孩和亚洲人脸的识别准确率尚待提升。face_recog...原创 2022-04-06 18:49:59 · 2520 阅读 · 4 评论 -
关于Python可视化Dash工具—散点地图、热力地图、线形地图
好不容易实现了choropleth_mapbox地图,也顺道把散点地图、热力地图、线形地图处理掉吧,做到有始有终,再迈向新的领域;从微信公众号里拿到了按分省统计的用户数据,又拿到了各地市数...原创 2021-03-18 08:10:00 · 1544 阅读 · 0 评论 -
关于pyecharts可视化地图中国经济、人口等数据
pyechart也提供了一些树型图表和地理图表,树型图表又包括树图和矩型树图;地理图表MAP、GEO、BMAP等图表;其中树图意义不大,矩形树图难度在对json格式的处理上,把sql转为pandas再转为groupby分组再转为嵌套json;地理图表的geo图表主要是点状和热力图,适合定性分析,map是面状的,适合量化分析,bmap则和百度地图结合的更紧凑,学习难度较大。如下:...原创 2020-02-21 02:25:12 · 3629 阅读 · 3 评论 -
关于pyecharts可视化动态效果和美化布局中国经济、人口等数据
pyecharts提供了一些多坐标轴,图表组合功能,动画播放功能;在本文中第一段代码是通过geo展现三千多个地级市、县级市的热力图,第二段代码是播放从1950年-2010年各省直辖市自治区GDP的发展情况;第三段代码是以表格方式展现六大行政区的一二三产业数据;第四段代码通过grid来调整标题和图例的布局,使报表更加美观;第五段代码是把4个报表在一个页面中展现出来。代码示例i...原创 2020-02-21 02:23:09 · 2076 阅读 · 0 评论 -
关于pyecharts可视化进阶中国经济、人口等数据
pyecharts提供了一系列图表功能,如Calendar:日历图,Funnel:漏斗图,Gauge:仪表盘,Graph:关系图,Liquid:水球图,Parallel:平行坐标系,Pie:饼图,Polar:极坐标系,Radar:雷达图,Sankey:桑基图,Sunburst:旭日图,ThemeRiver:主题河流图,WordCloud:词云图。其中仪表盘、水球图,可视化功效大于实效,适合宏观...原创 2020-02-19 22:27:01 · 1581 阅读 · 0 评论 -
关于pyecharts可视化中国经济、人口等数据
首先pyecharts是个可视化的好工具,pyecharts已做了变更目前是1.6.2版本,但工具的灵活运用学习过程还是很痛苦的。其次通过pandas处理数据集问题,在pandas进行数据清洗转换汇总过滤不是不可能,但学习曲线有点长,因此采用read_sql,通过数据库来进行数据转换,某些地方还是用到了pandas的透视表再次数据需要在pandas、numpy和list之间不断转换,以适配...原创 2020-02-19 00:36:35 · 1474 阅读 · 0 评论 -
关于重温机器学习笔记-线性模型
由于高等数学底子太差的原因,机器学习总是无法深入学习下去,只能做一个简单的尝试者,甚至连调优也未必能算的上,不过这样也好,可以把重心放到对业务的理解上,以及业务和模型的选择上。线性模型包括了传统的线性回归、岭回归、Lasso回归,主要用于连续值的预测;逻辑回归虽然也是回归,但却是一种分类方法;LDA线性判别分析,则是一种降维方法;多项式回归,是使用线性模型训练数据的非线性函数。总的来说,...原创 2020-02-14 23:42:56 · 896 阅读 · 0 评论 -
关于新型肺炎数据分析和可视化系列笔记四-sklearn实现数据预测
本文通过sklearn实现新型肺炎累计确诊病例的预测,主要算法包括线性回归,逻辑回国,多项式回归(二次曲线、三次曲线、四次曲线、五次曲线)等算法,具体到预测,主要包括算法的选择,很多时候算法的选择是通过数据的查全率查准率,训练集、测试集、检验集等上的准确率综合评估出来的,二是关于数据集的分拆,需要拆解为训练集、测试集分别进行验证。总的来说,训练集大概只有15条记录,训练集4条,还有预测的7条,...原创 2020-02-11 21:19:06 · 1180 阅读 · 0 评论 -
关于新型肺炎数据分析和可视化系列笔记二-获取各省历史数据
新找到关于各省各地市的日历史数据接口,为了避免不必要的麻烦,把对方的接口地址已屏蔽,下载的历史数据也仅供学习和参考;现在的所有数据已收集完成。接下来是关于可视化部分,可视化有几种方式,第一种是matplotlib和basemap,但basemap的包一直无法下载,第二种是geopandas,但GDAL的包一个是无法下载,一个是无法兼容,第三种是pyecharts,这个比较简单,但无法完成数据的...原创 2020-02-10 16:54:11 · 1601 阅读 · 0 评论 -
关于新型肺炎数据分析和可视化系列笔记三-pyecharts实现地图和趋势图
数据的可视化更多的是数据的格式化和准备工作,互联网上关于海南地图的展现绝大多数是不全的,所以本笔记的主要难点在于数据的转换,列表中根据字典日期对字典数据的排序,对列表中数据的过滤,对同义词数据的翻译,其次是pyecharts的使用,pyecharts进入了1.0版本,新引入了链式访问,在map上也尝试了非连续值和色差呈现。代码如下:#coding=utf-8frompyecharts...原创 2020-02-10 16:51:54 · 1016 阅读 · 0 评论 -
Excel学习笔记一关于色彩
直接从Office2007跳到了2013版本,虽然有着种种不适,但应该承认Excel2013版本在图表和色彩上更加人性化和“专业”了一些。但如果需要更加专业的话,首先是人的参与,不同的人对“专业”的理解是不同的,对于Excel和图表,大多数人只是为了完成某项任务,部分人存粹是出于炫耀,少数人是为了精益求精,只有极少数人是把Excel的图表当作产品。“产品”一词,我的理解是求真求精求实。真是真性情,是一种专业的态度;精是精致精简,是求繁后的一种境界;实是一种实用态度,是一种自我的标准化。Excel是可视原创 2014-10-20 23:39:10 · 1445 阅读 · 0 评论 -
Excel学习笔记一Excel图表和数据分析
从图表的角度,Excel比不上那些专业的BI工具,从统计角度,Excel比不了那些专业的统计软件;但Excel提供的功能对于我们这些非专业人士已经足够了,通过透视表做一些多维分析,通过应用商店找一些炫的图表,通过插件做一些简单的数据分析,通过VBA和不厌其烦的调试也可以做一些”专业“的图表,这也是我们的目的。原创 2014-10-24 00:56:55 · 9953 阅读 · 0 评论 -
Excel万年历的制作
如何在Excel实现万年历是对Office能力的综合运用,又是分析问题并进行求解的一系列过程。原创 2010-06-01 01:30:00 · 3709 阅读 · 3 评论 -
用oracle的java存储过程实现BLOB字段的字符串读取
原创于2009年07月24日,2009年10月22日迁移至此。阅读了一个帖子“有没有可能写出比Oracle函数更快的外部存储过程”(http://www.itpub.net/thread-1117461-1-1.html)突发灵感,加上原来有一个需求,需要从BLOB字段(本来就是字符型的内容)中直接读取成为字符串,需要java开发人员的支持,想了原创 2009-10-22 11:19:00 · 3222 阅读 · 0 评论 -
关于SQLServer2000的全文检索使用心得
原创于2008年06月28日,2009年10月18日迁移至此。之前曾经指导SQLServer2000的全文检索功能,不过不太清楚它的实际操作步骤和功能,现特地作了一次完整的实验,对SQLServer2000的该功能,做了一番了解。 --验证全文检索服务是否安装--通过储存过程FULLT原创 2009-10-18 22:26:00 · 1638 阅读 · 0 评论 -
一个带CheckBox的树形目录的递归算法(javascript)
原创于2007年12月16日,2009年10月15日迁移至此。 唉,很久以前写的代码,晒一晒,估计自己看都看不懂了,:(var head="display:"img_close=new Image()img_close.src="/sysManage/images/f.gif"img_open=new Image()img_open.sr原创 2009-10-16 22:46:00 · 2466 阅读 · 0 评论 -
一段实现HTML页面内定期触发事件的JavaScript代码
原创于2007年12月16日,2009年10月15日迁移至此。JavaScript通过内置的setTimeout函数来完成页面内的定时检查,也是很久以前写的东西了。之所以想起它来,是因为在和项目组其他成员说该事情的时候,别人竟然嘲笑我说是上个世纪的代码,现在都用WEB2.0了。//增加系统扫描时间var v_count = 0;var原创 2009-10-16 22:44:00 · 1827 阅读 · 1 评论