![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
IT业界
文章平均质量分 69
python与大数据分析
24年IT工作经验,《IT项目管理那些事儿》一书主编,《剑破冰山-oracle开发艺术》一书合著者,曾在华为、HP、移动、电网等国内外知名IT企业任职;关注领域包括证券、航空、制造、电信、电网等。在数据库开发和优化、大数据平台、数据仓库、系统架构、数据治理、数据分析、机器学习、大中型项目管理、部门管理等方面有一定研究,从0到1完成PB级大数据平台规划、架构、模型、建设、应用。
展开
-
关于OpenCV for Python入门-face_recognition实现人脸识别
face_recognition是世界上最简洁的人脸识别库,你可以使用Python和命令行工具提取、识别、操作人脸。face_recognition的人脸识别是基于业内领先的C++开源库 dlib中的深度学习模型,用Labeled Faces in the Wild人脸数据集进行测试,有高达99.38%的准确率。但对小孩和亚洲人脸的识别准确率尚待提升。face_recog...原创 2022-04-06 18:49:59 · 2464 阅读 · 4 评论 -
关于2020年个人公众号总结
年关将近,又到了一年一度的总结时候,本来写的好好的总结材料,结果没保存好,只好提笔重写写到哪里算哪里了。2020年是特别的,一场突如其来的新冠疫情从武汉爆发迅速席卷到全国,然后全世界也沦陷了,几乎影响和改变了每个人的生活,时至今日还在我们的生活中时不时的制造一些麻烦。疫情深刻地改变了全球政治、经济和人们的生活。对中国来说,中国方案和中国抗疫行动为世界在灾难面前保持了一份稳定的信心。也正因为中国方案和行动卓有成效,才迎来中国经济的稳步复苏和国内生活秩序的迅速恢复。这一成绩点亮了世界,也点亮了人们的内心。也原创 2020-12-30 00:35:32 · 969 阅读 · 1 评论 -
一个Oracle小白的AWR报告分析(二)
背景:某个类似准实时的数据分析系统,每15分钟从其他6个数据库中抽取五百张增量数据表,并进行15分钟粒度统计,同时有个前端门户进行查询。该数据分析系统由数据抽取服务器、应用服务器、数据库服务器组成,全部为虚拟机环境。问题:当数据抽取定期执行时,应用门户每个页面访问都极其缓慢,10分钟无法响应,甚至无法打开。初步诊断:厂家一直认为是磁盘问题,甚至准备采用读写分离方式优化。具体诊断:以数据来说话,以AWR报告为依据,评估和定位问题核心所在。很久没研究Oracle了,最后正式使用Oracle还原创 2020-12-29 00:09:19 · 632 阅读 · 0 评论 -
关于pyecharts可视化地图中国经济、人口等数据
pyechart也提供了一些树型图表和地理图表,树型图表又包括树图和矩型树图;地理图表MAP、GEO、BMAP等图表;其中树图意义不大,矩形树图难度在对json格式的处理上,把sql转为pandas再转为groupby分组再转为嵌套json;地理图表的geo图表主要是点状和热力图,适合定性分析,map是面状的,适合量化分析,bmap则和百度地图结合的更紧凑,学习难度较大。如下:...原创 2020-02-21 02:25:12 · 3601 阅读 · 3 评论 -
关于pyecharts可视化动态效果和美化布局中国经济、人口等数据
pyecharts提供了一些多坐标轴,图表组合功能,动画播放功能;在本文中第一段代码是通过geo展现三千多个地级市、县级市的热力图,第二段代码是播放从1950年-2010年各省直辖市自治区GDP的发展情况;第三段代码是以表格方式展现六大行政区的一二三产业数据;第四段代码通过grid来调整标题和图例的布局,使报表更加美观;第五段代码是把4个报表在一个页面中展现出来。代码示例i...原创 2020-02-21 02:23:09 · 2064 阅读 · 0 评论 -
关于pyecharts可视化进阶中国经济、人口等数据
pyecharts提供了一系列图表功能,如Calendar:日历图,Funnel:漏斗图,Gauge:仪表盘,Graph:关系图,Liquid:水球图,Parallel:平行坐标系,Pie:饼图,Polar:极坐标系,Radar:雷达图,Sankey:桑基图,Sunburst:旭日图,ThemeRiver:主题河流图,WordCloud:词云图。其中仪表盘、水球图,可视化功效大于实效,适合宏观...原创 2020-02-19 22:27:01 · 1553 阅读 · 0 评论 -
关于pyecharts可视化中国经济、人口等数据
首先pyecharts是个可视化的好工具,pyecharts已做了变更目前是1.6.2版本,但工具的灵活运用学习过程还是很痛苦的。其次通过pandas处理数据集问题,在pandas进行数据清洗转换汇总过滤不是不可能,但学习曲线有点长,因此采用read_sql,通过数据库来进行数据转换,某些地方还是用到了pandas的透视表再次数据需要在pandas、numpy和list之间不断转换,以适配...原创 2020-02-19 00:36:35 · 1439 阅读 · 0 评论 -
关于重温机器学习笔记-线性模型
由于高等数学底子太差的原因,机器学习总是无法深入学习下去,只能做一个简单的尝试者,甚至连调优也未必能算的上,不过这样也好,可以把重心放到对业务的理解上,以及业务和模型的选择上。线性模型包括了传统的线性回归、岭回归、Lasso回归,主要用于连续值的预测;逻辑回归虽然也是回归,但却是一种分类方法;LDA线性判别分析,则是一种降维方法;多项式回归,是使用线性模型训练数据的非线性函数。总的来说,...原创 2020-02-14 23:42:56 · 880 阅读 · 0 评论 -
关于新型肺炎数据分析和可视化系列笔记四-sklearn实现数据预测
本文通过sklearn实现新型肺炎累计确诊病例的预测,主要算法包括线性回归,逻辑回国,多项式回归(二次曲线、三次曲线、四次曲线、五次曲线)等算法,具体到预测,主要包括算法的选择,很多时候算法的选择是通过数据的查全率查准率,训练集、测试集、检验集等上的准确率综合评估出来的,二是关于数据集的分拆,需要拆解为训练集、测试集分别进行验证。总的来说,训练集大概只有15条记录,训练集4条,还有预测的7条,...原创 2020-02-11 21:19:06 · 1166 阅读 · 0 评论 -
关于新型肺炎数据分析和可视化系列笔记二-获取各省历史数据
新找到关于各省各地市的日历史数据接口,为了避免不必要的麻烦,把对方的接口地址已屏蔽,下载的历史数据也仅供学习和参考;现在的所有数据已收集完成。接下来是关于可视化部分,可视化有几种方式,第一种是matplotlib和basemap,但basemap的包一直无法下载,第二种是geopandas,但GDAL的包一个是无法下载,一个是无法兼容,第三种是pyecharts,这个比较简单,但无法完成数据的...原创 2020-02-10 16:54:11 · 1594 阅读 · 0 评论 -
关于新型肺炎数据分析和可视化系列笔记三-pyecharts实现地图和趋势图
数据的可视化更多的是数据的格式化和准备工作,互联网上关于海南地图的展现绝大多数是不全的,所以本笔记的主要难点在于数据的转换,列表中根据字典日期对字典数据的排序,对列表中数据的过滤,对同义词数据的翻译,其次是pyecharts的使用,pyecharts进入了1.0版本,新引入了链式访问,在map上也尝试了非连续值和色差呈现。代码如下:#coding=utf-8frompyecharts...原创 2020-02-10 16:51:54 · 1006 阅读 · 0 评论 -
关于我的公众号和公众号文章索引,请大家关注,谢谢
2019年公众号文章索引。有兴趣,大家可以关注,谢谢。目前差不多将近90篇了,有质量高的有质量低的,有懈怠的时候也有如期交付的时候,不管怎么样,算是坚持下来了,希望明年会更好。总的来说,搞技术要沉下来,不求尽如人意,但求问心无悔。链接太难搞了,偷偷懒,只贴标题和分类了。文章 类型 关于大数据运维能力的一些思考 IT业界 去IOEorNot? I...原创 2020-02-04 15:25:14 · 994 阅读 · 0 评论 -
港澳资讯收购千寻网络、联游网络、弘扬科技、胜龙团队的新闻发布会
新华都CEO兼集团总裁,微软(中国)终身荣誉总裁唐骏于2010-1-25日在新华都旗下港澳资讯收购千寻网络、联游网络、弘扬科技、胜龙团队的新闻发布会上正式宣布他将重回IT业,回归他一直热爱的IT业中来。 澄清加盟谷歌传言 “今天网络上疯传唐骏要加盟谷歌,有一点可以明确的是,谷歌很需要唐骏,但唐骏不需要谷歌”,唐骏对于网络上的传言给出如是回答。在“转载 2010-02-11 10:01:00 · 2320 阅读 · 0 评论 -
2010年数据库技术领域盘点及发展趋势
2010年即将过去,在期待新的一年的同时,让我们一起回顾一下2010年数据库市场及相关领域的风云变幻。就关系数据库技术而言,今年是一个比较平淡的小年。微软发布的Microsoft SQL Server 2008 R2版本已经可以看作是本年度的一次重量级发布了,而Oracle则挟收购Sun的余威像一个不甘平静的新贵一样四处出击和挑衅,一向成熟稳重的IBM公司忍无可忍则针锋相对的展开了对Oracle的“破甲行动”,SAP公司收购Sybase一案并没有给波澜不惊的数据库市场掀起多少微澜。关系数据库原创 2010-12-31 08:57:00 · 5707 阅读 · 11 评论 -
华为十大内耗问题浅析
其实大企业病像瘟疫一样很早就在华为传播起来了,这篇文章写的比较中肯,所以转载一下,不知道原文出自哪里,请原作者谅解转载 2011-01-07 15:56:00 · 2538 阅读 · 2 评论 -
2011年数据库大会纪行
<br /><br />2011年数据库大会纪行<br /> <br />大会前其实早已盘算好了计划,首先做好自己的本职事情,呵呵,其次是和《剑破冰山-oracle开发艺术》的兄弟一起相聚,再次和多年未见的诸位朋友再聚一下,最后是处理一下自己的私事。<br />会议前已经向剑破冰山的各位兄弟要了联系方式,当晚便派上了用场,比兔子早到了20分钟,所以和兔子相约一起在机场会面,那种感觉比较奇怪,既有点陌生又像认识了很多年的老朋友。经过一个多小时的乘车到了酒店,和兔子在周围晃了半天合计了一下还是吃烧烤吧,每人原创 2011-04-19 22:48:00 · 1325 阅读 · 0 评论 -
SQL PASS西雅图之行——Lake Union纪行
北京=西雅图的飞机是空中客车A330-200机型,座位比较狭小,加之靠窗,所以昏昏欲睡了一路;临近美国的时候,已经可以清晰看到美国的河流、湖泊、山川和雪山了,这里的山到处都是郁郁葱葱的,河流山谷显得错落有致,远处的雪山异常的神秘,湖泊也是非常的静谧,广袤的田野上色彩是斑斓而有规则的,靠近西雅图的时候已经可以看到地表上浓郁的欧式建筑了,学校也好、工厂也好、居民楼也好,每个建筑都很有特点。根据百度出来原创 2012-11-27 01:30:51 · 2611 阅读 · 1 评论 -
SQL PASS西雅图之行——University of Washington篇
11月9日,会议的安排一如既往的紧凑,不过为了老婆大人的嘱托,我还是在听了一场“Advanced SQL Server Troubleshooting”后,就偷偷溜号了;我要去的是西雅图的苹果店,虽然苹果是微软的死对头,去的过程未免有些艰难啊,费了九牛二虎之力,才知道坐什么公交车过去,谢谢友好的美国人民。下了车之后便到了University of Washington,原以为华盛顿大学不过是很原创 2012-11-27 02:01:52 · 2439 阅读 · 2 评论 -
SQL PASS西雅图之行——会议篇
下午4点左右终于回到了Convention Center,这时参会人员已经陆续报到了.报名登记结束后,从6点开始SQL-PASS会议组举办了一个欢迎仪式。接下来是晚宴时间,我也终于找到了Tiffena Kou和组织,结束了为期两天的哑巴生涯;这次SQL PASS之行,国内去了6、7个人,基本上都是微软的MVP,在国内的SQL Server DBA中都是佼佼者,比如胡原创 2012-11-27 01:52:10 · 4832 阅读 · 0 评论 -
SQL PASS西雅图之行——签证篇
本人有幸通过IT168&itpub的站庆活动http://www.itpub.net/thread-1716961-1-1.html,并应微软邀请参加了在西雅图举办的The Conference for SQL Server Professionals(简称SQL-PASS)。 SQL-PASS会议计划于2012年11月6日-9日举行,IT168的童馨在10月17日才接到微软的原创 2012-11-27 01:12:07 · 2094 阅读 · 0 评论 -
电信BOSS——概念全接触
电信业务运营支撑系统(BOSS)概念的提出已有多年,BOSS的建设是提高电信企业竞争力的关键,这一点已经被电信运营企业广泛认可。2001年7月,在北京召开了电信业务支撑系统高级论坛;2002年1月17日,全国首个BSS行会——北京信息产业协会BSS运营支持专业委员会隆重成立。BOSS系统的建设已经成为电信业信息化的热点,可是,什么是BOSS系统,它的建设意义何在转载 2009-10-27 08:41:00 · 2960 阅读 · 2 评论