![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python开发
文章平均质量分 92
play_big_knife
这个作者很懒,什么都没留下…
展开
-
Hadoop+hive+flask+echarts大数据可视化项目之flask结合echarts前后端结合显示hive分析结果
使用定时任务收集linux系统信息,收集后存储到hadoop平台,由hive导入hadoop平台的数据,通过flask+echarts前后端结合显示hive对数据的分析结果。此博客主要针对于flask编写后端接口,返回hive平台的分析结果并在前端以echarts图表的形式进行展示。......原创 2022-08-08 18:34:25 · 3747 阅读 · 2 评论 -
Hadoop+hive+flask+echarts大数据可视化项目之hive环境搭建与系统数据的分析思路
收集linux系统信息上传hadoop平台, hive导入hadoop平台的信息,将信息的分析结果以flask接口的形式返回前台,前台使用echarts进行显示。本博文主要针对于项目中hive环境的搭建及hive导入上传到hadoop中的信息,最终实现系统数据分析的思路。...原创 2022-07-26 18:01:33 · 4124 阅读 · 0 评论 -
Hadoop+hive+flask+echarts大数据可视化项目之系统信息数据上传及上传的底层实现
使用linux定时任务采集系统数据信息,上传到hadoop平台,使用hive进行系统数据的分析,分析的结果以flask接口传送到前端,前端以echarts图表展示。此博文主要针到系统信息数据如何上传到hadoop中去保存。...原创 2022-07-22 16:40:38 · 1600 阅读 · 1 评论 -
Hadoop+hive+flask+echarts大数据可视化项目之系统数据整合和hadoop环境搭建
收集系统数据上传hadoop平台,使用hive导入hadoop平台中的系统数据,HQL语句实现hive的系统数据分析,最后通过flask接口把分析结果传回前端,前端采用echarts进行大数据的可视化图形分析。本讲针对于将所有系统收集的数据采用shell脚本的方式整合,并协同搭建hadoop分布式存储平台。...原创 2022-07-20 13:53:11 · 2243 阅读 · 0 评论 -
Pyflink系列之使用pyflink实现flink大数据引挚的经典案例wordcount
Pyflink系列之使用pyflink实现flink大数据引挚的经典案例wordcount谈到大数据,也是数据,在专业的概念上来讲,其具备三大特征。1、数据量足够大,也就是Volume值相当特别地多。2、数据访问并发量足够高并且实时,可以用Velocity一词反映快速和实时。3、数据的类型越来越多,可以用Variety一词来反映数据的多样性。对于大数据的处理思路,普遍都是建立在通过把数据进行分区分片,并分布到各个横向扩展节点,并由调度节点进行统一管理计算。每一次你执行查询的时候,该查原创 2022-02-14 16:36:29 · 8463 阅读 · 1 评论 -
Python实战案例:Python使用cocos2d实现捕鱼达人
Python实战案例:Python使用cocos2d实现捕鱼达人游戏,它是一种基于物质需求满足之上的,在一些特定时间、空间范围内遵循某种特定规则的,追求精神世界需求满足的社会行为方式。合理适度的游戏允许人类在模拟环境下挑战和克服障碍,可以帮助人类开发智力、锻炼思维和反应能力。一般的小型游戏都是一些随机变化的事物,根据鼠标或键盘的操作来完成对变化事物的点击操作或者控制操作,最终实现娱乐的目的。如下图为地铁跑酷的界面。上图中人就是一个控制的元素,通过控制人的左右和跳跃,最终对金币进行累加的游戏。原创 2021-03-28 17:29:46 · 4214 阅读 · 1 评论 -
Python实战案例:flask结合elasticsearch实现全文搜索
Python实战案例:flask结合elasticsearch实现全文搜索ElasticSearch简称ES,其中Elastic一词通过词典查询获得。从名字里我们可以知道,ES的特点就在于灵活的搜索,其实ES本身就是一个全文搜索引擎。一、全文搜索原理如何实现全文搜索?最简单的方法就是用正则去匹配文档中的字符串。这种方式看似粗暴,但却不乏使用场景,比如Linux中的grep命令,Windows中用Ctrl+F在文件中进行查找等。这种方式的缺点就是效率低,需要扫描全部文件,有时候搜索一个原创 2021-03-21 09:45:20 · 4332 阅读 · 2 评论 -
Python实战案例:elasticsearch与数据库mysql的同步(下)
Python实战案例:elasticsearch与数据库mysql的同步(下)五、Python实现kafka生产者和消费者的逻辑使用python操作kafka目前比较常用的库是kafka-python库。Kafka-python库的安装可以使用下述指令。pip3 install kafka-python安装结束后,在kafka的生产者使用KafkaProducer类来实现,实例化时可以传入参数bootstrap_servers,也就是kafka服务器的地址。实例化KafkaProdu原创 2021-03-11 13:57:14 · 770 阅读 · 1 评论 -
Python实战案例:elasticsearch与数据库mysql的同步(上)
Python实战案例:elasticsearch与数据库mysql的同步(上)在一些企业的面试中,常常遇到elasticsearch全文检索方面的问题,这也是企业最常遇到的问题。由于Elasticsearch就是专门用于搜索的,所以我们会将新增的数据放入Elasticsearch中用于搜索,也就有了这样的常见的场景,需要将Mysql中的数据同步到Elasticsearch中。从方法上来讲,Mysql数据同步到ES中可分为两种,分别是全量同步和增量同步。全量同步表示第一次建立好ES索引之后,将Mysq原创 2021-03-06 11:49:17 · 1678 阅读 · 1 评论 -
Python实战案例:python结合rabbitmq+redis实现秒杀系统
Python实战案例:python结合rabbitmq+redis实现秒杀系统一、秒杀系统的介绍秒杀,是电商网站中常见的功能。如果采用普通的开发结构系统,那么最大的瓶颈是在于底层的数据库端。因为底层数据库(比如常见的mysql)是磁盘存储的,所以读写IO较慢,而且连接数有限。在秒杀业务场景,最大的特点是瞬时的高并发,即在短时间内会有大量的请求到来。让所有请求都打到底层数据库上,很大可能会造成数据库直接崩掉,即使数据库能承受住大量的连接请求,但大量的请求读写都会导致大量的锁冲突,导致响应速度大大减原创 2021-02-28 13:34:52 · 1943 阅读 · 1 评论 -
Python实战项目:高血压检测项目调查问卷接口的测试
Python实战项目:高血压检测项目调查问卷接口的测试在前面的Python实战项目中介绍过高血压检测项目和自动化综合测试的相关内容,那么如何结合自动化综合测试的内容进行高血压检测项目的测试呢,尤其是对于接口返回数据是否正确的测试内容,接口返回的是json数据,如何判断高血压的调查问卷最终提交后得到的是一个json数据,并判断这一json数据的正确,是如何在测试中下断言的。下面就专门以高血压检测项目调查问卷接口的测试来说明这个测试用例的写法。首先根据如下图页面的用户调查问卷,对页面中每一个元素进行提取原创 2021-02-15 20:52:46 · 767 阅读 · 1 评论 -
Python实战案例:PyQT模块开发多线程视频播放器(下)
Python实战案例:PyQT模块开发多线程视频播放器(下)在能够实现两个图片间进行点击交换这样的交互动作后,对PyQt5桌面应用界面的开发有一定的了解后,就可以进行多线程视频播放器的开发。在开发多线程视频播放器的开发时,同样需要窗口布局页面的显示。一、多线程视频播放器的页面布局在桌面应用的开发过程中,也需要进行页面方面的布局。多线程视频播放初始界面如下图示。当点击底部播放按钮后,播放页面如下图所示。从界面上看,整个页面初始布局跟前面所提的点击按钮更换图片的布局是一致的。只不过在原创 2021-01-22 09:41:35 · 1825 阅读 · 0 评论 -
Python实战案例:PyQT模块开发多线程视频播放器(上)
在项目开发中,有的应用程序可以运行在web浏览器,有的程序可以运行在桌面上。在台式电脑上运行的应用程序称为桌面应用程序。如下图打开的记事本就是在电脑上打开的程序。类似这样的程序不像web程序一样依赖于浏览器,这种应用程序的特点是缺少共享,直接通过鼠标双击就可以运行,不需要浏览器的支持,一般以window的窗口形式存在。这里我们会用PyQt5开发一个多线程的播放器,不过在接触播放器内容之前,先看一下用PyQt5进行一个图片交互的小例子预热一下。一、PyQt5开发一个简单的桌面应用Pyt原创 2021-01-16 13:47:52 · 1517 阅读 · 0 评论 -
Python实战案例:tornado接口vue客户端的堂食点餐系统(下)
Python实战案例:tornado接口vue客户端的堂食点餐系统(下)tornado接口已经返回了json数据,Vue客户端能够通过axios获取这个json数据并使用ElementUI插件的el-table对数据进行展示。但是,前端一般都会使用Vue全家桶来进行开发。Vue是一套构建用户界面的渐进式框架,UI框架方面可以使用element-ui配合使用。Vue是以数据驱动和组件化的思想构建的,采用自底向上增量开发的设计。Vue中的状态信息通过Vuex来进行控制,axios实现异步的ajax后面数原创 2021-01-08 16:57:40 · 766 阅读 · 1 评论 -
Python实战案例:tornado接口vue客户端的堂食点餐系统(中)
Python实战案例:tornado接口vue客户端的堂食点餐系统(中)用Vue+ElementUI技术完成的堂食点餐系统的界面已经搭建成功,但这里面有一个问题,当用户点击其中某一个商品的时候,对应的商品和金额就要去更新底部购物车信息区。这就需要vue的methods方法的设定一、Vue实现购买商品信息的更新在vue中,函数被定义成为方法来使用,这些方法定义在methods属性中,然后就可以在vue 表达式中调用函数。vue 选项对象中有一个叫methods的属性.这个属性里面专门来存放一些原创 2021-01-01 20:58:16 · 1159 阅读 · 0 评论 -
Python实战案例:tornado接口vue客户端的堂食点餐系统(上)
Python实战案例:tornado接口vue客户端的堂食点餐系统(上)现在的点餐系统比较流行,饮食经营类的商家店铺中每张桌上都贴有一个二维码,扫描二维码之后,出现点餐的界面,因为比较流行,这里就用扫描点餐的界面说明一下vue客户端开发和python的web开发框架tornado的使用。一、vue的介绍Vue,读音类似于View,是一套构建用户界面的渐进式框架。与其他重量级框架不同的是,Vue 采用自底向上增量开发的设计。Vue 的核心库只关注视图层,并且非常容易学习,非常容易与其它库或已有项目原创 2020-12-26 10:19:26 · 1427 阅读 · 0 评论 -
Python实战案例:Seaborn图形化分析数据
Python实战案例:Seaborn图形化分析数据Seaborn是基于matplotlib的图形可视化python工具包。它提供了一种高度交互式界面,使用户能够做出有统计的图表,也可以通过图表直观显示数据的特点。Seaborn是在matplotlib的基础上进行了更高级的API封装,这样使作图更容易,使用seaborn能做出很具有吸引力的图。可以把Seaborn视为matplotlib的有效补充,而不是替代模块,使用Seaborn可以更好的结合matplotlib进行针对性的数据分析图形展示。一、Se原创 2020-12-20 14:37:56 · 1003 阅读 · 1 评论 -
前端布局实战:三国杀页面布局(下)
前端布局实战:三国杀页面布局(下)四、三国杀群殴界面第8人主角玩家的布局从案例开始的最终结果图显示,首先要设置牌区,而牌区在整个三国杀布局图的最底部中间的位置,在牌区的上面需要有一段距离,这段距离可以用一个空的div做占位,玩家主角底部的装备区内没有设置任何的装备,可以用一个div,设定宽度和高度进行占位即可。而装备区、卡牌区和主角技术显示区三个部分构成了主角玩家的底部布局,可以把玩家底部的布局定义成一个大的div,里面包括了左边的装备区div,中间的卡牌区div和右边的主角技术显示区div。代码如下原创 2020-12-19 12:08:13 · 542 阅读 · 1 评论 -
Python实战案例:图书借阅系统TF-IDF的计算
Python实战案例:图书借阅系统TF-IDF的计算图书借阅系统一般是对图书的借书还书进行管理的图书馆管理系统。对于这样的系统,什么样的图书是用户比较感兴趣的,然后在藏书方面进行数量的增加,什么样的图书用户关注度不佳,那么在藏书方面进行数量的减少。这不是单单只靠书的名字来确定的一个结果,最主要的还是对内容的提练,而对数据分析而言就是对关键词的提取。TF-IDF意思是词频/逆词逆,更好的理解词频/逆词频最好还是回归到项目中,因此,这里用图书借阅系统的图书目录表的分析来具体解释TF/IDF的理解,也就是词频原创 2020-12-14 13:40:00 · 870 阅读 · 1 评论 -
Python实战案例:旅游方面博文的数据分析
Python实战案例:旅游方面博文的数据分析一、旅游方面博文数据展示数据分析的出现便利了每个人,企业,竞争者。在以前的时候,如果想要了解市场的动向,就设计了调查问卷或者现场采访的方式,以至于被很多人误以为不法之举。而如今如果在想了解市场,我们只需要简单的设计和建立一个数据库,以此来监测人们的行为和动向,一段时间之后,数据结果自然会告知你一切。在很多的时候,爬虫工程师爬取数据之后,都需要进行后续的数据分析。这里以旅游微博的数据分析为例。旅游微博的数据是以excel表展现的,这个项目中的exc.原创 2020-12-07 16:35:17 · 2181 阅读 · 1 评论 -
Selenium测试案例一步步学之(2)Selenium自动测试脚本模块化(下)
Selenium测试案例一步步学之(2)Selenium自动测试脚本模块化(下)一、selenium测试模块化selenium测试模块化可以概括为下图的功能函数。二、QQ登录查找当前页最新邮件模块化后的功能函数对应关系导包部分:from selenium import webdriverimport time依据模块化图示的功能函数对应实现如下:OpenBrowoser()打开模块函数的实现,代码如下。''' 打开浏览器'''def open_b.原创 2020-12-07 10:33:46 · 463 阅读 · 0 评论 -
Python实战案例:金庸的功夫流派、人物关系的分析案例(下)
Python实战案例:金庸的功夫流派、人物关系的分析案例(下)前面关于金庸小说的门派、功夫、人物及小说正文已经从网站上面下载到了本地,后面就需要通过一些金庸小说中武侠江湖的数据分析。四、射雕郭靖黄蓉的关系分析对于《射雕英雄传》这个剧本来说,郭靖和黄蓉无疑是读者关注的主人公。现在爬取的小说正文已准备就绪,可以通过jieba分词的自定义词典把小说中的人物加载,load_userdict方法可以帮助我们把jieba分词中装入《射雕英雄传》的一些人名,其目的在进行文章分词切分的时候会把这些中文词语.原创 2020-12-01 22:32:57 · 1973 阅读 · 0 评论 -
Python实战案例:金庸的功夫流派、人物关系的分析案例(上)
Python实战案例:金庸的功夫流派、人物关系的分析案例(上)一、项目说明在香港的探案剧中, 经常见到这样的场景,为了分析某一桩谋杀案或者是失踪案,会把案件的可疑人员和与被害者的关系人员全部找出来,构建一个关系网。对关系网中的每一个人分析其做案动机。如下图所示。类似上图这种网络关系的图表,可能使用python的networkx来进行网络关系图的绘制。不过,这里没有案件,这里没有被害人。我们以金庸的人物、武功及小说原文来说明networkx的使用,这也可以说是金庸的功夫流派、人物关系的分.原创 2020-11-23 21:23:27 · 1193 阅读 · 0 评论 -
Python实战案例:爬取中国执行信息公开网
从面试题谈起谈到这个项目的爬虫,就要从一道面试题谈起了。这道面试题是:请写一个爬虫从网址 http://zxgk.court.gov.cn/shixin/,检索被执行人姓名:"阿里",并填入验证码后查询,抓取结果列表,与对应的详情,并将内容导出为csv。根据这道面试题的情境,进入到地址http://zxgk.court.gov.cn/shixin/,在“被执行人姓名/名称”后面的输入框中输入“阿里”,再输入验证码,点击红色的“查询”按钮。如下图所示。现在需要抓取的是查询后的结果数据,原创 2020-11-13 22:00:34 · 5244 阅读 · 8 评论 -
Python实战案例:使用Pygame开发游戏翻牌子(下)
五、翻牌子的逻辑接下来,实现翻牌子的具体逻辑。首先必须要清楚,翻牌子游戏的重点是每个牌子都是可以点击的,pygame在处理点击事件的时候,是通过捕捉游戏主角在屏幕上面的坐标实现的,也就是说需要知道鼠标点击的位置是否在一张牌之内,可以通过鼠标去点击每一张牌的左上,右上,左下,右下来确定这张牌所占的空间位置。如下图所示。如图中所示的方法点击其中的1、2、3、4等位置,就可以记录对应的坐标值。鼠标操作可以通过pygame.event.get()语句中获取的事件类型event.type来判断是否原创 2020-11-07 20:21:47 · 1201 阅读 · 0 评论 -
Python实战案例:使用Pygame开发游戏翻牌子(上)
Python实战案例:使用Pygame开发游戏翻牌子(上)一、翻牌子游戏介绍翻牌子的原意是古代皇帝在晚上就寝时从三千佳丽中选择的某个女子,这里将它改版成对对碰。如果翻开第一张牌子后面的女子,再翻开第二张牌子后面的女子,如果两张牌子后面的女子是同一个女子,两张牌子就消失,如果两张牌子后面不是同一个女子,前一张牌子翻过去,后一张牌子仍然保持着显示被选女子的状态。游戏过程如下图所示最开始游戏的初始状态。紧接着如下所示把图中的某一个牌子翻开。接下来继续翻开如图所示中的第二张某一个牌.原创 2020-10-31 23:59:43 · 1922 阅读 · 2 评论 -
Python实战项目:Django Models模型体会数据库的优化
Django Models模型体会数据库的优化数据库的优化一直是面试中遇到的实际问题,如何进行数据库的优化不能只体现在概念上。向优秀一点的框架学习数据库语句上的优化也是很好的学习方法。用Django Models来写数据库查询的语句,然后转成数据库查询语句,体会Django在数据库语句优化方面做了哪些处理。一、Django进行sql语句优化的modes模型代码如下。from django.db import modelsclass Student(models.Model): "原创 2020-10-28 08:56:27 · 387 阅读 · 0 评论 -
Python实战项目:Python面向对象的微信应用开发
Python面向对象的微信应用开发一、案例背景微信,是我们每个人身边交往和联系的工具。几乎每个人都在用着微信, 那我不免要问一下使用微信的朋友,你觉得你的微信里有多少个男性朋友,又有多少个女性朋友呢?你有男性朋友多了,是不是证明你这个人比较爱认识铁哥们。你有女朋友多了,是不是证明你这个人比较爱认姐们呢?不过,提醒各位,交友须谨慎哟。不过,今天的话题是找到你的微信里有多少个男性的朋友,有多少个女性的朋友,你猜猜,会不会有不男不女的朋友呢?二、案例结果三、先面向过程进行分析根据图原创 2020-10-18 21:04:49 · 757 阅读 · 1 评论 -
Python实战项目:Flask人脸识别图书系统(下)
flask人脸识别图书系统(下)四、flask蓝图(blue_print)改写后端的实现用蓝图技术来修改这个程序,首先分析一下,目前后端完成了两个功能,上传人脸头像和验证人脸头像,这两个功能可以设计成两个蓝图开发中的两个模块,上传人脸头像这里叫myupload,可以在pycharm建立一个flask蓝图项目mylantu,再建一个python包文件app,将所有的模块应用都集中一个包文件中管理,这样比较有序。接着建立第一个后端功能的python包文件myupload上传头像,在myupload包文件原创 2020-10-13 13:47:46 · 1194 阅读 · 0 评论 -
Python实战项目:flask人脸识别图书系统(上)
flask人脸识别图书系统(上)涉及内容:爬虫&开发&数据分析a、前端界面的技术——> jquery/bootstrapb、后面逻辑——>flask,前后端半分离技术,使用模块 flask 蓝图(blue_print)/c、收集的图书数据进行数据分析——Pandas模块,结合matplotlib画图d、从网上抓取关于书的名字、价格——>requests爬取京东技术,需要js接口的解析。一、前端功能的实现前端共实现2个需求:A、打开摄像头,B、拍照原创 2020-10-05 13:12:28 · 3327 阅读 · 2 评论 -
Python实战项目:自动化测试综合
自动化测试案例一、测试的概念在规定的条件下对程序进行操作,以发现程序错误,衡量软件质量,并对其是否能满足设计要求进行评估的过程。是使用人工或自动的手段来运行或测定某个软件系统的过程,其目的在于检验它是否满足规定的需求或弄清预期结果与实际结果之间的差别。二、测试的分类∑ 黑盒测试(Black-box Testing)黑盒测试也称功能测试,测试中把被测的软件当成一个黑盒子,不关心盒子的内部结构是什么,只关心软件的输入数据与输出数据。∑ 白盒测试(White-box Testing)白原创 2020-09-29 09:24:31 · 2572 阅读 · 0 评论 -
Python实战项目:高血压项目详解(下)
四、爬虫数据来源 ⇒ 有关高血压文章、文献、论文——外国网站爬取翻译 ⇒ 爬取文章(高血压——Hypertension)+ 英文翻译成中文软件模块 ⇒ selenium(模拟自动化测试)+ lxml模块版本说明 ⇒ selenium == 3.141.0 + lxml == 4.5.0 translate == 3.5.0步骤(1)利用selenium中的webdrier(2)用get使浏览器进入到对应的网址(3)调用Web.原创 2020-09-21 15:28:07 · 1107 阅读 · 0 评论 -
Python实战案例:高血压项目详解(上)
自创项目:高血压项目详解涉及内容:爬虫&开发&数学分析&数据挖掘a、前端界面的技术——> Juqery Mobile (JQM),俗称“机器猫”b、后面逻辑——>Django,前后端分离技术,使用模块 django restframeworkc、收集的数据进行数据分析——Pandas模块,结合pyechars画图d、从网上抓取在于高血压的文献——>爬虫技术,使用selenium模块进行模拟一、项目开发前的分析1、调查问卷对象:病人&am.原创 2020-09-14 10:07:47 · 1780 阅读 · 0 评论