![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
人工智能
文章平均质量分 75
play_big_knife
这个作者很懒,什么都没留下…
展开
-
Python项目实战:使用PySpark分析日志文件
Python项目实战:使用PySpark分析日志文件日志文件是用于记录系统操作事件的记录文件或文件集合,可分为事件日志和消息日志。具有处理历史数据、诊断问题的追踪以及理解系统的活动等重要作用。有了日志文件,就可以了解到网站的访问频率、网站是否受到了恶意的攻击等。Python可以使用PySpark进行日志类文件的分析。这里使用PySpark的原因在于每天的日志量是不断累加的,日志文件中的数据可以说得上是大数据。使用PySpar分析大数据的日志文件也是显得尤为重要,原理也是分布式计算mapreduce的原创 2021-04-25 16:31:06 · 2080 阅读 · 2 评论 -
Python项目实战:使用PySpark对大数据进行分析
Python项目实战:使用PySpark对大数据进行分析大数据,顾名思义就是大量的数据,一般这些数据都是PB级以上。PB是数据存储容量的单位,它等于2的50次方个字节,或者在数值上大约等于1000个TB。这些数据的特点是种类繁多,有视频、有语音、有图片、有文字等等。面对这么多数据,使用常规技术就没法处理了,于是产生了大数据技术。一、大数据Hadoop平台介绍大数据分成了很多派系,其中最著名的是Apache Hadoop,Clouera CDH和 Hortonworks 派系。Hadoop是一原创 2021-04-18 09:41:33 · 6899 阅读 · 0 评论 -
研发分享:机器学习卡片的使用
研发分享:机器学习卡片的使用机器学习是一个广阔的领域,涵盖计算机科学、统计学、科学计算和数学,有大量需要学习的概念。同时对一些概念及原理记忆的同时,也会有遗忘的现象,不断地进行复习和概念的巩固是机器学习面临的课题。将机器学习的相关算法,KNN也好,Kmeans也罢,决策树的原理,朴素贝叶斯的公式......等等内容用卡片的形式展示出来,手持卡片不断地学习和巩固就是一种记忆方法上的改进。如下图所示的卡片提供了学习的便利条件。上图中展示了一部分卡片,是对机器学习中相关算法进行巩...原创 2021-02-15 20:56:32 · 253 阅读 · 0 评论