- 博客(4)
- 收藏
- 关注
原创 Hadoop核心技术知识总结
Hadoop核心技术的课程总结主要涵盖了Hadoop的基本概念、核心技术模块以及其在大数据处理领域的优势和应用。首先,Hadoop是一个由Apache基金会开发的分布式系统基础架构,主要用于解决大数据集的存储和计算分析问题。它使用Java语言开发,具有跨平台性,并且是开源的。Hadoop运行在廉价机器上,并考虑到机器故障是常态,因此具有高可靠性和容错性。它利用集群的CPU的并发和计算能力,提供了高性能的处理能力。
2024-04-18 12:15:00
1911
2
原创 python网络爬虫爬取静态网页
网络爬虫又称网页蜘蛛、网络机器人,是一种按照一定的规则、自动请求万维网网站并提取网络数据的程序或脚本。如果说网络像一张网,那么爬就是网上的一只小电子,在网上爬行的过程中遇到了数据,就把它爬取下来。网络爬虫的常用功能:如图所示。获取大量数据,用来做数据分析公司项目的测试数据,公司业务所需数据Python做爬虫优势1、Python :请求模块、解析模块丰富成熟,强大的Scrapy网络爬虫框架2、PHP :对多线程、异步支持不太好3、JAVA:代码笨重,代码量大。
2023-12-10 21:47:05
2619
原创 Python数据分析与可视化理论知识
数据分析:用适当的统计分析方法将收集来的大量数据进行分析,将他们加以汇总和理解并消化,以求最大化地开发数据的功能,发挥数据的作用。为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。描述性数据分析、探索性数据分析、验证性数据分型。广义的数据分析包括狭义数据分析和数据挖掘。Python数据分析依赖的两个对象异常值:距离序列中大多数的数据很远的数中位数:序列中50%的数小于这个数上四分位数(Q3):序列中75%的数小于这个数下四分位数(Q1):序列中25%的数小于这个数。
2023-12-01 22:00:50
874
原创 Java基本知识汇总
标识符长度不限,但在实际命名时不宜过长。Java的标识符由字母、数字、_和$组成。标识符的第一个字符必须为字母、_和$。标识符区分大小写。不能使用关键字作为标识符。注意:子类和父类之间是extends 继承关系,类与接口之间是 implements实现关系。通过这门课程的学习,我深入了解了Java编程语言的各种特性和应用场景。我发现Java是一种功能强大而且易于学习的语言,适用于各种类型的软件开发项目。
2023-11-29 19:19:13
1645
4
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人