人生苦短@我用python-CSDN博客

原创大数据期末总结

总之，在本学期的学习中，我系统地学习和掌握了Scala、Spark、Spring、SpringMVC和SpringBoot等技术，不仅拓宽了自己的视野，还提升了自己的编程技能和实战能力，这些知识和经验对我今后的学习和工作都有着积极的影响和推动力。

2023-06-13 20:09:43 1263

原创 Spark大数据处理学习笔记2.1 初识Spark

Spark在2013年加入Apache孵化器项目，之后获得迅猛的发展，并于2014年正式成为Apache软件基金会的顶级项目。Spark生态系统已经发展成为一个可应用于大规模数据处理的统一分析引擎，它是基于内存计算的大数据并行计算框架，适用于各种各样的分布式平台的系统。在Spark生态圈中包含了Spark SQL、Spark Streaming、GraphX、MLlib等组件。

2023-06-13 19:56:22 925

原创 Spark大数据处理学习笔记1.5 掌握Scala内建控制结构

for (变量

2023-06-13 19:45:46 1599

原创 Spark大数据处理学习笔记1.4 掌握Scala运算符

例如：3 + 2 * 5，我们期望获得的是13，但是根据Scala特点，Scala中所有运算符其实就是方法，那么按照这种说法，表达式应该等同于(3).+(2) 得到5，(5).*(5) 得到25，与我们的预期不符！由于Scala并没有真正的运算符，运算符其实是方法的一种形式，所以此处运算符的优先级，其实就是指方法的优先级。Scala中，如果是基本数据类型，==与!-1等同于1.unary_-，前缀运算符如同中缀运算符一样，也是方法调用的另一种方式，不同的是，方法名要在符号前加上前缀unary_。

2023-06-12 19:18:29 1519 4

原创 Spark大数据处理学习笔记1.3 使用Scala集成开发环境

1.会搭建Scala的IntelliJ IDEA开发环境。2.会在集成开发环境里创建Scala项目。

2023-06-12 19:09:26 645

原创 Spark大数据处理学习笔记1.2 Scala变量与数据类型

学习目标1.学会变量声明2.掌握数据类型

2023-06-06 10:31:10 391 4

原创 Spark大数据处理学习笔记1.1 搭建Scala开发环境

Scala是Scalable Language的简写，是一门多范式的编程语言，由联邦理工学院洛桑（EPFL）的Martin Odersky于2001年基于Funnel的工作开始设计，设计初衷是要集成面向对象编程和函数式编程的各种特性。Scala是一种将面向对象和函数式编程结合在一起的高级语言，旨在以简洁、优雅和类型安全的方式表达通用编程模式。Scala功能强大，不仅可以编写简单脚本，还可以构建大型系统。

2023-06-06 08:58:01 378

原创 Java企业级信息系统开发学习笔记14 Spring Boot(使用Spring Initializr方式构建Spring Boot项目)

【代码】Java企业级信息系统开发学习笔记14 Spring Boot(使用Spring Initializr方式构建Spring Boot项目)

2023-06-04 08:00:00 356

原创 Java企业级信息系统开发学习笔记13 Spring Boot(使用maven方式构建Spring Boot项目)

Spring Boot官网：https://spring.io/projects/spring-bootSpring最新版本3.0.6，要求JDK17+，我们安装的JDK11，因此不能使用Spring Boot最新版，本次我们采用Spring Boot 2.7.11。早期版本的Spring专注于XML配置，开发一个程序需要配置各种XML配置文件。为了简化开发，在Spring 2.x版本开始引入少量的注解，由于支持的注解不是很多且功能尚不完善，所以只能辅助使用。

2023-06-03 19:06:29 566

原创 java企业级信息系统开发学习笔记12 基于配置文件整合SSM框架实现用户登录

【代码】java企业级信息系统开发学习笔记12 基于配置文件整合SSM框架实现用户登录。

2023-06-03 18:41:13 563

原创 java企业级信息系统开发学习笔记11 利用MyBatis实现条件查询

【代码】java企业级信息系统开发学习笔记11 利用MyBatis实现条件查询。

2023-06-02 08:00:00 268

原创 java企业级信息系统开发学习笔记10 利用MyBatis实现关联查询

【代码】java企业级信息系统开发学习笔记10 利用MyBatis实现关联查询。

2023-06-01 18:18:48 683

原创 java企业级信息系统开发学习笔记09 利用MyBatis实现CRUD操作

【代码】java企业级信息系统开发学习笔记09 利用MyBatis实现CRUD操作。

2023-06-01 08:00:00 517

原创 java企业级信息系统开发学习笔记08 初探MyBatis实现简单查询

MyBatis是支持普通SQL查询，存储过程和高级映射的优秀持久层框架。MyBatis消除了几乎所有的JDBC代码和参数的手工设置以及结果集的检索。MyBatis使用简单的XML或注解用于配置和原始映射，将接口和Java的POJOs（Plan Old Java Objects，普通的Java对象）映射成数据库中的记录。

2023-05-31 08:46:03 369

原创 java企业级信息系统开发学习笔记07 基于java配置方式使用Spring MVC

【代码】java企业级信息系统开发学习笔记07 基于java配置方式使用Spring MVC。

2023-04-20 08:00:00 369 1

原创 java企业级信息系统开发学习笔记06基于xml配置方式使用Spring MVC

MVC 是 Model、View 和 Controller 的缩写，分别代表 Web 应用程序中的 3 种职责。模型：用于存储数据以及处理用户请求的业务逻辑。视图：向控制器提交数据，在移动端或Web端显示模型中的数据。控制器：根据视图提出的请求判断将请求和数据交给哪个模型处理，将处理后的有关结果交给哪个视图更新显示。

2023-04-19 08:00:00 312

原创 java企业级信息系统开发学习笔记05 初探Spring AOP

在使用Spring框架配置AOP时，不管是通过XML配置文件还是注解方式，都需要定义pointcut（切点）。2.掌握采用配置方式使用AOP。3.掌握采用注解方式使用AOP。1.理解AOP与OOP的关系。

2023-04-18 19:47:52 327

原创 java企业级信息系统开发学习笔记04初探Spring ——采用Java配置类管理Bean

1.掌握利用Java配置类管理Bean。

2023-03-30 08:00:00 327

原创 java企业级信息系统开发学习笔记03初探Spring ——利用注解配置类取代Spring配置文件

1.掌握利用注解配置类取代Spring配置文件。2.利用注解配置类取代XML配置文件。

2023-03-29 08:00:00 94

原创 java企业级信息系统开发学习笔记02初探spring——利用组件注解符精简spring配置文件

1.掌握采用组件注解符精简Spring配置文件。2.理解面向接口优化程序结构的思想。

2023-03-28 19:33:49 345

原创 java企业级信息系统开发学习笔记01初探spring——采用spring配置文件管理bean

【代码】java企业级信息系统开发学习笔记01初探spring——采用spring配置文件管理bean。

2023-03-21 20:28:32 360

原创大数据期末总结

大数据是指数据规模大，尤其指因为数据形式多样、非结构化特征明显，导致数据存储、处理和挖掘异常困难的那类数据集。大数据太深奥了，还需要花更多的时间去摸索，虽然这学期讲的都是基础，但是想要掌握更多的大数据知识，需要自己花更多的时间去学习大数据。

2022-12-20 21:17:49 4068

原创 MapReduce案列-数据去重

数据去重主要是为了掌握利用并行化思想来对数据进行有意义的筛选，数据去重指去除重复数据的操作。在大数据开发中，统计大数据集上的多种数据指标，这些复杂的任务数据都会涉及数据去重。

2022-12-19 10:00:00 3407 2

原创探索MapReduce

TopN分析法是指从研究对象中按照某一个指标进行倒序或正序排列，取其中所需的N个数据，并对这N个数据进行重点分析的方法。

2022-12-18 09:45:00 296

原创使用java访问HDFS

在resources目录里创建log4j.properties文件。命令重复执行，不会失败，只是不断改变该文件的时间戳。文件，有点类似于Hadoop Shell里执行。创建Maven项目 - HDFSDemo。在Hadoop WebUI界面查看。利用Hadoop WebUI查看。已经存在，此时会提示用户创建失败。在HDFS Shell里利用。目录里确实创建了一个0字节的。命令的效果，但是有一点不同，单击【Create】按钮。（Maven仓库）-命令可以创建时间戳文件。

2022-12-17 20:21:06 1343

原创 Linux-Hadoop集群测试

通过UI界面可以方便地进行集群的管理和查看，只需要在本地操作系统的浏览器输入集群服务的IP和对应的端口号即可访问。文件里IP与主机名的映射，现在只能通过IP地址加端口号的方式访问：`http://192.168.1.101:9870。在HDFS上创建一个目录·BigData·，既可以在WebUI上创建，也可以通过shell命令创建。（注意：每次运行同一个应用，应用标识会发生变化），查看应用的运行详情。单击导航条上的【Datanodes】，查看数据节点信息。文件，增加hadoop集群主机名与IP地址的映射。

2022-12-02 08:30:00 2227 2

原创 Linux-Hadoop集群配置

一个名称节点（namenode）——老大，在master虚拟机上；三个数据节点（datanode）——小弟，在master、slave1与slave2虚拟机上。查看slave1和slave2上的进程，只有NodeManager和DataNode。可以不用设置名称节点的目录、数据节点的目录以及辅助名称节点。在slave1虚拟机上查看分发的hadoop。在slave2虚拟机上查看分发的hadoop。）在master虚拟机上，三个节点管理器（查看master虚拟机上的进程。查看slave1虚拟机上的进程。

2022-11-30 19:18:50 1351 1

原创 Linux-Hadoop部署

在伪分布式模式下， Hadoop程序的守护进程都运行在一台节点上，该模式主要用于调试Hadoop分布式程序的代码，以及程序执行是否正确。在完全分布式模式下，Hadoop的守护进程分别运行在由多个主机搭建的集群上，不同节点担任不同的角色，在实际工作应用开发中，通常使用该模式构建企业级Hadoop系统。由于Hadoop是由Java语言开发的，Hadoop集群的使用依赖于Java环境，因此安装Hadoop集群之前，需要先安装并配置好JDK。(-r：recursive - 递归)在配置Hadoop时，常用的就是。

2022-11-30 19:13:07 994

原创 ssh免密登陆

服务器使用公钥对用户发来的加密字符串进行解密，得到的解密字符串如果与第一步中发送给客户端的随机字符串一样，那么判断为登录成功。ssh密钥登录比密码登录安全，主要是因为他使用了非对称加密，登录过程中需要用到密钥对。用户收到远程服务器发来的字符串，使用与远程服务器公钥配对的私钥对字符串进行加密，再发送给远程服务器。远程服务器持有公钥，当有用户进行登录，服务器就会随机生成一串字符串，然后发送给正在进行登录的用户。上传到OpenStack后，主机名会自动添加.novalocal后缀，导致免密登录失效。

2022-11-27 19:45:54 1738

原创 Linux登陆配置虚拟机

由普通用户切换到根用户，再由根用户切换到普通用户，注意：从普通用户切换到根用户，需要输入根用户密码，但是从根用户切换到普通用户，就不需要输入密码。注意，IPADDR=192.168.1.100，第三节是1，跟虚拟网络编辑器里设置的网段必须保持一致。执行命令：ping www.baidu.com，可以看到是无法访问外网的。以根用户（超级管理员）登录（输入用户名root和密码[不可见]）可以看到，虚拟机设置了静态IP地址，就能够访问外网了。输入用户名和密码，登录虚拟机。重启虚拟机，以根用户登录。

2022-11-25 08:15:00 4476

原创 LinuxHadoop环境

关闭CentOS 7虚拟机，在VMware工具左侧系统资源库中右键单击CentOS 7，选择“管理”列表下的“克隆”选项，弹出克隆虚拟机向导。slave2虚拟机可以通过主机名来ping通master虚拟机、slave1虚拟机和slave2虚拟机。slave1虚拟机可以通过主机名来ping通master虚拟机和slave1虚拟机。master虚拟机可以通过主机名来ping通slave1虚拟机和slave2虚拟机。master虚拟机可以通过主机名来ping通slave1虚拟机。，查看设置的静态IP地址。

2022-11-24 08:00:00 1338 1

空空如也

空空如也