- 博客(15)
- 收藏
- 关注
RSS订阅原创 Spark大数据处理讲课笔记1.5 掌握Scala内建控制结构
Scala中继承了Java的异常机制，提供了程序中产生意外情况时处理的机制，抛出异常的过程和Java中基本一致，通过throw，一旦抛出可以当场捕获处理或接着向上抛，捕获异常是通过来实现的。
2023-04-07 11:36:19
73
原创 大数据处理学习笔记1.4 掌握Scala运算符
由于Scala并没有真正的运算符，运算符其实是方法的一种形式，所以此处运算符的优先级，其实就是指方法的优先级。在Scala中方法的执行是有优先级的区别的，这也是为了解决传统运算符优先级问题。如果是复杂数据类型，比较的是对象的地址，如果不是想比较地址而是想比较真正的内容，则需要使用。，但是根据Scala特点，Scala中所有运算符其实就是方法，那么按照这种说法，表达式应该等同于。，前缀运算符如同中缀运算符一样，也是方法调用的另一种方式，不同的是，方法名要在符号前加上前缀。Scala中，如果是基本数据类型，
2023-03-23 09:50:33
77
1
原创 大数据处理学习笔记1.3 使用Scala集成开发环境
在弹出的窗口中选择左侧的Project项，然后单击窗口右侧的New…按钮，选择JDK项，设置项目使用的默认JDK。单击绿色的【Install】按钮，安装完毕，单击绿色的【Restart IDE】按钮。Scala类创建成功后，即可编写Scala程序，定义一个没有返回值的。单击【Finish】按钮，至此，Scala项目。至此，IDEA中的Scala插件安装完成。方法，用来输出一条信息。启动IDEA后，选择欢迎界面下方的。按钮，在弹出的窗口中选择左侧的。，则需要单击其右侧的。按钮，选择本地安装的。
2023-03-23 09:40:20
77
原创 大数据处理学习笔记1.2 Scala变量与数据类型
定义变量需要初始化，否则会报错。注意：Java里可以先声明变量，然后再赋值定义变量时可以不指定数据类型，系统会根据初始化值自动推断变量的类型。注意：Java声明变量必须指定类型。
2023-03-20 09:06:37
79
2
原创 大数据处理学习笔记1.1 搭建Scala开发环境
Scala是Scalable Language的简写，是一门多范式的编程语言，由联邦理工学院洛桑（EPFL）的Martin Odersky于2001年基于Funnel的工作开始设计，设计初衷是要集成面向对象编程和函数式编程的各种特性。Scala是一种将面向对象和函数式编程结合在一起的高级语言，旨在以简洁、优雅和类型安全的方式表达通用编程模式。Scala功能强大，不仅可以编写简单脚本，还可以构建大型系统。
2023-03-17 11:08:31
62
原创 大数据2.1 初探MapReduce
MapReduce的核心思想是“分而治之”。所谓“分而治之”就是把一个复杂的问题，按照一定的“分解”方法分为等价的规模较小的若干部分，然后逐个解决，分别找出各部分的结果，把各部分的结果组成整个问题的结果，这种思想来源于日常生活与工作时的经验，同样也完全适合技术领域。MapReduce作为一种分布式计算模型，它主要用于解决海量数据的计算问题。使用MapReduce操作海量数据时，每个MapReduce程序被初始化为一个工作任务，每个工作任务可以分为Map和Reduce两个阶段。
2022-12-16 10:48:00
201
原创 大数据1.7Hadoop集群
单击导航条上的【Datanodes】，查看数据节点信息。在Hadoop WebUI界面查看刚才创建的目录。利用Hadoop WebUI查看文件是否上传成功。单击【Download】，下载结果文件到本地。6、在YARN集群UI界面查看程序运行状态。，从图中可以看出HDFS集群状态显示正常。，从图中可以看出YARN集群状态显示正常。5、在HDFS集群UI界面查看结果文件。利用HDFS命令查看文件是否上传成功。3、文件上传到HDFS指定目录。在HDFS集群UI界面，查看。集群主机名与IP地址的映射。
2022-11-30 17:46:56
495
原创 大数据1.6
三个数据节点（datanode）——小弟，在master、slave1与slave2虚拟机上。--是否启用hdfs权限，当值为false时，代表关闭-->--hdfs web的地址，默认为9870，可不配置-->--关闭虚拟内存检测，在虚拟机环境中不做配置会报错-->--用来指定hadoop运行时产生文件的存放目录-->--注意如果使用hadoop2，默认为50070-->--配置资源管理器：集群master-->--配置节点管理器上运行的附加服务-->
2022-11-28 20:23:45
194
原创 1.4大数据实训云
基于镜像源创建实例，绑定先前我们在自建网络里创建的端口，这样我们创建的实例就有了固定的私有IP地址，但是为了在本机使用FinalShell工具软件来SSH连接虚拟机实例，我们还得绑定一个浮动的IP地址。下面我们学习如何创建实例。关注VCPU数量和内存，创建实例好分配相应的VCPU和内存资源，比如，4 44核虚拟机最多能创建5 55个（20 ÷ 4 = 5 20 \div 4 = 520÷4=5）要让我们创建的实例（虚拟机）有固定的IP地址，我们需要创建端口，绑定固定的IP地址。
2022-11-24 20:19:28
242
原创 大数据1.3 Linux目录操作
修改文件所有者权限为可读可写可执行（rwx），文件所在组的权限改为可读可执行但是不可写（r-x），文件其他人的权限设置为可读可执行但是不可写（r-x）：减去love.txt文件的用户组和其他人的可执行权限（字母方式或数字方式）创建文件的方法很多，比如用vim、touch、echo…第567位：表示文件所在组（group）的读写可执行权限。第89X位：表示文件其他人（other）的读写可执行权限。第234位：表示文件所有者（user）的读写可执行权限。（g+x：表明在原来权限基础上添加可执行权限。
2022-10-13 20:30:48
82
原创 大数据1.2Linux用户操作
不同Linux 系统对用户组的规定有所不同，如Linux下的用户属于与它同名的用户组，这个用户组在创建用户时同时创建。仔细观察其中的一行，可以清晰地看出，各内容之间通过“:”号划分成了多个字段，共7部分，这7部分分别定义了用户的不同属性。创建用户帐户后，在一些需要更改现有用户属性的场景中，例如更改用户的主目录、登录 名、登录shell、密码到期日期等，在这种情况下使用。查看两个用户组里的用户情况，用户alice在lzy用户组里，用户mike在luzhou用户组里。
2022-09-30 09:39:37
504
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人