- 博客(11)
- 收藏
- 关注
RSS订阅原创 2020-11-12----第四章spark（Scala版）RDD编程--
1 RDD编程基础1 RDD创建1. 从文件系统中加载数据创建RDDSpark采用textFile()方法来从文件系统中加载数据创建RDD该方法把文件的URI作为参数，这个URI可以是：本地文件系统的地址// An highlighted blockscala> val lines = sc.textFile("file:///usr/local/spark/mycode/rdd/word.txt")lines: org.apache.spark.rdd.RDD[String] = f
2020-10-29 18:23:20
452
原创 计算机网络数据链路层
计算机网络数据链路层数据链路层的作用数据链路层使用的信道使用点对点信道的数据链路层1.数据链路和帧（1）链路 (link) 是一条无源的点到点的物理线路段，中间没有任何其他的交换结点。一条链路只是一条通路的一个组成部分。（2）数据链路 (data link) 除了物理线路外，还必须有通信协议来控制这些数据的传输。若把实现这些协议的硬件和软件加到链路上，就构成了数据链路。现在最常用的方法是1.使用适配器（即网卡）来实现这些协议的硬件和软件。2.一般的适配器都包括了数据链路层和物
2020-10-29 18:20:48
248
1
原创 scala总结
scala总结scala概述spark新一代的内存级大数据云计算框架，是大数据的重要的内容spark使用scala编写的scala是scalable Language的简写，是一门多范式（范式/编程方式【面向对象/函数式编程】）的编程语言Martin odersky于年开始设计ScalaSpark的兴起带动Scala语言的发展scala的特点Scala是一门以java虚拟机为运行环境并将面向对象和函数式编程的最佳特性结合在一起的静态编程语言Scala是一门多范式的编程语言，Scala
2020-10-29 18:19:53
605
原创 解决tomcat点startup.bat闪退的问题
先打开startup.bat所在目录,右击编辑startup.bat在文件的末尾加上pause然后启动startup.bat此时窗口会停滞，这时候会出现未启动的原因，一般都是tomcat未配置环境
2020-10-24 09:31:09
96
原创 mybatis配置文件解析
mybatis配置文件解析//StudentDao.javapackage com.bjpowernode.Dao;import com.bjpowernode.domain.Student;import com.bjpowernode.vo.StudentAndClassroomVo;import java.util.List;import java.util.Map;public interface StudentDao { List<Student> getA
2020-10-21 21:09:12
210
原创 如何使用sbt或者maven编译打包运行
1 安装编译打包工具1).安装sbtsbt是一款Spark用来对scala编写程序进行打包的工具，Spark 中没有自带 sbt，需要下载安装下载sbt安装包以后，执行如下命令拷贝至 /usr/local/sbt 中：接着在 /usr/local/sbt 中创建 sbt 脚本（vim ./sbt），添加如下内容：// An highlighted block#!/bin/bashSBT_OPTS="-Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadi
2020-10-15 18:08:27
2175
原创 在linux下spark环境搭建
安装Spark1 基础环境Spark支持4种不同类型的部署方式，包括：Local模式：单机模式Standalone模式：使用Spark自带的简单集群管理器YARN模式：使用YARN作为集群管理器Mesos模式：使用Mesos作为集群管理器Spark可以独立安装使用，也可以和Hadoop一起安装使用。安装了Hadoop后，就可以让Spark使用HDFS存取数据。，不安装Hadoop，Spark只能访问本地文件系统数据。需要说明的是，当安装好Spark以后，里面就自带了scala环境，不需要额外安
2020-10-15 17:36:24
652
原创 安装 Hadoop
1.安装 Hadoop将 Hadoop 安装至 /usr/local/ 中sudo tar -zxf ~/下载/hadoop-2.6.0.tar.gz -C /usr/local # 解压到/usr/local中cd /usr/local/sudo mv ./hadoop-2.6.0/ ./hadoop # 将文件夹名改为hadoopsudo chown -R hadoop ./hadoop # 修改文件权限Hadoop 解压后即可使用。输入如下命令来检查 Hadoop
2020-10-15 17:27:02
307
原创 计算机网络物理层
物理层的基本概念1.物理层考虑的是怎样才能在连接各种计算机的传输媒体上传输数据比特流，而不是指具体的传输媒体。2.物理层的作用是要尽可能地屏蔽掉不同传输媒体和通信手段的差异。3.用于物理层的协议也常称为物理层规程物理层的主要任务确定与传输媒体的接口的一些特性特性：机械特性 ：指明接口所用接线器的形状和尺寸、引线数目和排列、固定和锁定装置等。电气特性：指明在接口电缆的各条线上出现的电压的范围功能特性：指明某条线上出现的某一电平的电压的意义。过程特性 ：指明对于不同功能的各种可能事件的出现顺
2020-10-14 13:31:23
218
原创 dos窗口的命令
type +文件名 在dos窗口查看文件内容echo +内容 >> +文件名 在文件中输入内容dir查看本目录下的文件del +文件名删除文件md +文件 创建文件夹
2020-10-14 13:30:38
149
原创 计算机网络详细概述
计算机网络简介：计算机网络是计算机技术和通信技术相互渗透密切结合而形成的交叉学科计算机网络在信息时代中的作用21 世纪的时代特征：数字化、网络化、信息化。是一个以网络为核心的信息时代。网络现在已经成为信息社会的命脉和发展知识经济的重要基础三大网络电信网络：（电话、电报及传真）有线电视网络：（电视节目）计算机网络：（计算机之间传送数据文件）internet与Internet的区别以小写字母 “i” 开始的 internet（互连网）是一个通用名词，它泛指由多个计算机网络通过路由器互连
2020-10-14 11:07:02
567
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人