zhangsheng的博客

object WordCount { def main(args: Array[String]): Unit = { val lines = Array("hello tom hello jerry", "hello kitty hello tom", "hello tom tom") //按空格切割行成词，形成RDD(Array(),Array(),...)，在flat...

1 使用累加器的背景spark在调度任务时，master会挑选一个worker成为driver。在使用spark的action算子时，会触发job任务，开始计算。此时，开始切分，driver分发Task给相应的executor，每个executor是相对独立的。对应在action算子范围内的变量会各自独立。如果在action算子代码内使用driver算子代码范围的变量，会形成在每个exe...

1 安装配置zookeeper1、https://archive.apache.org/dist/zookeeper/2、上传压缩文件到集群 拖之3、解压 tar -zxvf xxx.tar.gz -C /path4、修改配置文件进入conf目录：cd ZKHOME/conf```> mv zoo_sample.cfg zoo.cfg -- 改名> vim zoo.cf...

1 网络配置如果是配虚拟机，记得到计算机管理—》服务，打开以下服务，要不然上不了网。1.1编辑网络配置文件vim /etc/sysconfig/network-scripts/ifcfg-ens33TYPE=EthernetPROXY_METHOD=noneBROWSER_ONLY=noBOOTPROTO=staticDEFROUTE=yesIPV4_FAILURE_FATAL=...

请教各位如何才能实现模拟登录？问题描述在模拟学校教务处登录时，已知用户名和密码。密码会与服务器给的随机字符串进行SHA1加密。如何在一次http连接中即获得这个随机字符串，又能发送用户名和密码，。一次http连接中不可能先获取随机字符串，再发送用户名和密码，这样会报错。因为一次http连接总是先发送数据，才能获取信息。网站登录流程1、登录时在网站上将用户名、密码输入，...

出现如下问题有几种请情况： hadoop.tmp.dir没有配置，配置如下：        <property>            <name>hadoop.tmp.dir</name>            <value>file:/D:/install_document/hadoop-2.7.3/data/tmp</val...

List ArrayList 线程不安全 动态数组 LinkedList 链表 线程不安全 Vector 线程安全 动态数组 Set HashSet 无序性 元素不重复性 可以添加null值，但是只能有一个 线程不安全 LInkedHashSet 有序性（按照输入顺序） 元素不重复性 可以添加null值，但是只能有...

基本数据类型是不具备对象的特性的，不能调用方法，简单所以每一个基本数据类型都提供了一个包装类，可以通过创建对象的方式操作数据             byte Byte             short Short             int Integer             long Long             float Float             do...

引用文章：https://blog.csdn.net/qq_36747738/article/details/70909796#commentsedit栈（stack）：放置局部变量，局部变量执行完毕就会被回收堆(heap)：放置对象（属性），数组，分配的空间（malloc  calloc  realloc）未初始化段(bss)：没有初始化全局变量和（成员变量）和静态变量（类变量）,初...

1、（int  byte short long）整型数组开辟空间后未初始化时，int[] arr = new int[10];此时的arr里面的值是02、(double  float  )浮点型型数组开辟空间后未初始化时，float[] arr = new float[10];此时的arr里面的值是0.03、（String  之类的引用类型）字符型数组开辟空间后未初始化...

导入包的语法： import packagename.classname 1.当要使用不同包中的类名相同的类，只能使用全限定名来创建对象如com.baidu.www.classname2、包的域名要 反写com.baidu,www3、如果导入的类与当前包中的类重名，那么创建对象时，导入的类的优先级高于当前的包的类。即使用的是导入的包的类。 ...

课程：Linux操作系统与应用 参考书：Linux从入门到精通、unix环境高级编程 学习linux之前必须要做好心理准备： 第一，要明白学好linux不是一件一蹴而就的事，一定要能坚持使用它，特别是在使用初期，由于在linux中，用户权限很大，做任何事情都很自由，所以，你往往需要知道你做的每一步在干什么，系统做了些什么，这需要时间去掌握，(背命令不是一件好的学习方法，相信我你一定会在你背完之前全...

编译器简介编译器是一个翻译程序。将一种程序翻译成另一种语言（如汇编或其他语言）。作为翻译的重要组成部分，编译器能够向用户报告编译的源程序的出现的错误。编译器分类一遍编译器多遍编译器装入并执行编译器调试编译器优化编译器等编译器模型——分析-综合模型编译有两部分组成：分析和综合。分析部分将源程序切分成一些基本快并形成源程序的中间表示，综合部分将源程序的中间表示转换为所需的目标程序。编译器的前驱和后缀源...