- 博客(17)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Spark动态DataFrame实现
在Spark中如何实现在运行中，如何动态修改DataFrame表结构呢？您可以参照以下，动态添加gender，address的方式test("动态DataFrame测试"){ val frame = spark.table("app_offline.task_table_zhihuiya") val schema: StructType = frame.schema .add("gender", StringType) .add("address", String
2022-02-08 18:58:37
1133
原创 每日一题～
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
2021-07-02 10:44:56
210
原创 javaSE
String为什么是被final修饰的？1.为了实现字符串池字符串池的实现可以在运行时节约很多heap空间，因为不同的字符串变量都指向池中的同一个字符串。但如果字符串是可变的，那么String interning将不能实现，因为这样的话，如果变量改变了它的值，那么其它指向这个值的变量的值也会一起改变。2.为了线程安全因为字符串是不可变的，所以是多线程安全的，同一个字符串实例可以被多个线程共享。这样便不用因为线程安全问题而使用同步。字符串自己便是线程安全的。3.为了实现String可以创建HashC
2021-02-23 11:48:47
236
1
原创 Spark源码梳理
SparkSubmit一、程序的起点spark-submit --class com.sjh.example.SparkPi --master local[*] …/demo.jar在windows下调用spark-submit.cmd在linux下调用spark-submit脚本脚本调用顺序：1、spark-submit2、 spark-submit2.cmdspark-class2.cmd org.apache.spark.deploy.SparkSubmit
2021-02-23 11:44:24
514
原创 hadoop的snappy压缩出错
说明你的本地hadoop没有安装snappy压缩。可以使用自己编译snappy，或者使用已安装好snappy压缩的hadoop替换自己原来的hadoop。hadoop3.x带snappy(可用于windows本地开发)java.lang.RuntimeException: native snappy library not available: this version of libhadoop was built without snappy support. at org.apache.hado
2020-10-30 17:38:39
1427
2
原创 spark笔记
概述重要角色dirver(驱动器)Spark的驱动器是执行开发程序中的main方法的进程。它负责开发人员编写的用来创建SparkContext、创建RDD，以及进行RDD的转化操作和行动操作代码的执行。如果你是用spark shell，那么当你启动Spark shell的时候，系统后台自启了一个Spark驱动器程序，就是在Spark shell中预加载的一个叫作 sc的SparkContext对象。如果驱动器程序终止，那么Spark应用也就结束了。主要负责：1）把用户程序转为作业（JOB）2）跟踪
2020-08-17 15:39:16
255
原创 Hive基础知识点整理
hive数据类型基本数据类型常用的 ： INT BIGINT DOUBLE STRING集合数据类型STRUCT: struct(street:string,city:string)MAP: map(string,int)ARRAY: array(string)**注意：**我们在导入数据是一行一行导入，因此我们需要额外的字段来匹配文件中的字符字段解释：row format delimited fields terminated by ‘,’ 指定了逗号作为列分隔符collecti
2020-08-03 16:56:17
6531
1
原创 git常用操作及命令
基本操作git init //初始化git add [file name] //添加/修改文件到暂存区git commit -m “message” [file name] //提交暂存区内容到本地库git log //历史记录git refloggit reset --hard [局部索引值] //前进或者后退到哪个版本git reset --hard HEAD~n //后退几步reset的参数对比：–soft 仅在本地库移动head指针–mixed +暂存区–hard +工作区
2020-08-01 20:32:22
111
原创 Scala基础
笔记整理自——厦门大学林子雨老师（Spark编程基础）控制结构语法val x= 3 if (x>0){ println("正数") }else { println("非正数") }//if表达式可以有返回值val x = 6val a= if(x>0) 1 else -1//while 与java相同//略//for循环 for(变量<-表达式) { } for(i<- 1 to 5 by 2) println(i) //类似于迭代器
2020-07-06 00:36:43
302
1
原创 Spring IOC注解大全（完全注解版）
@Bean相当于一个bean标签，生成Bean的id默认为方法名可在属性中自定id、name等bean的生命周期：创建—初始化—销毁，又容器管理定义初始化和销毁方法方法一@Bean(initMethod = "init",destroyMethod = "destroy") public Car car(){ return new Car(); }public class Car { public Car() { System.ou
2020-06-26 21:20:38
580
原创 springboot快速搭建mybatis环境
springboot搭建mybatis环境1、使用durid数据源（可选）引入durid坐标<dependency> <groupId>com.alibaba</groupId> <artifactId>druid</artifactId> <version>1.1.21</version></dependency>2、配置数据源
2020-06-24 17:34:59
131
原创 Springboot搭建使用redis作缓存的开发环境（详细定制）
快速体验缓存 步骤： 1、开启基于注解的缓存 @EnableCaching 2、标注缓存注解即可 @Cacheable @CacheEvict @CachePut默认使用的是ConcurrentMapCacheManager==ConcurrentMapCache；将数据保存在 ConcurrentMap<Object, Object>中使用redis替换默认缓存管理器引入starter(略) ，引入启动器后redis就可以使用，利用
2020-06-24 17:32:52
201
原创 逆波兰计算器
import java.util.ArrayList;import java.util.List;import java.util.Stack;public class PolandNotation { public static void main(String[] args) { //完成将一个中缀表达式转成后缀表达式的功能 //说明 //1. 1+((2+3)×4)-5 => 转成 1 2 3 + 4 × + 5 – //2. 因为直接对str 进行操.
2020-06-03 12:39:11
172
原创 控制台轻量级聊天室--java实现
基于java socket编写的超简版聊天室，支持双人在线聊天。代码量非常小，功能简单。每个客户端由两个线程组成，发送线程和接收线程。ip地址和端口号硬编码了，感兴趣的朋友可以自己改进程序。package com.sjh.net;import org.junit.Test;import java.io.DataInputStream;import java.io.DataOutputStream;import java.io.IOException;import java.io.Outpu
2020-05-08 19:33:51
268
原创 chrome控制台报错
chrome开发者模式控制台报如下错误DevTools failed to load SourceMap: Could not load content for chrome-extension://ncennffkjdiamlpmcbajkmaiiiddgioo/js/xl-content.js.map: HTTP error: status code 404, net::ERR_UNKNOW...
2020-04-13 15:28:39
4993
原创 赫夫曼树应用实践——使用赫夫曼编码进行压缩
import java.util.*;public class HuffmanCode { public static void main(String[] args) { String str = "i like like like java do you like a java"; byte[] contentBytes = str....
2020-02-28 15:47:35
159
原创 约瑟夫问题循环单向链表解决方案java
public class Josepfu { public static void main(String[] args) { CircleSingleLinkedList circleSingleLinkedList = new CircleSingleLinkedList(); circleSingleLinkedList.addBoy(5);//加入五...
2020-02-19 14:12:24
236
牛客大数据面试题集锦+答案，共523道，46W+字。大厂必备
2022-09-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人